遺産の中で自宅がいちばん価値のある財産で、これを長男に相続させた結果、他の相続人の遺留分を侵害する場合には遺留分減殺請求される可能性もあります。
その場合でも長男が自宅を手放したくないのであれば、長男から遺留分権利者に対して、遺留分侵害相当額の代償金を払うことになりますが、長男にそれだけの資力がなければ、やむなく自宅を手放す結果になってしまいます。

また、あなたが、遺言書に「自宅を長男に相続させる。」と書けば、これは、「遺産分割の方法」の指定となり、長男はほかの相続人の意向に関係なく自宅の所有権移転登記（名義変更）を行うことができます。
しかし、あなたが、遺言書に「自宅は長男に遺贈する（「あげる」とか「譲る」、「贈与する」）と書いたのであれば、長男は他の相続人（ご兄弟）に登記手続きに協力してもらう必要があります。
しかし、感情的に対立した他の相続人が登記手続きに協力してくれるでしょうか？協力が得られなければ、長男は家庭裁判所に遺言執行者の選任を請求しなければならなくなります。

さらに、あなたの遺言書には長男があなたより先に亡くなった場合の自宅の処分についてお書きになっていますか？長男の子（孫）や配偶者（長男の妻）に譲りますか？

「一部遺言」は、問題の先送りにしかなりません。
相続争いを避けるために遺言を残すのであれば、遺産を漏れなく特定し、誰に何を相続させるかを具体的に明らかにすることが重要です。

さらに、記載漏れがあった場合に備えて必ず、「本書記載以外の相続財産があった場合には、その一切を００００に相続させる。」という記載を入れて下さい。こうして、遺産分割手続きの必要性を完全に排除してはじめて、相続人間の争いを排除することができるのです。

また、遺言の内容によっては、相続人間に不平などが生じる可能性がありますので、そのような遺言を書くに至った具体的な事情や感謝の言葉を付記（「付言事項」といいます。）することをお勧めします。