相続人の一人と話しあいができない

まず、弟さんを含めた法定相続人全員の署名・押印のある遺産分割協議書及び印鑑登録証明書があれば、お父様の遺産に含まれる不動産をお母様お一人の名義に変更する（相続登記を行う）ことができます。
他方、今回のように遺産分割協議に非協力的な相続人がおり、法定相続人全員の署名・押印を得られなかった場合は、仰るとおり、家庭裁判所に遺産分割調停を申立てる必要があるかと思われます。調停の中で弟さんも含めた相続人全員の同意があれば、不動産をお母様お一人の名義にするという内容での「遺産分割調停」が成立することとなり、その内容を書面にした「調停調書」（裁判所が作成します）をもって名義の変更手続（登記手続）を行うことができます。
ただし、調停に弟さんが出席しない、調停の中で弟さんが反対の意思を示したため「遺産分割調停」がまとまらなかった場合、基本的には、調停手続は不成立となり終了します。調停手続が不成立となり終了した場合、遺産分割審判という手続に自動的に移ることになり、最終的には審判手続の中で裁判官が適切と考える遺産分割の方法を決めることになります。

家庭裁判所に遺産分割調停を申し立てるにあたっては、これまでの事情説明や分割方法の希望を適切・正確にまとめた書面や戸籍謄本、不動産登記簿謄本、固定資産評価証明書等の必要書類を提出する必要があります。また、遺産分割審判では、裁判官に希望する内容で遺産分割の方法を決めてもらうため、必要な主張、証拠提出を書面で適切に行う必要があります。
これらの手続を弁護士に依頼することで、スムーズに調停・審判手続を進めることができ、その結果、出来る限り早期に、不動産をお母様お一人の名義に変更できる可能性も大きくなるかと思います。

より具体的な事情をお伺いさせていただければ、相談者のケースについてより良い解決方針をアドバイスできる可能性もございますので、まずは、一度、相続問題に詳しい弁護士に相談されることをお勧めします。

交渉で埒があかないのであれば，法的手続を執るしかないと思います。
まず調停の申し立てをして話し合いとなりますが，話し合いつかないとなれば審判手続に
移行して裁判所が判断することになります。ただし，審判では法定相続分に従った分割と
なるのが基本であり，特に弟さんの相続分を侵害するような分割はできません。

なお，弟さんの所在について，正当な理由があれば，戸籍附票等を取得して，住民登録を
明らかにすることができます。取得方法については市町村の戸籍担当窓口でご相談下さい。

まず、不動産の国庫帰属制度をよくお調べになりましたでしょうか。
おそらくは、一般の方が思っているような使い勝手の良いせいどではありませんし、検討すべき点は多々あります。
今回、そもそも、なぜ、国家帰属制度を利用し、また、そのためになぜお母様名義にする必要があるのか、この点を弁護士に相談しましたでしょうか。
もし、相談しているなら、現状をその弁護士に相談してください。
また、もし相談していないなら、すぐに相談してください。
もしかすると、弟さんが協力しない理由は、弟さんが悪いのではなく、現在、その他の相続人が選択している方法が不適切な可能性があります。
とても重要なことのなので、素人考えて強行しないようにしてください。
家事調停など、あとからでもできるのですが、方針決定はしっかりと専門家に相談して行ってください。