弟の遺産分割と闘病中の医療費の支払いとそれ以外の支払いをしっかり清算したい

ご愁傷様です。
弟さんに配偶者と子いなければ、相続人はお母さんだけとなります（相続放棄については考慮から外します。）。母、兄、あなたで遺産分割することにはなりません。それに、施設にいるとか認知症等は関係ありません。

また、お兄さんが支出した費用関係は、弟さんにあげた（贈与）というものでない限り、兄→弟で立替債務があることになります。
この立替債務も、遺産としてお母さんが相続することになります。
ですので、理論上は、お兄さんがお母さんに対して立て替えた分を支払って欲しい、という請求をする話をすることになります。
ただ、お母さんが認知症であるとなりますと、その程度にもよりますが、実際にはお母さんに成年後見人等を付けないと、お金の精算等はできないでしょう。話し合いでお金のことを精算したりする判断能力が無いということになるからです。

結論としては、成年後見の申立をすることをお考え頂くのが近道だと考えます。

弟さんは遺言されていないようですが、遺言書があれば、もちろん受遺者が優先します。
家族は母・兄・姉（自分）３人ですので、おっっしゃるとおり、配偶者・子もおらず、法定相続人は第２順位の直系尊属の母だけが相続人です。
ところが、母は「認知症が入っており、話し合いが難しい状態」とのことです。もし、判断能力が不十分な人の場合、預貯金や不動産などの財産を管理したり、法律行為を行ったりすることが難しい場合があります。母がこのような場合のようですので、成年後見人をつけなければなりません。
成年後見人をつけるには、兄や姉の親族などが本人母の住所地を管轄する家庭裁判所に「後見開始の申し立て」を行います。申し立てが認められると、裁判所が成年後見人を選任してくれます。
　選任された成年後見人は、本人である母に代わって財産の管理や法律行為を行い、遺
産分割協議にも参加します。したがって、「預金通帳」の所在や「医療費の清算など」も、成年後見人が行うことができます。兄と姉（自分）そして成年後見人の３名が被相続人弟の遺産分割協議をしてこれを成立させることになります。

１．相続について
弟さんに配偶者（奥様）はいらっしゃいますか？
配偶者がいない場合は、お母様が相続人です。
→サイトの指摘は正解です。

２．医療費等について
相続の話し合いで弟様の諸経費や医療費を請求することは可能です。
その点は、心配されなくてもよいと思います。

３．後見の申立
問題は、お母様が認知症である点です。
お母様の症状が重い認知症であれば、裁判所に「後見」の申立を行い、裁判所から選任された後見人が相続の手伝いをすることが考えられます。
ご依頼者の状況からみれば、後見人は、「弁護士」となる可能性が非常に高いです。

４．相続配分について
後見人が弁護士となる可能性が高いため、兄・姉への配分はないと考えてよいでしょう。
ただし、お母様が亡くなれば、お母様の遺産を兄・姉のお二人で配分することになります。
現状では、お母様の財産となりますが、節約に努めれば、ご自身にそれなりの金額が相続されることになります。

５．ご相談について
当事務所では、後見の申立、遺産の協議・分割に関して多数の事件を扱っております。
ご相談等がありましたら、当事務所（虎ノ門法律経済事務所　錦糸町支店　TEL:03-6456-1925）までご連絡下さいませ。