
ご相談内容を前提に私見を回答いたします。
親権は、お子様の利益(子の福祉)を最優先に判断されますが、実務上は現在の監護状況(現状維持)が重視される傾向があり、特に母親が継続して監護している事案では、母親が親権を取得するケースがほとんどだと思います。
ご記載のようなお母様の精神的な不安定さや暴言の録音、お子様の精神状態の変化などは、お兄様に有利な事情となる可能性もあります。しかし、これらの事情があったとしても、実務上重視される現状維持の原則を覆すことは容易ではないと思います。
なお、親権判断において子どもの意思が強く尊重されるのは、一般的には中学生くらいからといわれています。お子様が父親との生活を希望していることも考慮事情ではありますが、5歳という年齢からすると、その意思は補助的な事情として評価されることが多いと思います。
そのため、親権の取得を目指して主張・立証を尽くすことは重要ですが、一方で、結果も見据えながら、親子交流(面会交流)についてできる限り有利な条件で合意することも現実的な選択肢の一つです。
親権は個別事情によって結論が大きく変わりますので、お兄様としては早めに離婚問題を扱う弁護士へ相談し、親権を争う方針と親子交流を含めた解決方針の双方を視野に入れて対応を検討されることをおすすめします。