このままの状態では状況が停滞したままになるので、調停を申し立てて全面的に解決を図る必要がありそうです。現時点でお子さんとは別の生活となると、その状態での調停になり、その面からすると親権を得るのは難しいと考えざるを得ないかと思います。それを仮定すると離婚後の面会交流を充実させる方向を検討すべきかもしれません。
事案からするとなかなか難しいとは思いますが、これに反論できる証拠をあなたの方でとれれば、不可能ではないと思います。まずはあなたの精神状態の悪化が何が原因で生じているのか、専門家(精神科、心療内科、婦人科等)を受診して明らかにしてもらうことだと思います。
あなたがイライラする原因はどこにあるのでしょうか。お住いの都道府県を選ぶ