父親が親権を取り戻すのは難しいのですが、不可能というわけではありません。母親の方にお子さんがいる場合には、お子さんと母親が一緒に居るとお子さんの心身の発達にとって問題があることを、たくさんの証拠を集めて立証することです。母親の交際相手から暴行を受けたような場合には、役所の家庭支援センターのような相談窓口に相談に行くとか、児童相談所や警察に相談に行くなどして記録を取ってもらう(後で証拠として使えます。)ことです。あなた自身がお子さんと会った時のお子さんの様子なども、映像や記録に取っておくとか、お子さんに家であったことなどを手紙にして書かせるとか、問題点を裏付ける証拠をできる限りたくさん作ることです。お子さんが暴行を受けるような危険性がある場合には、ご自身のところに避難させることは当然認められます(警察に相談しておくとよいと思います。)。そして、あなたがお子さんの世話をできるだけしてあげて、全て記録に残すことです。たくさんの証拠を集めて、家庭裁判所に親権変更の申立てをすればよいと思います。