不倫をした側から離婚請求はできません。
まず、親権の問題は夫婦関係の破綻の問題とは全く別の話です。親権はお子さんの養育や監護がきちんとできるかどうかという視点から考えるべきことです。確かに、お子さんの面倒を見ることもせず不貞行為の相手のところに出かけているような場合には、問題にされることもあるでしょうが、あくまでお子さんにとってどちらがふさわしいかということから考えますので、不貞行為をしている側でも親権者になれます。不貞行為をした側(有責配偶者)からの離婚請求が認められにくいという話は、あくまで裁判所に請求する場合の話です。確かに裁判所は、一般的には有責配偶者側からの離婚請求を認めてくれにくいのですが、完全に認めてくれないかというとそうでもないのです。完全に婚姻関係が破綻していた後の不貞行為であるとか、破綻について相手に多くの原因があるとか(例えば暴力や暴言などがたびたびあったとか)、別居期間が10年くらいの長期にわたっているなどの場合には認めてくれます。離婚をする気持ちが双方にあれば、有責配偶者側から離婚を言い出しても協議や調停で離婚することはできます。相手が離婚する気があるかどうかを探ってみて、相手に離婚する気が無さそうなら、まずはお子さんを連れて別居するというのも1つの方法かもしれません。
不貞によりお子さんへの悪影響があったかどうかによりますが,不貞をしたからといって親権者になれないわけではありません。お住いの都道府県を選ぶ