不貞によりお子さんへの悪影響があったかどうかによりますが,不貞をしたからといって親権者になれないわけではありません。
不貞の頻度,相手と会っていた時間帯によりお子さんの監護に支障が生じていたり,お子さんが不貞相手とあなたとの逢瀬を見てしまったりしたら,親権の判断においてマイナスに働きますが,不貞はしていたものの,お子さんに知られることもなく,監護にも支障がなく,お子さんにとって「よいお母さん」であれば,不貞の事実は大きく影響しないと考えます。
親権より問題なのは,離婚できるかどうかではないかと思います。
夫は,あなたの不貞発覚後もあなたに性交渉を求めているところからしても,あなたに執着しているように思えます。そうだとすると,離婚には応じないのではないでしょうか。その場合,有責配偶者からの離婚請求として,通常の離婚請求より,認められるための条件が重くなります。
それでも離婚したいのであれば,まずはお子さんを連れて別居する,具体的には,ご実家に転居することから始めたらいかがでしょうか。