認知をした以上,夫は,法律上の父であり,その子に対する扶養の義務がありますので,養育費を支払う必要があります。
現在支払っている養育費が,あなたたち夫婦の状況(収入,扶養している子の人数)と相手の収入状況に照らし,相当な額であれば,減額は難しいでしょう。免除,ということは,相手の女性が応じない限りは考えにくいです。
相手女性から貞操権侵害を理由に慰謝料を請求される可能性はありますが,ご指摘のとおり,既婚者と気付かなかったとは思えないと反論したらよいと思います。
貴方の方から女性に慰謝料請求することは可能です。但し,相手の女性が不貞行為時に,夫が「既婚者であることを知っていたこと」または知り得たことが必要です。