当時の不貞行為の相手の女性(Aさんとします。)に対して元配偶者の方が慰謝料請求するには、Aさんに故意または過失があることが前提となりますので、Aさんが当時あなたが妻帯者であることを知らなかったかあるいは知りうる状態でなかったのであれば免れうることにはなります。問題はそのようなことをどうやって証明するかです。
Aさんに故意または過失があったのであれば、Aさんは請求は免れません。婚姻生活が破綻していたような場合でも、現在の裁判所の考え方のほとんどは、慰謝料の額を減額することはあっても請求自体は認めています。現実的な解決方法としては、収入がないことなどを理由に額を減額してもらう交渉をするとか、あなたがAさんに立替をしてあげるとかでしょうか。