相手の配偶者がどのタイミングであなたの不貞行為を認識したのかはわかりませんが、最後の不貞行為から3年以上経っているのであれば、相手からの慰謝料請求の時期によっては、慰謝料請求権が時効により消滅している旨の主張ができるかもしれません。
不貞行為自体についての慰謝料請求の時効は、不貞行為があったこと及びその相手方を知った時から3年間です。
また、時効が成立していなくとも、相手からの慰謝料請求の金額が高額な場合には、減額交渉は可能です。
いずれにしても慰謝料請求がされるのはこれからということですので、相手から正式に慰謝料請求された際には、速やかにお近くの弁護士に相談することをお勧めします。
それまでは、相手に対して、慰謝料の支払い義務があることを認めるような回答をしたり、具体的な金額の話をしたりすることは避けてください。