あなたの妻の代理人から受任通知が来たとのことですが、内容は離婚の協議をする旨か調停を申立てる旨か、あるいは代理人についたことだけを知らせるものなのかどれでしょうか。協議と書いてあれば、相手は協議してくるのだろうし、調停と書いてあれば調停を申立てるのだろうし、何も言ってなければどちらをしてくるかは分かりません(日本ではいきなり訴訟をすることはできず、必ず調停を経てからとなっています。)。不貞行為とは配偶者以外の人との性行為をいうので、不貞行為の証拠と書いてあったとしても、不貞行為をしていないのであれば、そのようなものがあるはずはありません。ただ、「あなたと営みたい」と知人の女性にあなたが連絡をした記載は「不貞行為を疑わせる1つの証拠」にはなり得ます(その記載の証拠力の程度は低いとは思いますが)。ただ、事実は何かという点が重要なので、冗談で書いただけというのであれば、その旨を返せばよいのだと思います。離婚についてはあなたもしてもよいというのであれば、その他の条件を相手の代理人と話し合えばよいのだと思います。