離婚調停は、裁判所で行う調停委員を交えた話し合いですので、不貞行為がなくても、相手が離婚に応じてもよいと言えば調停が成立するのです。ただ、あなたの夫の場合だと、別の女性との親しい関係を示す証拠を示せても、相手が食事しただけだとかいう同じ理由で離婚を拒む可能性は高いと思います。不貞行為を示すまでの証拠がない状態であるのであれば、離婚訴訟もできないでしょう。まずは、お子さんと一緒に実家に帰るなど別居をお勧めします。別居して婚姻費用(離婚までの生活費)を請求する調停を申し立ててはどうでしょうか。別居が3年から5年になれば、裁判所は離婚訴訟による離婚も認めます。