浮気や離婚、別居について

私主婦パート、夫会社員、子供9歳6歳、持ち家35年ローン住んで10年
結婚12年目
夫が浮気をして離婚したがっています。
そして話しやLINEのやりとり電話も拒み一切無視で、LINEで報告部屋を借りて出ていきます。と送りつけて来て、夜中や私のいない隙に荷物を運び出し出ていき別居しています。

浮気については証拠もあり、女性に慰謝料請求に向けて準備中です。夫には浮気している事は知ってるが証拠などは私が持っている事は伝えていないのでしりません。なのでしてないのいってんばりで、ですがいちど離婚するか、浮気を認めて話すから浮気を黙認するか決めて欲しいと言われた事もありました。浮気の話をすると逃げるようなたいどで話合いにならず、全て私が悪い。感情的に怒るだの理由を付けては話をさけ夜しか話し合いが出来ないので夜話そうとすれば、寝かしてくれない虐待だと警察を呼んだり、話し合いを避ける為、外へ出ようとしたので玄関ドアを押さえた所、監禁といい警察を呼び最後は警察を呼ばれると世間体もあるので、スマホを取り上げようと取り合いになりお互い怪我をしてお互いDVと言う扱いになりました。

過去にも借金や家の貯金の使い込みお酒で他人や私に迷惑をかけるや数々の失態がありながら、一言あやまるだけで、お酒の飲み方や借金癖もかわらず、謝ったのにいつまでもしつこい、しまいにはお前のストレスのせいだのと私が悪いと言ってきて、いつも納得出来ないまま過ごしてきました。
そんな事を結婚当初からあり、最近ではオンラインゲームにハマり浮気までして、自由に女遊びをしたいからと言う理由で離婚したいなんて納得いかなくて
今すぐ離婚できなくても別居を理由に年数立って離婚理由にしようとしてるよいにもおもえます。
たとえ離婚しても慰謝料も数百万円で財産分与も基本折半のようですし、借金まで折半されて子供や私は今の家から引っ越したくないのですが、色々と好き勝手した夫が望むように事が進んでいくようで納得いかず、どうにかならないのでしょうか？