配偶者の浮気があるため離婚したい。

まずは、彼の浮気の証拠、モラハラや借金の証拠などを確保しておきましょう。LINEの画面などを写真に取るとか、借金についての証拠を写真やコピーにとって残すとか、モラハラについて（表現、言葉遣いなどを詳しく）日記などに記載するとか録音するなどが有効です。ある程度証拠がそろったと思ったら、証拠を捨て去られたりするのを防ぐため、できれば別居するのが良いでしょう。配偶者の方と直接交渉ができそうになければ、弁護士に依頼するとよいと思います。

夫のＬＩＮＥのうち，一般的に見て，女性との肉体関係の存在を推認させる内容のトークを，日付が分かるようにして撮影し，証拠を収集すべきですね。
夫の不貞の責任を追及したいなら，まずは言い逃れができないような証拠を集めておくことが重要です。

そのうえで，離婚調停を申し立てるのが良いと思います。
不貞の証拠を突き付けても，モラハラ傾向がある夫は，開き直ったり，ＬＩＮＥを見るのはプライバシー侵害，等と非難してきて，話し合いにならない可能性が高いと思われますので，そうだとしたら，最初から調停を申し立てるか，別居したうえで，代理人を立てて代理人から請求してもらう，といった方法がよいのではないでしょうか。

気になるのは，夫に借金がある（又は，以前あった）ということから，夫には慰謝料を支払うお金がないのではないか，ということです。
不貞の証拠を収集し，裁判等で主張することで，法的に夫に慰謝料支払義務を認めさせることはできたとしても，夫に資産がなければ回収が難しくなります。分割払いにする約束をしたところで，いつまで支払ってもらえるか確証はありません。そのため，どのように回収していくか，というところが問題になるかもしれません。