ご質問ありがとうございます。
このケースではお子様の意思と相手方(妻)の不貞行為が大きな要素となります。法律上、親権者を決定する際には「子の福祉」が最優先されます。子の福祉は、子の意思、両親の監護体制等様々な要素が考慮されます。
まずは、お子様があなたと生活したいと表明していることは、親権獲得にとって有利な点です。また、お子様が相手方とその不倫相手との同居を拒否している点も重要で、相手方を親権者とすることは、お子様の福祉を脅かす可能性がある要素と見なすことができます。
一方、あなたの借金問題は不利な事情となる可能性があります。具体的な経済状況や借金の内容によりますが、可能な限り経済的な安定を図ることで、あなたが親権者として適切であると示す必要があります。
あなたの状況ではお子様の意思や相手方の不貞行為が親権取得に有利に働く可能性がありますが、最終的に裁判所がどのような判断をするかは予測が難しい問題です。このような複雑な問題を抱えている方は弁護士に相談されることをお勧めします。