離婚に不利な影響は直ちにはないと思います。ただし、配偶者との感情的対立を生じさせる可能性はあるでしょう。
また、次のような問題もあります。
夫婦共有財産であれば離婚時に原則2分の1ずつ分けるので、その範囲であれば問題ないようにも思われます。持ち出された側が持ち出した側に対し損害賠償請求した裁判例で、予想される財産分与の対象・範囲を著しく逸脱するとか、一方配偶者を害するような不当な目的で行ったような場合を除いては不法行為とはならないとしたものがあります。これを参考にするなら、財産分与として適切な範囲なら問題にならないように読めますが、事案によっては、そもそも共有財産か特有財産か(財産分与の対象かという問題)で争いとなることもあります。
また、婚姻費用の請求をする場合に預金を手にしていることが金額の算定にあたり考慮されてしまうこともありえます。
最低限、使途が説明できるように明細や領収証などは保管しておくべきです。
また、上記のような考慮はした方が良いので、お近くの弁護士に直接相談(特に財産分与の対象となるのかについて)しておいた方が良いでしょう。