早く解決したいです。

相談内容を拝見しました。

詳細は分かりかねますが、金銭を貸与すること自体が悪い、ということは通常考えられません（もちろん、何か関連して心当たりがあるのであれば、ご自身で判断ください）。

県税事務所から連絡がきたとのことですので、まずは税務処理の問題についての問い合わせと考えるのが通常です（なお、単純に考えると、あなたが相手方に振り込んだとされるお金が「贈与」なのか、「貸与」なのかを確認したいということではないでしょうか。もしその多額のお金が「贈与」だとすると、贈与を受け取ったとされる人間に、贈与税の納付義務が発生するためです。）。

伺っている事情の限りでは、正直に「お金を貸している」と回答すること自体に何ら問題は無いと思われますが、税金について詳細を確認されたい場合には、税理士に相談されることをお勧めします。

金銭の回収をお考えになっているようでは必ずしもなさそうですし、そのような相手方はそもそもお金を持っていないことが通常なので簡単ではないと思いますが、もし貸金の回収を考えられているのであれば、証拠状況その他の事情を確認して検討する必要がありますので、お近くの弁護士に相談されることをお勧めします。