基本的に、面会交流とはいえ、こちらの拒否にも関わらず自宅に上がり込む行為は、住居侵入として刑法犯になり得る行為です(ただし、ケースにより異なるため、必ず住居侵入と認定されるものを保証するものではありません。)。
毅然と拒否を行い、ひどい場合は警察への通報と相談を考えてもよろしいかと思います。
他方で、面会交流は権利であるため、認めない、となるとお相手も心情的には納得されないかと思います。
ベストな方法は、屋外や面会交流支援機関で会うことかと思いますが、その辺りの費用分担などの問題などの調整も出てきそうです。
当事者間でその辺りの話し合いを試みてもよろしいかと思いますが、お相手の対応が限界な場合には、代理人を入れて、立ち入りに関する警告をしつつ、面会交流調停などでの協議を行うことをお勧めします。