お子さんに対してあなたの夫が会わせないのであれば、家庭裁判所にお子さんとの面会交流の調停を申立てるべきだと思います。あなたがお子さんへの暴行などをしているわけでもないのに、あなたとお子さんを会わせない権利など彼にはありません。裁判所に毎週1回とかつき1回とかあなたの希望を話して、自由にお子さんと面会交流できるようにした方がよいと思います。彼はあなたとの離婚の際に親権を取ることを考えていると思われますので(男性が親権を取るためには、お子さんと一緒に生活して面倒を見ている実績を作るのが必要)、面会交流よりも子の監護者指定と子の引渡しの調停を申立てるのもありかもしれません。そうするとお子さんを手元に取り戻すことができるかもしれません。いずれにせよ、お子さんとの同居の実績を長く続けられてしまうと、親権もあちらになる可能性が高いです(お子さんの環境を変えるのはよくないと裁判所は考えるので)。