今回の元夫のトラブルは,お子さんに対して危害を加えたわけではないので,今後一切面会交流をしない,とするのは難しいと思いますが,しばらくの間「直接の」交流をしないということは可能かもしれません。
すでに,面会交流について調停で取り決めているということなので,ご面倒かもしれませんが,再度,面会交流調停を申し立てて,今回の元夫のトラブルを申告し,「しばらくの間は間接交流のみとしたい」旨を主張したらいかがですか。
元夫を逆なでしたくないとのことですが,元夫が面会交流にこだわる人であれば,上記の申立てをすることで元夫の感情を害することは十分に考えられます。
家族に危害が及ばないように,とのことですが,元夫から危害を加えられそうな具体的な危険が生じたら,すぐに警察に通報し,その後保護命令申立を検討すべきでしょう。