脅迫のメールも来ているとのことで大変お困りのことと推察いたします。
基本的には贈与物であれば返還する必要はありませんが、
本件の解決についてどのような形で解決していくか、という方針次第で、取り扱いについて検討された方がいいかもしれません。
基本的には、話し合いで解決できるのがベストですが、本件のように4者が関連するダブル不倫の場合は、それぞれの感情が異なるので、全員が一致する解決を探すことはとりわけ困難なケースになります。
こちらが冷静にお話をしようと努めても、逆に相手方の行動が脅迫めいていて不安を感じる場合などは、早急に法的な相談をすることをおすすめします。精神的なダメージなども考慮したうえで、適切な対応を進めることが重要となります。