財産分与や慰謝料にあたり私は支払う義務があるのでしょうか？

「主人が言っているお金」というのは，①夫があなたの代わりに支払った１２０万円の返金，②財産分与にあたって１００万円を夫に支払う，ということでしょうか。

仮に，そうだとすれば，いずれについても支払う必要はないように思います。

①については，そもそも真偽が疑わしいように思うのですがどうでしょうか。
夫は本当にあなたが不貞した人の妻にお金を支払ったのでしょうか。
あなたがその不貞を終えた後に夫と付き合い始めたということですが，不貞相手の妻は，なぜあなたにではなく夫（交際相手）に請求してきたのか，どうやってあなたの交際相手を知ったのか，という点が疑問です。
仮に，夫が言うとおり，あなたの代わりに夫が慰謝料を支払っていたとしても，もう１０年以上前のことですよね。あなたに頼まれていないのに勝手にやったことではありますが，一応，夫の弁済によってあなたは利益を得ているので，夫からあなたに対して，支払った分を返せといえることになりますが，その請求権は１０年で時効消滅すると考えられます。

②については，仮に，夫の親が１００万円出したのが本当だとしても，そのお金は，不動産購入に充てたんですよね。そうだとすれば，すでにそのお金は，１００万円という現金ではなく，不動産という形に代わってしまっているので，１００万円をそのまま返還する必要はありません。
仮に，現在の不動産が購入時の半分の価値しかないなら，１００万円についても半分の５０万円を夫の特有財産部分として考えればよいです。