戸籍と手続きについて知りたい

下の子の嫡出否認をしない限り、法的には当該お子さんは前夫との嫡出子と推定されたままです。
嫡出否認は夫からしか行うことができなかったのですが、令和６年４月１日から改正法が施行され、母又は子からも手続きを行えるようになりました。４月１日以前に出生した子についても、４月１日から１年以内であれば嫡出否認の訴えを提起することができます。簡素化していえば、今後１年については、相談者の側からも嫡出否認の訴えを起こし、前夫との親子関係を争えますが、１年を過ぎてしまうとできなくなり、真実の父との間で法的な親子関係を認めさせることが原則できなくなるということです。
例外として、前夫と長期間別居していたなどの事情があれば、嫡出否認ではなく親子関係不存在確認等で争うことができることはあります（この場合、出訴期間などの制限はない）。
嫡出否認の場合、前夫の関与は不可避です。親子関係不存在確認の場合も、裁判所から照会書などの送付が前夫に行われることはあり、１００％前夫の関与を回避できるものではありません。
もっとも、前夫と膝をつき合わせて話し合うといった手続きではありませんので、前夫との接触は限定的なものです。また、なるべく前夫との接触を避けるということであれば、弁護士に依頼することも検討してみてください。
以上については、離婚前、離婚後の、詳しい事情や経緯も関係してきますので、依頼するかはともかく、お近くの弁護士に直接相談するべきかとは思います。