عدم انجام توافقات ضمن طلاق و حضانت چه عواقبی دارد؟

باسلام، بنده سه سال پیش زنم را طلاق دادم و ضمن صدور گواهی عدم امکان سازش توافق کردیم که فرزندانم که الان دختر۱۲ و پسر۱۶ ساله هستند نزد زوجه بماند اما الان زیرش زده و میگه بچه هارا نگه نمی دارم آیا می تواتند شانه خالی کند من خود ازدواج کردم و همسر دوم راضی به نگهداری از فرزندانم نیست.
لطفا بگویید چکار کنم؟