حضانت دائم فرزند دختر که با پدر است، قابل سلب است؟

سلام، ببخشید من متارکه کردم و دختری دارم ۵ونیم ساله که پیش دبستانی می‌رود. در۳ سالگی مادرش خودش حضانت بچه را به من داد که در همان مدت ۳ سال رسیدگی به بچه خیلی ضعیف بود و تمام پیام‌ها هست که ثابت شده رسیدگی نمی‌کردند. قاضی حکم قطعی دادند برای حضانت بچه با من. حال مدام با پیام دادن به گرفتن حضانت بچه از من تهدید می‌کنند. آیا می‌توانند اینکار را کنند؟ من هیچ گونه موردی ندارم که شامل سلب حضانت باشد. مرتب می‌گویند چون زن داری اقدام میکنم چون بچه‌م دست غریبه بزرگ میشه وقتی شیراز نیستی؛ البته من ۵ ساله ازدواج کردم و شاید در ماه یک یا دو روز نباشم فقط. می‌تونه طبق اظهاراتش حضانت منو سلب کنه و بچه رو بگیره؟