آیا می‌توانند از من بابت نرفتن سرکار شکایت کنند؟

سلام وقت بخیر.
من دریک کلینیک مشغول به کار شدم پیش یک خانم دکتر. بعد از دو هفته هنگام قرارداد نوشتن من به دلیل شرایط قرارداد منصرف شدم و قرارداد امضا نکردم. و اطلاع دادم که دیگر نمی‌خواهم کار کنم. ولی تا زمانی که نیرو پیدا کنید به کارم ادامه میدهم بعد از دو هفته از اطلاع بنده برای نرفتن به کار همسر ایشان وقتی من تنها بودم و بیماری در مطب نبود قرارداد را برای من آورده اند و می‌گویند باید امضا کنی، من امضا نکردم و به دلیل ناامنی گفتم دیگر به اینجا نمی آیم.
همچنین تهمت ها و تهدیدهایی به من شد.
آیا بهتر است من زودتر اقدام کنم و بابت زور و تهمت و تهدید شکایت کنم؟