از خرید باغی منصرف شدم آیا باید خسارت بدهم؟

سلام یک ماه پیش برای خرید باغی در بنگاه قولنامه نوشتیم و قرار شد دو تا چک برای پول نقد بدهیم که چون ما چک دنبالمون نبود دو قسمت را در قولنامه خالی گذاشتیم و بعد از نوشتن قولنامه همه امضا کردیم و مقداری هم پول نقد دادیم و بنگاه قولنامه ای به کسی نداد چون هنوز دو قسمت پول نقدش خالی بود الان ما منصرف شدیم و فروشنده میگه من پول ها و چکتون را خرج کردم و نمیدم و شما باید خسارت به هم زدن معامله را بدهید حالا واقعا ما مجبور به دادن خسارت هستیم؟ بنگاه هم هنوز قولنامه به ما و فروشنده نداده و میگه معامله که به هم خورده اگر فروشنده پولتون را پس نداد برید اصناف شکایت کنید تا من چک ضمانتی که ازشون دارم را بدهم به شما ما باید چه کار کنیم؟