آیا ما حق شکایت از ایشان را داریم؟

با سلام
یک زمین کشاورزی دارم در محدوده شهری که سه سالی است که در آن کشت و زرعی نکرده ام البته در گذشته باغ بوده است ولی به مرور زمان از بین رفته و الان برای کشت یونجه و گندم و .... استفاده می شود. این زمین از سطح کوچه پایین تر است و الان متوجه شده ام که صاحب باغ روبرو اقدام به خاکریزی در عرض ۲ متر در بخشی که منتهی به کوچه می شود کرده است و یک ماشین ماسه برای ساخت و ساز خود خالی کرده است. الان وقتی به او شفاها تذکر داده ام که خاک و ماسه را از زمین بردارید می گوید زمین باید عقب نشینی کند و تعریض شود در حالی که این زمین هنوز کشاورزی محسوب می شود و خودشان هم هنوز عقب نشینی نکرده اند(البته باغ روبرو دیوار دارد در حالی که زمین ما دیوار جلویی آن ریخته و جمع شده است) . حالا سوال بنده این است که :
آیا قبل از اینکه ما نیازی به ساخت و ساز داشته باشیم باید عقب نشینی کنیم و حرف صاحب باغ روبرویی درست است یا نه؟
آیا ما حق شکایت از ایشان را داریم یا اینکه خاک ها در زمین خودمان پهن کنیم و ماسه را جلوی باغ خودش بریزیم (البته باعث سد معبر خواهد شد)
بالاخره مانده ایم چه کار انجام دهیم که قانونی باشد. لطفا مرا راهنمایی بفرمایید.
با تشکر