آیا همسایه ها می توانند به دلیل رفت و آمد من خانه خانمی که قصد ازدواج دارم شکایت کنند؟

با سلام
من حدود 2ساله با دختر خانمی که قصد ازدواج دارم هستم و چندتا از خواهراشم هم در جریان هستند و چند وقتی برای اشنایی به منزل خواهرش که دختر خانم هم اونجا بودن رفت و امد میکنم مدتی همسایه از دستم شکایت کرده که این آقا به صورت نامشروع به منزل ایشان رفت و امد می کند آیا جرم محسوب میشود یا خیر؟