2013年以前，我家农村老房子外墙被隔壁违章搭建的房子侵占了下半部分，之前两家关系还可以，我们没有要求他们归还墙体，而且好几次休房子那部分墙体因为他们的原因整体都没有休成，去年我们两家因为琐事关系闹僵了，我们要求他们归还墙体，并留出房子屋檐滴水的距离。他们拒不归还还多次谩骂，挑衅，安装监控，严重影响我们一家的正常生活，我们应该怎么办？