农村房屋宅基地相邻，原有公共墙体隔开，因我家房屋空置无人照看，邻居重盖新房时，私自侵占部分面积，且侵占通往我家的公共通道，仅留狭窄通道可供使用，后经村委会调解主任介入调解，双方达成协议，4万元经济赔偿，且规定时间内拆除公共通道的建筑物，但目前已逾期大半年，邻居并没有给过任何回复，人也联系不上了。目前手上的资料有三方签字确认的调解协议书和1995年办理的《集体土地建设用地使用证》，这种情况，怎么办？