我农村老家有一祖屋，也就过年的时候回家住一住。邻居家建新房时盖在我家祖屋旁边，挨着的。他家设计时把我们家本来出入通道都给拿去盖房子了。如果房子盖好了我们家出入就很不方便。我们有要求过被这样子做，可是对方拒绝退让，但是说愿意出一些钱补偿我们。请问我们该怎么办？