我们村在父辈的时候每家每户都可以按人口分配菜地，大部分人都把地拿来种菜，但是我们家把地拿来养猪，赚了不少，后来想扩大经营，就和猪圈旁边的菜地主人商讨买地，经过商讨他们同意了。我们就以高价买回了那块地，同时也签了合同。经过几年养猪行业已经不再挣钱我们家就打算把地拿来盖房子，当时换地的邻居眼红了就过来闹事说不给换了，想要回他们家的地，请问他们这么做合理吗，我们该采取什么措施维护自己的权利呢