我家在1983的时由当时的生产队分给的门前一块土地，一直用来养猪，后来在2019后的时候村里不允许个人养猪后，村委会带人拆除了猪圈，后来这块土地一直被邻居给占用了，其中他多次说过等我需要用的时候会给我让出来，但今年我准备利用这块土地的时候，他们却改口不承认是我们家的了，说这是集休土地，他有权使用并拒绝让出来。请问这种情况可以通过法律途径要回来吗？