在村里与一个人有一些纠纷，对方气急告了我家。法院把我家的房子判给他了。很多人不知情，以为那房子还是我家的。也确实，我们没有案例过户手续。后来对方直接把房子推翻重建，伤到其他邻居的利益，那人将我家告上法庭。请问我家会因此再被惩罚吗？