我们村要修建搅拌站，政府出面占用我家房子，我家房屋面积不够就补缴了2万，钱已经缴纳，购买安置房的合同也签了。现在因为有人闹，政府说退我补缴的钱。这种情况我应该如何维护自己的权利？我是否可以拒绝政府的退款？这种算不算政府单方面撕毁协议