在乡下买了套房子，现在发现村里的房子是不可以买卖的。对方只是和村里签了永久租赁合同，对方说和我也只可以签永久租赁合同。前几天汇了十万块钱给他，房子还没有盖好，也没有签任何协议书，合约什么的。我现在这房子不想要了，我可以退回原来的十万块钱吗？对方叫我现在去拿十万块的收据，我该怎么办