我在乡下山上有一片地，因为长期在市里打工也就打算转让给别人使用。结果发现在山上那片地上我还有一栋以前爷爷建的楼房。我就说要回楼房。结果对方说地已经转让了这个应该属于他的。对此我不想理会直接想中断合同。请问房子我能否要回，或者我可以因为对方的个人素质停止合同