因我叫我爸却和本村村民口头对换土地，现在已有六年，对换的土地我家用来盖一间房子，去年我要盖第二间，但对方现在又不同意，对方就仗着是口头协议，而对方有土地证来逼我的退，还说以前并没有换给我家，换的只是现在已经建好的房子，而现在我要建第二间房子是他们的。请各位律师帮帮忙，告知我该怎么办