我们家在城里买了建房地基，但是现在不能正常建房， 由于合同分别是和两个人签的，有点麻烦，既和第一个人签合同时，是预付了两万签的合同，但是剩余部分由于老板转手，所以和第二个人签了剩下的钱的合同。 现在，我们想要回钱。第二个老板愿意退钱，但是第一个老板说他已经转手不管他事。可是虽然他转手，但是合同还是和他签的，请问可以让他退钱吗？