对二手房买卖须做事项不明白，所以找了中介买二手房。然后我们看中一套房子，房价谈好，并且房东和中介都说我们买房时有笔集资转私人户口的钱可以不用出了，所以房东也就在房价上可以有让步，正是因为这个让步我们才同意购入的。并已经交付定金，签了合同，合同上并没有注明这个钱的事。可是现在中介告知这个钱现在又要补交了。双方协商不一致，我买方这边想退房。可以把交上去的1.5万定金和0.5万合同金要回来吗？