我最近碰上个二手房买卖纠纷，6月底签订了居间合同，支付了2万定金。约定7月30日前，签订合同并支付首付款。过程中和中介有过争论，说过不要房子，退还定金之类的话。临近7月底，准备支付首付款时，中介联系上家后告知，由于我之前说过不要房，不诚心，所以房子不卖了。一开始拒绝赔偿，现在连本金都不还，我该怎么办？