我们是中介方，有个客户到我们这买了一套房子，由于预算有限，我们当时也咨询了银行，银行也告知了贷款额度，买方觉得可以承受，便和卖房签订了购房合同并交了两万的定金，结果银行那边说现在贷不了那么多，买方就不想买了，但卖方又觉得不是她的责任，不退定金，这个事情怎么处理，中介方有责任吗？