我和女朋友去租房，找到房东 他说一个月1800 于是谈妥了，后来我去收房时来了一个人好像是中介，房东说需要什么家具跟中介说 会帮我们弄好，后来中介跟我们算了一共所需的租费后，要交2000块定金，然后我们交了，后来又跟我收中介费，我们就是为了避免中介费的问题所以直接找到房东的 这点房东也知道，期间没有任何协议 只有支付宝汇款交易图和聊天记录，他们跟我们要中介费我就不想租了，然后他们不肯退定金，请问我该怎么办?