我去年在一家中介公司找的房子，但是合同是与该公司的一个个人签的，现合同到期，还有5100的押金没有给我退，已经拖延两个月了。昨天去面谈，中介说我们支付房屋有拖延的情况，要扣违约金3100，也就是只退给我2000.我不同意，我想可不可以诉讼。证据：合同，交易记录。主要就是想退押金，但是我想可以不可以主张合同无效。因为他不是房屋所有权人，也不是中介公司