你们好，我现在遇到一个房产纠纷的案件，我是卖房人，对方当时是买房人，但是签合同的时候没说他是购房人，过了几天，中介打电话来说他只是代理人，接着卖房人不同意，因为他没资格，第三方还没找到，那时就知道他是炒房的人，所以要求取消买卖，但是对方不同意，合同写着让他履行赎契也没有，现在就说让我们确认他是代理人，已经发了律师涵告知，如果我们违约要赔哪些条例，请问如果是遇到这样的炒房人跟无良中介应该怎么做啊