我想咨询个问题，我们找中介买房，中介把业主约出来，我们问装修隐蔽工程卖方都说没问题，我们交了一万元之后，昨天叫人去检查才发现线路有问题，又没安地线，存在安全隐患，中介给我卖方打电话她不接了，一万元她也拿到了，我们要退这一万元怎么办呢？