我们原来干了个工程，结果还没结算，老板出事了，所以到现在工程款没接，但是外欠钢材款二十多万，然后人家就整天逼着要钱，没办法就把房子抵押给人家了，在最后那人还觉得不满意，就让我们和他签了一个房屋转让协议，然后把欠他的款直接写成收款金额，这样的话成了他返回来要给我们10万，然后他一直拖着没给我们，但是房子已经给他了，协议书上写着我们要是不给他房的话就按房屋总价的百分之二十的违约金赔偿，相反他没给我们钱也是按百分之二十赔偿，现在这个房要拆迁了，我该怎么处理这事