我买了一间房、房五十万、我给了屋主二十五万去银行赎证、（他还欠银行二十五万按揭）结果他将我给他的钱赌了、后来中介找垫资公司借屋主二十五万赎证、要二万利息、屋主没钱、所以我和屋主、中介三方商议那二万在我贷款里扣（我向银行贷了三十五万、其中二十五万是屋主的、十万我的）我想问的是：我什么都没跟垫资公司签、钱也不是我借的、我是没办法才答应二万元在货款里扣、请问我有什么方法不给这二万块钱？