我在买了套二手房，但房子有二抵贷款与银行贷款，业主有二抵贷款15万、银行贷款34万，房屋合同价56万，当时签合同时我缴纳定金6万，中介费1.6万，二抵债权人做我担保，但是约定8000元担保费，由于卖家（业主）现在信用比较差，二抵利息未按期还，担保人不愿想给我担保了，我能怎么办？现在由于合同签了，约定给担保费，但我现在没有给担保费，想搞定后给，问题是现在担保人如果违约不担保了，有没有责任，我能不能起诉他呢？