我哥在2015年8月25号晚上8点25分在乡下国道开一辆报废车无驾驶证 车上有我哥夫妇和我未婚妻 跟一辆两轮摩托车相撞摩托车上是两夫妻 撞了以后我哥因为害怕逃逸了到了2015 9 26 到交通局自手之后我哥跟对方家属商量私下解决 交通局同意了就没有拘留我哥我哥当天拿两万六一共拿了3万多给家属 半个月后我哥没有钱再给家属 交通局就抓了人 男的治疗一个星期出院女的一个月便在医院死亡 对方家属要求赔偿75万 由于赔偿太高未同意多次协商以后结果是50万 因为我哥没钱再给他只能将房子给他房子是价值30万 还欠货款10万 后面的饯以每.年欺还对方 今天去协商时对方家属就说开车撞我家人并辱骂我家人 而且那个交通责任书上责任全部都是我哥的 现在应该怎么办