本人2013.6月和我前夫结婚，结婚前与结婚后共用了我信用卡大概二十万左右，2014.7月起诉离婚，后来他又同意离婚了，所以撤销了，协议离婚，离婚协议书共同承担一半债务，后面也和银行协议我一次性还一半，法律责任和我没有关系（没有协议书，只有录音），现在两年过去了，我前夫一直没有归还欠款，银行的人也一直在骚扰我，让我还钱，最可恨的是他一直骚扰我的同事和家人，朋友，请问这种情况下我应该怎么办？