我弟弟找了借了高利贷。全家人没人知道他什么时候借的，借来干什么。现在他还不了钱，跑到外地避风头。高利贷的人天天跑来骚扰我爸，要怎么办？我弟的高利贷是以他自己的名义借的，我们家人有责任替他偿还吗？要怎样才能让那些人别再来骚扰我爸？