三月份我以市场价购买了陈姓女子一套二手房，房子本是她和她老公共有，然后她们离婚了，房子判给陈，我与他俩一起到银行和房管所办理了正当的过户手续。房款和户屋交易都已完成。目前我已取得房产证。但是今天有一伙高利贷的人说我买房之前，高欠他们钱，且无力偿还，写了一个房屋租凭协议，租期20年，现在，高利贷找我要房子，但目前我是房子的合法所有人，而且我与高利贷人员并无债务及租凭关系，房子目前我正在装修。就是怕高利贷回来找我麻烦。上午他们已经威协我住房不好。他们说自己租凭关系和租凭合同（城市污染是一个借条类的东西）也受法律保户，请问我该怎么办？