我于2015年8月被村委会评选为贫困户，经三榜公示后，群众无异议，在今年11月8日确定为脱贫戶贷款5万，用于开饭馆，但于2015年12月27日接乡镇府通知，要求退还回贷款，取消贫困戶，原因是，乡上说接县委通知，，我属于村干部子女一次性清退，现如今我与父分居8年，各住各房，戶口早已分开，我家4人，我父5人和我弟住，各自生活。请问这种说法合理吗？