我父亲是这样的，从小到大不工作，也没养我们，但他是跟我姑一起和种稻谷，但每次都是种稻谷不到一会就跑去睡觉，还是跑路了，种稻谷三分之二都被他拿去买了，我们基本从小到大都是跟姑姑吃长大，要不都是我们自己煮，连油盐都没得吃，我们十几岁就出来打工，每个月给父亲五六百，生活费，就里火食费买米都是我们出的，我们卖地22万，征用土地每人三万，都盖了房子，生活费一直都是我们出，每个月还给他六七百生活得，他还叫我们还他20多万，像这样的情况，要怎么处理，能脱离父子关系吗？