父母亲感情破裂，但去办离婚时被告知结婚档案丢失，之后一直未办离婚，但签署了离婚协议书。我父亲是在外面有了女人，之后从未对我进行抚养责任。现在我们母女自力更生，过得很好。那么我以后是否需要赡养我父亲？如果坚决不呢？我和母亲的房子会有我父亲的份吗？