在我很小的时候父亲就和母亲离婚，我从小和母亲相依为命，父亲在我的童年生活中从来都没起到一个应有的责任作用。后来他再婚也生了孩子，一个女儿。女儿已经外嫁很少回家。现在他老了，请问我不赡养他可以吗？