因为奶奶早逝，妈妈又受不了父亲的好吃懒做而离婚。所以从小我和爷爷相依为命，爷爷现在越来越老，已经干不动活了。我们俩每个月靠着点微薄的退休金生活。可是父亲对我们俩不管不顾还经常拿爷爷的退休金去花销。请问这种情况我们可以起诉我父亲吗？