我去年初离婚，儿子5岁，归他男方，有一套按揭房子写的我的名字，离婚协议签的房子产权各一半，贷款一人一半，儿子十八岁后过户给儿子，现在房子他和他妈住，娃儿他妈带起，今年他爸爸（娃儿爷爷）查出食道癌，也搬来住在一起，他妈又照顾娃儿又要照顾他爷爷，他在旅游船上班，每个星期回家一次，孩子基本见不到他人，周末也基本是我去陪娃儿，我想要回娃儿抚养权可以吗？