我是上门女婿，今年元旦协议离的婚，孩子四岁了抚养权归我，我和前妻不是同一个市级的，我和女儿的户口都还在女方，现在我把女儿带回老家在读书，我去迁户口她一家人不让我迁走女儿户口，说等几年，请问一下对方有权留户口吗？如果不拿我能起诉吗？谢谢大家。