夫妻双方在离婚时，法院把孩子判决给了女方抚养，但是女方得到抚养权的时候并没有对孩子进行抚养，也对孩子不管不问的，之后男方去法院起诉要回孩子抚养权，法院也判定了，但是孩子的户口却被迁到女方户下了，请问这样的话要怎么办？