我协议离婚一年，协议中孩子抚养权归男方所有，我每年寒暑假孩子归我带着，现在男方不允许我探视，而且为了不影响他再婚，打算把孩子给他二伯家寄养，像这种情况，我可以能通过法律途径把孩子抚养权要回来吗？这期间协议中我没有支付抚养费，小孩三周岁