我是因为男方出轨离婚，当时离婚孩子给了男方，说好的什么时候去看孩子，带他出去玩都可以，离婚快一年了，我也有了新的伴侣，可是他家里人理由却是因为我比他儿子早成家了，而不让我带孩子出去，离婚协议与上对子女是双方协商探视，我该怎么办