我和我丈夫协议离婚了，我们有一个八岁的男孩，我把孩子给他了，当时说好的一个星期看一次，刚开始两个星期他还让我一个星期接回来跟我住一次，可是最近开始他以影响孩子学习为理由让我每星期看孩子两个小时，我想问一下这种情况我可不可以起诉要回孩子的抚养权？