我哥哥有一儿一女，去年离婚时两孩子抚养权都在我哥这里，我孩子妈也没有给抚养费，我哥呢整天整天的出差，都是我爸妈还有我在照看，现在我爸妈不想看了，想让孩子妈带一个去，现在问题就是孩子不想要孩子 我哥这几年外面欠了好多钱，现在养两个孩子太吃力，还有爸妈， 咱们法律上有什么办法能监护人来担起这个责任吗？