你好，离婚时小孩抚养权是在男方那边，那时候小孩和她奶奶是住在她姑姑家的，没有和她爸爸住一起，2024年的时候法院调解把小孩抚养权判给我了，现在我和男方发生口角吵架，男方又起诉要把小孩子抚养权要回去，他已经再婚有2个小孩了，我该怎么做？