双方结婚后一直在外打工，无房产，夫妻财产为零。婚后生下一女，现在2岁半，孩子一直由其父亲工作，母亲照顾小孩（其母亲一直未工作），在出租屋长大（还有小孩祖父家里给与生活费）。现在女方出轨，要求离婚，并且要孩子抚养权，男方同意离婚，但要求抚养孩子，双方争执，现在孩子由女方并且携带一陌生男子带走！双方无法签字离婚。孩子应该由谁抚养？