我是女方，有一个女儿，孩子四岁时离的婚，离婚四年了，离婚时他答应孩子给我，但是没有书面协议，离婚后孩子一直我带着，离婚时没给他要一分抚养费，在这之间也没给过抚养费，因为我家不是一个省的所以孩子户口因为不好迁移所以一直在这耽搁着没迁走，现在男方想复婚拿孩子做筹码，要么复婚要么给他孩子，而我不想复婚，孩子是我一手带大的，我该怎么办