我想离婚，情况和他差不多，但是我有一女儿，我不想给他，但是我的条件不是很有利，我只要说离婚他都把要孩子来威胁，我该怎么做？他也是离异，有个十几岁的女儿，一直给他父母带，自己没管过，如果我起诉离婚，万一他把我女儿要走了怎么办？才两周岁