双方因为异地分居感情比较淡，之后双方又生活在一起，因为有了孩子，现在男方回来后就一直没有工作，并且一起住在女方家里，现在双方要办理离婚了，之前男方有给过女方十几万元，是怀孕时所需要的，请问这样的话离婚需要把钱还一半给男方吗？