离婚的时候不一定要退彩礼，还是要看夫妻双方有没有需要退彩礼的情况发生。结婚之后没有在一起共同生活的，离婚时女方需要退还彩礼;男方在给完彩礼之后导致自己婚后生活困难的，离婚时女方需要退还彩礼。
法律依据：《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释(一)》
第五条 当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
(一)双方未办理结婚登记手续;
(二)双方办理结婚登记手续但确未共同生活;
(三)婚前给付并导致给付人生活困难。
适用前款第二项、第三项的规定，应当以双方离婚为条件。
女方不退彩礼是不会把她怎么样的，但前提是本身就不需要退彩礼，但是如果符合退还彩礼的情形，并经法院判决，女方拒不退还的，很有可能触犯拒不执行判决、裁定罪，这个时候就比较严重了，不仅要罚款，甚至还要坐牢。
法律依据：《中华人民共和国刑法》
第三百一十三条 【拒不执行判决、裁定罪】对人民法院的判决、裁定有能力执行而拒不执行，情节严重的，处三年以下有期徒刑、拘役或者罚金;情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。
单位犯前款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照前款的规定处罚。
离婚时彩礼要退多少?(1)双方未办理结婚登记手续的，一般应当全额返还;
(2)双方办理结婚登记手续但未共同生活的，一般应当全额返还;
(3)根据给付人的困难程度，酌定返还额度;
(4)根据结婚时间长短确定返还额度。结婚时间应以实际共同生活时间为标准。实际共同生活一年内提出离婚的，彩礼可在半数以上酌定返还额度;实际共同生活两年内提出离婚的，可在半数以上酌定返还额度;超过两年的一般不予返还。
(5)根据导致感情破裂的过错责任确定返还额度。由于给付人的过错导致夫妻感情破裂的，一般不予返还。确系因为给付彩礼造成绝对生活困难的，可酌情在半数以下酌定数额;因接受人的过错导致夫妻感情破裂的，可相应酌定增加返还的数额。
以上就是小编整理出的关于离婚时彩礼的法律资料内容，希望对你有所帮助。如果还有不懂的地方可以在大律师网进行在线咨询，会有相关的律师为你解答详情。