你好，无需退还彩礼，不用理会男方的无理要求，除非给了这个彩礼导致他生活困难无以为继，吃饭都有问题，不然按照你这个结婚4年的情况无需退还，就算去法院起诉也无济于事，不用理会。
《最高人民法院关于适用<中华人民共和国婚姻法>若干问题的解释(二)》(下称《婚姻法解释(二)》)第十条规定：“当事人请求返还按照习俗给付彩礼的，如果查明属于以下情形，人民法院应当予以支持：
　　(一)双方未办理登记手续的；
　　(二)双方办理结婚登记手续但确未共同生活的；
　　(三)婚前给付并导致给付人生活困难的。
　　适用前款第(二)、(三)项的规定，应当以双方离婚为条件。”