我跟我老公结婚三年了，办了酒席，他家也给了彩礼，没领证！但是三年内我们从来没有过性生活，他就是出去上班也很少给我打钱，三年下来给过我的钱不到一万！并且我问他是不是对我没感觉，他说是因为我拒绝过他一次求爱，所以不敢再跟我提，并且去找过小姐！我现在想离婚，彩礼要不要退还他？可以通过什么途径离婚？