我现在要离婚，男方不同意，后来看我是真想离婚了，就说把彩礼钱退了可以离。离婚的原因是男方打我，而且根本不信任我，经常随意辱骂，我受够了。咨询过律师说不要退彩礼钱，目前要起诉离婚，可男方家经常带来来闹事，我该怎么办？