我是住在小区里，平时很少出门，我的女儿妞妞和楼下的小鹏要好，因此我经常带她下去玩。老公以为我和他有不正当关系，老是疑神疑鬼，甚至规定出门次数，时间。对此我特别愤怒，觉得离婚。请问这个理由合理吗？