如果离婚家庭有不足两周岁的子女，那么考虑到子女较小，更加需要母亲的照顾，有的可能尚处于哺乳期，所以法律规定离婚后子女一般随母方生活。

但如果母方有特殊原因，实际上不能或不愿抚养子女的可以随父方生活。特殊原因主要是指：母方患有久治不愈的传染性疾病或其他严重疾病、母方有抚养条件不尽抚养义务等。

考虑到你丈夫有家暴和外遇，对孩子的成长更为不利，你可以向法院提起离婚诉讼，积极争取孩子的抚养权。