还没和老公离婚的时候就认识了一个已婚男人，后来我和老公离婚了就一直跟着这个男人，离婚一年后我老公又来找我复婚，因为有儿子我想回去但是那个男人不让我回去后来和他商量过后他同意我回去了，但是现在他又逼着我让我离开儿子和老公非要和他在一起，如果我不同意他就用他自己的方式让我回去，我该怎么办？