我和妻子结婚后，因为工作关系，我们居住在我亲戚闲置的房子里，丈母娘在我们身边帮我们照顾孩子。后面我和妻子常年争吵感情不和。我就说我亲戚的房子不让住了，没想到我丈人私自在外面租了房子把我妻子和孩子都接过去住了，并以房子太小为由拒绝我住。无奈之下我只能回家和父母一起住。我替老丈人出一半房租，他却要求我全付。我想知道，离婚时，我妻子那方能够以我不让她和孩子住宿为由要求我承担责任吗？