双方是属于二婚的，并且岁数相对都比较大了，现在男方因为年轻时劳动过度身体比较不好，现在医药费用都是子女支付的，女方也不照顾，并且还骂男方并且还赶出家门，但是男方之前到女方家生活时有带上几万块钱，请问如果离婚的话可以要求返还吗？