贷款给首付的时候没有留下任何证据证明是由我支付，房产证也是婚前办理，只有老公一个人的名字。老公是个无赖，吵架的时候甚至会说，如果离了婚，那笔钱跟他一点关系也没有，反正贷款人是我，我就自己负责。现在我该怎么办呢？