我买房子付了首付，首付应该是八十万，我只付六十万，和开发商签了一个借款二十万的借款合同，然后签了购房合同去做贷款。现在就是额度太高贷款下不来，现在想问的是之前我付的钱可以退回来吗？离我们签合同已经过去两年多了，本来想少贷一点的就一直拖到现在，