我有一处房产已经给买方过户了，他是贷款，首付他付完了，现在银行需要交一个评估费，现在双方在讨论评估费谁交，协商完是买方交，买方说交完银行就一个星期放款，但是他交评估费有一个条件是需要提前入住我们开始定的是买房贷款费下来才给钥匙，验收房子，现在他提前入住，如果到时候全款下不来，他还不给我们腾房子怎么办