我6月份把房子卖了，房子过户后买家去报户口发现我之前的！房主还没把户口迁出，（因我是外地的，也没把户口迁进来）现联系了我前面的房主，他不肯迁。我现在的买家已经把户口迁进去了，但他说要我把前面的户口迁出后才给我余款，我该怎么办？