上个月15号5万转让一个门面给别人，别人观察一个星期后支付了2万转让费，当时只给他打了一个2万的转让费收条，口头约定过户后支付剩余转让费，没写定金，支付了转让费之后的收入和支出就算他的了，29号和房东交接，也和他说好了，直接交了押金就过户，5月2号，他告诉我他不接了，让我退还他2万块的转让费，我在他接手期间已经答应一公司老板3号去上班，现在我该怎么办？