我是卖房子的甲方，对方是乙方买房子。在《房屋买卖补充协议》上有：乙方自本协议生效之日向甲方支付金额两万元，该定金在乙方履行存量房买卖合同后抵作房价款；如甲方不履行该合同，应双倍返还乙方定金；如乙方不履行该合同甲方收取的定金不予退换。还有补充的约定事项有：1.因为国家限购政策原因，故甲方同意乙方以亲属名义购买此房屋；2.若因非可控因素导致无法交易，则双方不追究违约责任；3.甲乙双方确保提供材料真实有效。现在乙方因为限购的政策不买我们的房子了，要求我们将定金两万元退还给他，我想问问我该不该退还