去年我打算加盟一家餐饮店，是卖冰淇淋的。他们的负责人说不确定加盟没关系，可以先开着店试试，只要先付三万定金还有冰淇淋机器的钱总共五万就行。所以我就将钱汇过去了，之后发现他们的冰淇淋机器并不是全新的，也不好使用，生意也不是很好。所以我们决定不加盟了。但是那个负责人开始不跟我们联系，拖到现在才联系，还说我们还要交钱，为这段时间的市场占有费，扣掉定金还要一万。请问这种情况我们该怎么要回我们的定金，我们要付所谓的市场占有费吗？