本人租一个商铺做宵夜，因为店铺里面没有烧烤的条件，我们就问店家说这个店能不能烧烤，店家说可以摆门口外面，后来门口外面城管说不能摆，然后，现在没有地方烧烤了，我们要退店铺，但是我们只做3天，店家扣我们押金不给，我们不签署过合同，就开一个押金单，他里面写一年，而且店家注明有什么特殊情况可以退，但是现在这种情况不给我们退押金，怎么办？