我们这里有个楼盘快建成时当时我们有意向购买一个铺位，当时下了五万元意向金，然后第二次去应该是确认购买，又交了十五万元，但是当时有份合同我没有签订，只是把钱交了，然后财务室跟我开了张收据，一共是开的二十万，现在我想退掉，在我没有签订任何合同的情况下，卖方有权利扣除违约金或者其他什么金额吗？还有就是我现在能直接去找卖方退款吗？