我19日中午12点与乙方签订了劳务合同，约定乙方于22日组织工人进场施工，合同约定签订即支付1万元作为进场费用，我当时身上只有5000元，乙方说20日打款都没问题。19日14点，介绍乙方给我认识的厂家来电话，说不买他们厂的材料就不让队伍施工，在签订合同之前我方就此事与乙方沟通过，劳务合同与厂家无关。过程中三方有过多次通话，考虑到不引起不必要的矛盾，经多次电话沟通后我方决定取消此劳务合同，并于20日12点电话正式通知乙方取消此合同，乙方答应取消但要求赔偿几万元钱，我考虑到解约事实的存在，经过近一小时的电话沟通，最终达成3000元的违约赔偿金。我按照合同里的账号当时就办理了网上付款手续，并截图给对方。20分钟后，对方收到钱，说赔偿少了，之前说的金额不作数，并说是我违约在先，他现在也要做小人行为，如不继续赔偿将上法院起诉。