和工程公司签订了装修合同，定金未付，未开工。现因为某些原因不想与这家公司合作，他要求我赔偿合同签订的总价20违约金，我认为给他造成的实际损失远未达到20。所以要求他降低赔偿金额，他说要走法律程序，想问下我的要求是否合理合法。如果走法律程序我要腰斩合同约定的20进行赔偿么？