根据合同法第四百一十条，委托人可以随时撤销委托。如果相互没有信任或者已不再需要办理委托的事项，委托人即可单方解除委托合同，无须征得受托人的同意即可发生效力。但是受托人可以要求委托人赔偿相应的损失。受托人可以随时辞去委托。委托合同的成立既需要委托人对受托人的了解和信任，也需要受托人对委托人的信任。如果受托人不愿意办理受委托的事务，受托人无须表明任何理由，即可解除合同。
依法成立的合同，对当事人具有法律约束力。当事人应当按约定履行自己的义务，不得擅自变更或解除合同。委托方式一般有委托完成具体事项或委托完成某一具体时期的事务两种。对当事人在委托事项未完成或时期未届满时解除委托合同，一种观点认为不构成违约，理由是，委托合同是一种特殊形式的合同，法律赋予了当事人随意解除合同的权利，单方解除合同不构成违约。反言之，如果行使法律规定的解除权却构成违约，那法律应是“违约方”。
另一种认为构成违约，理由是事项委托或时期委托是当事人的约定，事务未完成或时期未届满即解除合同，显然与约定不符，解除合同的行为与当事人的约定客观上处于矛盾或对立状态。因此只要约定依法成立，该约定即受法律保护，应按全面履行的原则履行，否则便构成违约。
委托合同解除，对方不能获得要求继续履行的补救，而只能获得损失赔偿等补救。因为委托合同特别注重委托人和受托人之间的信任，一旦这种信任不复存在或受到怀疑，合同便失去履行的基础，法律在委托合同中赋予当事人任意解除权的出发点即在于此。但是，违约的事实是客观存在的，法律不应对其视而不见。
委托合同经要约承诺后合同成立，无论合同是否有偿，委托人与受托人都要承担相应的义务。
根据《合同法》第一百一十四条：当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，当事人可以请求人民法院或者仲裁机构予以增加;约定的违约金过分高于造成的损失的，当事人可以请求人民法院或者仲裁机构予以适当减少。另外委托合同可以是有偿的，也可以是无偿的委托合同是建立在双方当事人彼此信任的基础上。委托合同是否有偿，应以当事人双方根据委托事务的性质与难易程度协商决定，法律不作强制规定。
因此，委托合同是可以约定违约金的。但一般认为约定的违约金超过造成的损失的30%为过高，可以申请法院进行适当减少。