目前，我国法律并未明确规定商户招牌禁止使用特定颜色。因此，城管部门要求商户禁用特定颜色的做法，缺乏明确的法律依据。
即使存在相关法律依据，行政机关在实施此类行政管理行为时，也应当遵循正当程序原则，以书面形式告知商户更换的原因、依据、期限、补偿等具体事项。仅凭口头通知，未出示相关文件，违反了行政行为的合法性、程序正当性原则。
商户招牌的颜色选择往往与其品牌形象、经营特色等密切相关。禁用特定颜色可能对商户的经营造成不利影响，甚至损害其合法权益。因此，行政机关在作出此类决策时，应当充分考虑其合理性和必要性。
根据《城市道路管理条例》和《企业名称登记管理规定》等相关法律法规，商家在设置招牌时需要遵守一系列规定，包括不得擅自占用城市道路、需要按照规定办理批准手续等。同时，企业名称的使用也需要遵守法律法规，诚实守信，不得损害他人合法权益。
如果商户未按照规定设置招牌且未办理相关手续，可能会面临市政工程行政主管部门或者其他有关部门的行政处罚。处罚形式可能包括责令限期改正、罚款等。具体罚款金额根据违规情况和当地具体执行标准而定。
如果因未设置招牌导致他人损失，例如影响市容、妨碍交通等，商户可能还需要依法承担民事赔偿责任。