六个月劳动合同（违约金500元）4月18号到期，我主动拒绝续签，但仍然在该单位工作3个月，现在要离职，老板说没有合同我就是临时工，待遇跟临时工一样，前两个月多发的工资要扣回，还要扣除违约金(违约金本来就是违规的），并且拿出很多我在公司违纪的例子，请问我该怎么办？