我在工厂上班两年了，工厂才给我买三个月社保，其中有一年我没有签劳动合同。三个月后我离职了，又找了一份新工作。4年后，想从工厂里拿接续卡，但是工厂说没有，因为我没有交，但是工厂当时扣了我的社保钱。请问我可以要求工厂赔偿吗？