我在福州一家小公司上班，目前已离职，公司拖欠工资3个月未发，全公司员工大概有2。3十人多少都有拖欠，已有人去监察支队投诉，一个月都没有消息，支队长回复说找不到负责人，我们就撤诉了要去仲裁，仲裁让我们直接去法院上诉！ 这种情况我们该怎么办呢？