我在四川工作，去年国庆回山西老家了，在饭店吃饭时过来一个人和我们坐席的几个哥哥说话，不知道为什么我三哥和那人打架了，我们大家过去把他们拉开了，可是现在派出所打电话来说让我回去调查，这么久了又这么远，更何况我个拉架的而已，派出所说我说了不算，必须回去调查，我该怎么办