我们村在2011年和开发商签了拆迁协议并承诺在14年5月给我们每户一所回迁房作为拆迁条件，可是去5月左右去要回迁房的钥匙时，对方对当时签的协议拒不承认，并声称当时签这样的协议是为了让我们尽快搬迁，在协议中做了手脚，即使我们打官司也赢不了，请问这种情况我们该怎么办？