们家在北京市顺义区农村，1999年我们在不知道宅基地是别人名字的情况下建了三间砖瓦房和五间南倒垛房屋，今年他们让我们拆除，他找了一个中间人，说给我们两万元，我们把房子拆除。后来我们把房子拆了，但他只给了一万元，那一万不想给，拒不承认当时协商的了，现在地基和大门大门垛都在，都很完整，既然他反悔，我们现在不拆了，现在他要在我们拆除的地方施工，反而去法院起诉我们阻碍他施工。您看我们应该怎么办？