我们以前已经离婚，但还在一起，我们一起盖了房子，盖在他哥的基地上，我把我基地给他哥了，现在他哥要推我房，我该怎么办，我老汉几个月前给我写了保证书，说盖的新房归我，和他没有任何关系，他哥在村扬言说推我房。