我老公的爷爷奶奶是二婚，她奶奶当时已经和前夫有四个孩子了，结婚后生下了我家公一个孩子。在我家公7岁的时候他们两个（爷爷奶奶）离婚了，我家公跟了爷爷，然后在B地建了三间瓦房，作为爷两的房子，也就是我老公现在的祖屋。房子名字是爷爷的。现在我家公同母异父的哥哥想来争这个祖屋，说是继父留下的遗产，请问这个是爷爷离婚后自己建的房子，而且那些人没抚养过爷爷，他们有继承权吗？