各位律师好，我想咨询一下，我大姐无儿无女，父母也已经死亡，后来和我姐夫离异，但是在与我姐夫离异的时候，写了份协议书，说是自己的房子让我姐夫住到死亡，去年我大姐脑出血意外死亡，后来法院把我大姐的房子判给了我，现在房子在我名下，当时去法院的时候，法官也看了我大姐的离婚协议，也没说什么，就直接把房子转到我名下。现在我姐夫想要回来住这个房子，但这个房子我想自己住，我可以不让他回来住吗？如果我姐夫家人要告我们，他们能胜诉吗？毕竟，这房子现在是我的名字呀，而且我姐夫和我们也没什么关系了，毕竟和我大姐已经离婚了。麻烦各位律师了。谢谢