毕业后我跟人合租了一个套间，现在因为钱款足够，已经买了新房子，所以有退掉租房的念头。我缴清了所有的房租，要求房东把押金还给我，但房东拒绝了，说我损坏了他的房子。本来他的房子就不是很好，再加上我合租的那个人习惯不太好，所以房子才经常有问题，但这与我无关。并且我认为这跟押金没有关系。请问我现在该怎么做才能拿回押金呢？