我是一个房客，房东是一个二房东，房子是群居房，当初房东只和我签了一份合同，合同上写的是一年，但是他私底下说可以随时搬走，现在我退房了，他不给我押金，后来我报警了，警察介入，在警察的见证下，最后双方达成口头协议，第二天把押金退还给我，可是他现在不退我钱了，我该怎么办？