我买了一个二手房，签合同交定金是和房主的老公签的。至今没有见到房主本人，我们的首付因为出现变故不能按时交，可能会晚交一段时间，我们和中介交涉希望能和房东面谈，稍微晚一点时间交首付，但是中介就是不让我们见房东，现在说交不上首付算我们违约，除了定金不退之外还要赔偿违约金，想咨询一下我们现在怎么办