求助，我卖了房子，只签了中介合同96万，之后我毁约不想卖他了，收了他五万定金，合同上手写内容甲方违约赔偿双倍定金十万元，我也愿意赔他那么多，可他还是不同意，说耽误他大事了，什么房子涨钱了，孩子不能上学了等等，要起诉我，我该怎么办？没打过官司好怕。