我和一个人有一个开发软件的合同，对方交了一部分定金，但是由于他改了很多次的需求，是通过电话沟通的，后来我就不打算给他开发了，最后有两次没接他的电话，他就到派出所报案说我诈骗，结果到派出所调解我退他一部分押金，并且签了调解协议。但是在派出所的时候他拿东西砸破了我的头，当时我没想起来做伤残鉴定，现在对方又在法院起诉我说我不履行合同，要我退还剩下的定金和巨额违约金。在这样的情况下我该这么做？合同违约中写的每延迟交付一天需扣款7%,请问这个应该是额外赔付7%,还是归还7%呢？