一星期前载儿子上学的路上，因为赶时间，开的有点快，不小心撞到一个骑电动车的男人。当时只是刮到，对方摔倒。可是并没有事情，我提出去医院看看对方拒绝。因为是我的责任，最后我给了他五百块私了。可是现在对方又向法院起诉我说我撞伤他导致他右腿骨骨裂。请问我要怎么办？