我这里下河游泳摸河蚌，哪知道碰到一个本大队的无赖（原来承包本河的承包人，但现在承包期早已过。）他来骂我！我气不过上去给了他一拳和两个巴掌！他出了些鼻血立即报警！后我到派出所做了笔录！同时他也去了医院治疗！其实也是一时冲动！可是他现在鼻子已经看好，他却通过关系找了某位医生，赖在医院不回家！原先进医院的几千块钱全我付的，可是现在他又没有任何伤找莫需有的理由赖在医院扬言要告我！请问我该怎么办呢？头痛啊！