我是做小吃的已婚人士。前年有位女士给我店铺做小工做了半年之久。而后这位女士就没在我店铺做事了。这位女士之后就和她男朋友分手了。（这位女士的情况：她和她男朋友生活了5年，这过程生了两个女孩，大的5岁，小的3岁。小的抱养给别人了。她和好男朋友没有领结婚证。但当时有给彩礼金6万元。） 现在这男的经常带人跑我自己家去还去我父母家去要人要钱，说是我把他女朋友带走的要我把人交给他。还发短信打电话威胁恐吓我和我父母。这样的事情要怎么办