我开了个小厂，运营了三个月，然后加入一个合作伙伴，商量注资3万元，实际注资2.3万，利润对半分，厂子我先起投入4万多元，技术，市场我全打开了，合伙经营了2个月，合伙人现在说不干了，要求我把注入资金全部给他，这两个月赚到的利润以分给他了50％，他注入的资金现在已经全部投资进厂子，生产技术是我花钱买得他已经学会了，技术是行业秘密，我答应只能退他1.8万元他不答应，现在扬言要上我家闹事，合作只有口头协议，我该怎么办？法律上该如何处理