楼上一户精神病最近半个月骚扰诽谤谩骂我家人，还敲门威胁，用钥匙开我家的门。打110也没办法，让我们息事宁人，采取不理睬的态度。现在已经严重打扰我们正常作息生活。让我们很没有安全感。请问我该如何处理。