事情要从1975年说起，当年我家旁边的荒地上有韦家种的一棵果树，后我家长辈在生产队的见证下用自家别的地块互换了这块地，一直到今年四月这块地一直是我家在种植农作物，养殖牲口，建茅房等。今年四月底家里决定推平重新建房，待今年九月底工程进行到一楼准备封顶灌浆作业时，韦家人过来滋事，宣称此地是他家的地皮，威胁工人谁敢动工就对谁不客气，我们为避免事件升级，而工人因个人安全问题也被迫停工。现此事已就此僵持至今，请问律师我们该如何处理此事？谢谢！