因为我们一家常年在外，耕地要么就是借给村里的人耕种，要么就是抛荒。可是今年回来的时候发现有一块地竟然被人拿去建造厂房，找对方理论对方表示既然已经建了能怎么办，表示愿意适当的补偿我们一点。可是补偿太少，我们不能接受。请问遇到这种情况我们应该怎样维权？