自己盖房，盖了三层准备盖第四层的时候政府突然说要拆迁不让盖了，而且没有以任何形式提前通知，但是我第四层的材料都已经买了，当时跟他们说好了会赔偿材料费。但是后来等了1年都没有赔偿，直到搬迁的施工组到我这里来我问他们他们又说没有赔偿了，我就继续把四层建完了。现在搬迁了政府说我是抢建不给赔偿。请问我这算不算违建，怎么处理？