我想把乡下81年建的土木瓦结构的危房进行改造，可是乡政府不批：乡政府解释我所在的位置属于县城规划区内但这个论调十年前就有了，到现在一直没有开发的消息，而今房子墙壁都裂缝下沉近十公分楼顶也漏雨，凭现在的法律和我说的实情能不能用法律的角度告乡政府不作为呢？