鄰居加蓋，侵佔我家土地……該怎麼辦呢？

我們家是在彰化鄉下的三樓半透天（近30年的房子），約五個月前，
我家隔壁鄰居三樓後面（原是露台）和四樓（頂樓和水塔）要加蓋，為了施工，需拆掉我們兩家之間的牆重蓋，且對方也承諾會恢復原狀，當時本著鄰居一家親的想法就允諾了。

期間每逢下雨天，我們家裡面也跟著濕，我們也默默承受了，誰知最近他們接近完工，牆重砌好了，卻明顯的侵佔到我家的土地，去跟他們反應，他們還無所謂的說大不了牆可以敲掉還我們，可是我們的牆就會是毀損的狀態。後來我們說牆可以不要敲，但是我們家的這面牆不要漆油漆，他們居然說不可能，那會影響到防水？！

所以我想請問我們連自己的牆要不要油漆都沒有決定權嗎？因為鄰居的態度就是他是某縣政府地政處的副處長，比我們了解相關的法律條文，我們就毫無還手的餘地了嗎？