1樓住戶有權決定住家圍牆是否重建嗎?

最近住家有個問題 想請問大家的看法

我目前住家是位在7樓華廈的1樓. 隔壁是正在興建中的豪宅工地 預定在今年底完工.
當初他們興建之時進行土地丈量 發現我們現有圍牆有侵占到他們土地(約80cm) 所以曾經有跟我們談過 將來圍牆重建時要還地. 當時以五樓的意見領袖住戶(一個老頑固阿伯)強力反對 拒絕任何溝通. 整個事情也暫時不了了之

現因工期快完工, 建商希望快點處理圍牆一事. 他們開出的條件是 就原地重建, 有關土地侵占一事他們願意暫時擱置. 但與五樓溝通後,阿伯還是不同意, 感覺還是怕建商會賴皮的..

以我一樓的角度...目前這個圍牆是磚造 年代已超過30年. 加上建商這兩年旁邊施工並在牆邊進行水溝工程. 個人以為 此牆已達危牆的程度, 若一個大颱風或地震 很可能會有坍塌危險危及到一樓住戶的安全

此外, 目前我們這棟的污水管及衛生下水道 都是侵占到他們的土地. 像衛生下水道現在是暫排到建商臨時興建的化糞池. 所以在圍牆重建時, 他們也會一併將這些管線移到我們土地內並且幫忙接好.

基於以上理由 特別是安全的問題, 建商與我談到的方式 是由我這邊來向他們提出重建要求, 並由里長見證於同意書上. 想請問, 我這樣的主張是否合理, 這個重建的動作是否一定需要全體住戶的同意?
(我們那棟7戶人家, 有三戶都是那位阿伯的家族..所以比例上他們算多數.)