求救。 共同壁

最近買的透天，要增建，但隔壁鄰居三年前已增建完成，對方是蓋在我與他的房子中間，就是所為的共同壁，我們也請地政的來鑒界過了，也請好幾個營造的來測量過，結論皆是共同壁，但對方硬説他有縮進去不准我們用這面牆，我們也有要貼錢給他，他説他才不是要錢，又説若是共同壁他不就侵佔我們的地是他要給我們錢不是我們給他。
他跟我們的房子都屬同一棟的建物，而且我們跟他説既然你説不是共同壁，那我一半的女兒牆怎麼都不見了，結果他見笑轉生氣，叫我們不准在提女兒牆的事，最後我們有去找里長，説完他同意用錢解決，我們請他估價，他説我們估就好，我們的估價結果是52萬，我們也想日後大家都要當鄰居就乾脆一點給他30萬（里長也認為這樣很高了，一定ok),結果他獅子大開口説他的牆是108萬，靠，搶錢嗎？不是説不要錢嗎？
我們當然是不可能給這麼沒行情的價錢，結果他就去威脅工人不准蓋
因為他的阻撓我們已停工三個月了，室內都積了很多雨水，可以向他求償嗎？
幫我們增建的是營造廠商，他是說他們會處理，可是我們是在附近開店，對方也知道，對方是混混，我們也是怕他來找碴，因為真正的大哥至少還會講理，卒子就不一樣，會搞一些小招數，目前未跟他有正面衝突，他要我們怎麼做我們也都盡量配合，必竟以後要當鄰居，可是他卻覺得我們好欺負。
想請教各位，還有什麼方法可以解決？3Q