透天房屋外牆被侵佔...救救我,快崩潰了...

大家好,
我的房子為巷口第一間邊間房屋,未開窗,房屋隔鄰有一空地.
大約在七八年前,那空地建了違建,是一棟二層樓的鐵皮屋,相鄰我房屋外牆的那一側,對方沒有蓋自己的外牆,直接搭在我房屋的外牆上.
該屋將要興建時,鄰居反應,要蓋房子的那個人先前住過本巷,是個交往雜亂,常違停車輛(包括屋主和他常上門的酒肉朋友們)又吵鬧的惡鄰,有鄰居人想告違建不給他蓋,那人就放話恐恐嚇本巷的人,若是他的房子蓋不成,就要報拆大家的違建(同巷超過三十年的老透天),我因怕有事也怕連累鄰居,只能默默忍讓,後來蓋完後,要給我錢,作為使用外牆的費用(他事前沒有任何的溝通),我回覆,只要不要亂停車,不要喝酒鬧事就可以給他使用外牆,到目前為止也沒有收過他的錢,也怕收了錢不好要求對方.
結果屋子完工搬進來一二個月後,就故態復萌,喝酒他們自己人還打起來,沒打架就高聲交談叫喧,三字經,更是常常不離嘴......,把己經很小的六米巷只併二三台機車或打橫停放,我從剛開始的好言相勸,把對方請到家中來溝通,未改善,到協調地方村長協調,最後分駐所人員處理,只是換來更吵,而且是故意找更多人群聚,喝酒叫喧,己七八年了,我和隔壁己到了水火不容的地步,我現在要請教,是否可以以侵佔外牆來提出告訴,對方是地方"老"混混,我也知我硬來我會有危險,但我都忍了七八年了,快崩潰了,我人身保險買好了,打算我處理這事出意外,我的另一半也能帶著孩子,好好生活,我是破斧沉舟了......怕,但我也要處理...
我唯一的孩子沒上安親班,也沒上補習班,現在國二,功課都是我自己教,他也能自動念書,但家中一到三樓找不到可以念書的地方(不必安靜,只要不吵鬧即可...),我感到真的很悲哀....求求大家給個建議....先謝謝大家了...