有關隔壁鄰居不定時的撞擊噪音，該怎麼辦?

小弟住家的類型是透天厝一整排連在一起的那種
常常聽到隔壁有撞擊牆壁或地面還有搬移家具的聲響
無奈是三不五時才出現幾聲，不是持續性的
因為這樣的狀況可以說每天都有，都快受不了
之前有嚐試和他們溝通，一直打死不承認還裝無辜
也有問過這位鄰居隔壁另外一邊的鄰居，也表示常聽到我形容的聲音
剛剛有想再跟他們溝通一次，結果連門鈴也按不響了
這房子小弟從小住到大已經住10幾年了
只知道隔壁這個鄰居一家人都很孤僻，以前曾和其他鄰居發生過爭執

想請問這種情況該怎麼處理呢?