房仲擺爛，可以扣他的服務費嗎?

各位先進好，

最近小弟在彰化地區買了一棟透天厝，
它是南彰化地區才看的到的三x不動產仲介的。

目前就是按照一般的交屋程序進行中：
1. 簽約款 2. 備證款 3. 完稅款 4. 尾款
因為我貸的金額較高，所以代書就建議我把3跟4一併處理。
所以也就是說點交之後才會將尾款跟完稅款匯入賣方的戶頭。

點交之前我們就必須查清楚哪些瑕疵是賣方會負責的並且處理好(代書說的)，
所以我們看了幾次之後，把結果彙整給帶我們去看的仲介。

但是仲介表現得愛理不理的樣子，並且很明確的顯示出是我們很挑剔。

我們有以下的問題：1. 抽水馬達故障 2. 廚房玻璃破損 3. 屋內有一處疑似漏水痕跡 4. 部份水龍頭故障；
雖然我跟賣方打的合約上頭只明確記載「水電暢通」並沒提及「不漏水」，
但是我是希望透過仲介去談疑似漏水的問題，
看看賣方是否接受支付處理該處外觀的修補的費用，
並請賣方支付1、2的修繕費用，或是代為處理。

先前帶看的房仲有跟我們一同去查看以上提及的問題，
但是另一個跟賣方接洽的仲介卻不想處理，一直把時間往後拖延。

我跟該仲介公司打的斡旋書上面有載明買方的服務費用是成交價金的2%，
但是仲介的態度讓我感到相當的不滿意，所以我想扣他的仲介費。
不知道這樣的行為是否會有法律上的疑慮或是破壞行規的問題。

另外，我跟賣方的合約上有載明"備證款後可清掃屋內環境，但不得入住。"
因為不管是親友或是熟識的水電朋友都說屋內如有疑似漏水的水漬，
那很有可能是屋內破損水管造成的，
但是水塔沒有水，恐怕查不出那個水漬是否由屋內破損水管造成。
我就找了一個假日的上午會同水電工去把那個壞琸的抽水馬達換掉，
那個愛理不理的仲介知道我們把那個馬達換掉之後，大為光火。
在此想請教各位先進，我這樣的行為會讓交屋的情況變得複雜嗎?

謝謝您的回答