關於延遲交屋違約

本來和對方是有點小關係，但也真的只是因為某些因緣稍微認識，有聽說對方要賣屋
我這邊的家長本來有說好要去看屋，如果有需要的話我這邊優先
沒想到沒三天，對方就已經和仲介簽專任約，還是仲介帶我去看這間才剛好發現！
因為長輩也很喜歡，於是開始談了，然後也簽約了....
如果本來照一般合約來說，從簽約到交屋，通常是1個半月的時間
但是對方因為還住在物件裡面，而且還沒找到房子
對方希望我能多給對方一個月的時間交屋，我就很爽快的湊個到月底的整數
所以是總共給了對方三個月＋9天

問題來了～因為對方相關的延遲作業超過交屋時間，而且對方表面上態度似乎很配合
但中間讓我們覺得對方相當的"皮"，中間大約距離契約約定交屋剩下約一個多月，聽說對方找到房子也開始搬
對方有說有不然先執行交屋之後用租的到搬走，我也是有考慮到對方可能也會先需要錢
我有回應只要條件ok合理的話，我這邊是沒問題，但是之後又不了了之....
一段時間之後有約出來說談租約的事情，對方說因為我們多讓一個月的時間交屋
想說中間用租屋的方式補貼我們，我們又不是很計較那種小錢的人
而且照合約走的話，對方也根本不需要這樣做，所以我就拒絕了，也和對方說根本不需要這樣做！
當場也再次向對方多次確認約定的時間之前，房子是否可以順利交屋，對方說應該可以順利
因為之前對方說會留部分家具給我們，後來覺得他的東西都不太能用...
剛好對方提出我們是否有需求清空房子，我們心裡想說，太好了
對方願意清空房子，雖然合約上本來又有包含對方有義務清空房子....我們答應清空！
並說如果有延遲的部份，會用租的部份補償我們！因為這也合理，所以我也答應了
於是一直等一直等，等到約定交屋的前一天一直沒消沒息
於是交屋前一天晚上我才打電話給仲介，仲介才約我明天去"驗屋"
去驗屋看看東西大致上都搬走了，對方也還在做最後清理....不過當天也清理結束了！
但也不是交屋....但是也沒有談延遲租屋的事情.....

直到前幾天才約交屋，但是在交屋之前的一段時間
我有和仲介談論我方的不滿與決定罰違約金的事情，當然我也不知道有沒有船話給對方
直到交屋時，我說延遲交屋會產生違約金
對方竟然說鑰匙已經交給仲介，我們要弄房子也是都可以弄！
而且驗屋那天也都清空了，感覺對方裝傻說那不就算是交屋了嘛？
我有回對方問他，交屋的定義合約都寫的很清楚，而且也不是第一次買賣房子吧！對方就說不出來...
然後對方也有說他們真的也不是故意的，被銀行作業流程卡比較久..倒是他們又慢了半個月
對方也說當初說租約的事情，以為已經搬走清空了，就可以不用租了....
這我就不知道對方是真的裝死還是真的太天真....因為這段空白的時間我方的權益損失怎麼辦？
經事先有和許多人討教過，大多數的人都會用違約金.....
所以我開始主張罰違約金，對方竟然說那知我會用這一手...好像我是故意搞他們一樣...
聽了也不太舒服...中間對方也有說類似的攻擊性言語...但我都不太理會...我也不會攻擊對方
中間有很長的時間談的很僵...但是感覺對方沒有誠意補償延遲交屋的權益損失
於是我就從頭到尾就主張"照合約走"！本來完全照合約走的話，大概要罰2萬5左右...
當然我也不是完全不明理的人！因為交屋在星期一，我還特意六日不算，也把價錢算低
所以罰了對方不到1萬5，對方還一直說話很酸，說我讓他們上了一課...之類的
因為我一直覺得對方皮皮的，所以我是主張依照合約精神...
中間仲介還希望我直接和家長交代說有罰違約金了，然後我這邊不收，只是對上面交代而已
不收違約金就沒有懲罰的效果了...所以我還是堅持收！

我其實也不缺錢，那到這違約金也不會比較好！只是那是一種奇蒙子而已
只是之前一直有預想好可以準時交屋，所以有些東西都先定了，讓我有趕著弄房子的時間壓力
沒想到又被這麼一拖....從簽約到交屋大概花了快四個月吧....中間一直被家人念怎麼找了這種"麻煩房子"

現在我乾姊希望我把錢退還給對方，因為交易就是希望圓滿，收這個錢就像在討怨氣有怨念
但是不收的話我這邊其他人的怨念怎麼辦？大家也都是希望好好平安的完成交易
可是我最care的是延遲交屋也不坑不響...感覺沒被受到尊重....

請問各位，是你們的話會怎麼做？會罰錢？會退錢？