[問題]委託仲介賣房底價問題

各位版上先進，
小弟想請教一個問題，小弟委託賣房並簽了一個預購底價，這12月底有買方斡旋金出價剛剛好抵達我的底價。

之後就沒有簽過任何的東西（買方斡旋書、買賣意願書等）

因為工作的關係（原本要離職）暫時無法賣房子。也輾轉與買方取得不簽約的共識，（買方也有點後悔）

（賣方的委託書和買方的斡旋金出價書都有寫單方委託的罰款）

賣方；兩倍斡旋金＋成交的4%

買方：沒收斡旋金


在這種情況下，可以買賣雙方跟仲介談雙方同意取消交易，而雙方都沒有損失嗎？


先感謝不吝回答的達人。