房仲帶看以及簽斡旋的物件，居然所有權人沒有要賣

現在碰到一件事情，想要請教各位大大。

去年底看到一塊地，分成兩個地號。據說可以一起買，也可以分開買。因為只買一塊就沒有路可以出入，所以當然就一起談，想一起買。
簽了委託，議了價。要簽約時，才發現，第二塊的所有權人根本沒有行為能力（老人家已經病重），所以說要賣，只是其中一個兒子說的（為他要賣他自己那塊沒有路的）。

我們覺得有點麻煩，就覺得應該要緩一下，又到年關，應該再仔細考慮一下。想不到房仲的態度居然是：你們已經同意這個價錢了，應該不能不買。否則斡旋金要沒收。

我把買賣議價委託書仔細看一下，想說這兩塊地都寫在一起，換言之，房仲根本沒有拿到這塊地的所有權人同意書，他怎麼能拿出來賣呢？請問我現在可以把斡旋金拿回嗎？