急問!賣方同意斡旋價格後打算悔約?

各位前輩請教一下:
先前看中一間中古屋，在下斡旋十萬元數日後，就在與家人一起去看其他新成屋(要下訂前打電話跟房仲說不要斡旋)時，房仲說賣方在一兩個小時前接受我方出價並收下斡旋金，約好當天晚上去房仲的代書中心簽約，沒想到當場賣方說必須要等到年底，甚至是明年農曆年前(今天房仲說賣方要明年年底交屋)，家人本來妥協到今年十一月底，但賣方還是不肯，現在問題來了，雙方已經就買賣標的跟價金達成共識，但是賣方在同意買方出價及收下斡旋金後，卻突然說要延後交屋日期(已經非常誇張的期限)，現在房仲是希望我們把斡旋金原封不動拿回去，但是不是收斡旋就算是收定金嗎?我現在可以跟賣方要求返還雙倍斡旋金嗎?

其實之前就一直被屋主跟房仲(我個人覺得房仲作梗的機率比較大)玩得團團轉，現在是氣不過之前一個禮拜一直說要我們抬價(其實已經抬高二十萬了)，屋主不願意接受我們出的價錢，就在我們打算買新成屋時，就說屋主收下斡旋金(還沒有立即通知我們)，所以才想來這裡問問大家的意見。