要約書問題請教

事情是這樣的,小弟想在結婚16週年送老婆一間小房子.看上一間22坪北投的舊屋.
屋價680萬,出三次價,最後650萬1%佣金談成.上星期四是第三次要約書的起始日.
到星期日下午仲介口頭說屋主同意賣了.然後就要約簽約.問題來了.對方一直堅持要25日下午三點簽約.
小弟要到台中.所以希望星期六,或是星期日再簽.這幾天一直協調不出時間來.今天仲介說不然25日晚上十點簽約.
我不同意,我說我從台中回來很累.不想這樣去簽約.隔天不行嗎?他說賣方要出國,8天後才回來.我說我可以等他8天呀.竟然跟我說,我不去簽約,有可能會涉及違約歐.這句話一出.我老婆就火了,什麼叫違約.我其他時間都配合.就剛好那天不行.這樣也不行嗎.後來講的很不愉快.現在已經不想買了,想請問要約書今天已經到期了,如果現在不買了.要如何解決比較好.還有為什麼一定要星期五,星期六或是星期日不行嗎?我實在想不透耶,我出一次500萬,一次610萬,這次650萬.難道不夠誠意嗎