[問題]請問一下01上的達人們 要約書的問題

上個星期 經由群森(也就是東森)看中一間房子
(其實已經看中很久了，也考慮很久，最後才在上星期簽約)
簽了一份「要約書」 上頭有一條是標明：

本要約書經賣方承諾出賣後
買賣雙方如有一方違反本要約書而不覆行簽訂不動產買賣契約之義務時
違約之一方應支付他方買賣總價金百分之三之違約金作為損害賠償

問題在於，當初仲介自己說這份約只算是「型式上」的紙
主要目的大概就只是有個依據去和賣方橋價格
而且我方也沒付任何費用(例斡旋費、訂金之類的)

這幾天經由某人得知，賣方多賺了很多(賣方是投資客，當然會想賺多一點)
雖然說該給人賺的就該給人賺一下，但在我方的立場當然也是想少付一點
所以今天找來仲介，跟他要求「代書費、契稅、土地增值稅」等 要一併算進去承購總價內，也就是全包
當然，為了達成目的，所以也故意用了「不然就不買了哦」這招XD

結果仲介拿出了我第二段打的那條規定出來，說如果不買就算是我方違約，要付3%違約金
但那天不是說這份(沒付任何訂金的)合約並不太具有效力嗎
↑雖然那天仲介這樣講的時候，我覺得他是有點敷衍的帶過去，但因為我也不是很懂，所以就沒考慮太多

拉哩拉雜的講了一堆，主要想問的是：
如果我方真的不買(違約)，這張有簽名蓋章(但沒付錢)的要約書，會被拿來要求我們賠償違約金嗎

感謝回答^^


補充：
事前其實早就有研究過大概能買的價格了，並不是無腦的就簽了，所以別鞭哦XD
其實價差並不是真的很大，但就是個奇檸子的問題，所以才想多少拗一點
拗不拗的到其實也沒差，反正價格已經能接受了
只是想要問一下這個問題而已，因為打算問出來後能吐一下那個仲介的槽也好XD