老公說喝茶只是商品交易，我該怎麼辦

我和老公交往加結婚21年，最近他總是找藉口出門，2、3個小時後就回家，女人的直覺告訴我事情不單純，翻他的包包居然發現3個保險套和威而剛，上週和他攤牌，因為5年前他曾經和公司女員工有曖昧的關係，本以為是藕斷絲連，沒想到他竟坦承是去花錢喝茶，我當場情緒崩潰，跟他提離婚，說再也受不了這樣的婚姻了，他沉默很久，可能是自知理虧，說是如果我堅持他只好同意，但如果真離婚那些他幫我和小孩買的基金、保險很難處理云云，如果我真不想看見他，他可以滾到樓上去睡。

其實我內心是不想離婚的，這麼多年，他一直是個顧家的好老公（除了這些爛事）對小孩對我都是盡心盡力，我們出門也是會一直牽著手，也會一起聊天，但那天攤牌他說我們之間已經非常久沒有性生活了，他說對我沒有性的慾望，所以才想用別的方式解決，他說對他而言這就是一種商業交易，沒有觸及我和他最深層的關係。如果我覺得受傷他道歉。

現在的我，每天都在痛苦的掙扎中，他覺得我監視他，讓他壓力好大連門都不敢出，也覺得我動不動就用話酸他，他沒辦法一直處理我的情緒，明明是他做錯事，為什麼說得好像都是我的錯？不想離婚一部份是為了小孩，一部份是不是對他還有期待我也不知道，我和他沒有辦法修復關係了嗎？