35歲的我，該換工作嗎？

先說一下背景吧：
我今年35歲，已婚，有一女兒三歲，太太在已民營的電信公司上班，我婚前就在目前公司任職，至今五年餘，目前擔任業務主管，公司為日商1000大服務業，月薪50k，年薪約800k，但自婚前即一人在外租屋，三餐自理，在台灣的科技重鎮居住，開銷也大;老婆和女兒和我爸媽住一起，距離我以北95公里，我每週開車回家一次。

我的困擾是：
老婆嫁我三年，我們不曾住一起，她說最大的願望就是和我還有女兒住在一起，小孩漸漸大了，每次的離開帶給我萬分的不捨，因此每週日中午開始，我的心情就開始低落，直到週五晚上，才開始心情好。目前我的工作在家人眼中，算是穩定且薪水不錯，父母都不希望我換工作，因為我大學延畢還沒有畢業，家鄉工作應該也不好找，以目前的薪資算是比上不足比下有餘了。現在公司的環境，我也無法調離家近，老婆的工作亦無法調職來我這裡(且她的工作相對起來較穩定，年收入和我差不多），我在想，若一直保持現況下去，要何時我才能和她們母女住一起，才能陪伴女兒一起成長？

所以，我興起換工作的念頭，月薪少個15k都ok，少了房租三餐還有在外一些不必要的開銷，重點是我想要家庭的生活，現在的工作業績壓力算很大，朝8.5晚9，真的沒啥生活品質，可是若離開現職，捨棄的是晉升的機會和近六年的年資，且我35歲了，怕求職遇到障礙。

若各位是我，會如何決定呢，我真的很困擾！