給你結論：
1. 資料不在量的多少，而在品質。
2. 預測模式結構也是會變動(尤其是高維)，一般類神經網路很少提到這點。
阿儒 wrote:
感謝.在Y. Bengio...(恕刪)
剛在網路上搜尋了一下,
看大家解決overfitting的方式是什麼,
我確實還沒有看到說減少data會減輕overfitting的.
隨手抓了幾篇
http://docs.aws.amazon.com/machine-learning/latest/dg/model-fit-underfitting-vs-overfitting.html
https://jmetzen.github.io/2015-01-29/ml_advice.html
https://www.quora.com/What-are-ways-to-prevent-over-fitting-your-training-set-data
都指出減少overfitting的一招就是增加training data.
不知道哪邊有說法是說overfitting的處理方式是減少data呢？
(附注: 這邊探討的都是指原來的model架構不變, 而在原來的data下有overfitting. 增加data量並非唯一減輕overfitting的方法)
剛提到的Y. Bengio是個泰斗,
基本上說到machine learning與model training,
全世界比他懂、比他有經驗的人應該也沒幾個了.
回這篇的同時我其實也是正在train相當高維的資料 (一邊調整參數中(嘆)),
我想我train過的model應該也有數百個了, 也橫跨數個應用.
剛把一些最新的論文拿來看,
基本上趨勢就是training data越用越多,
越多data的人通常做的越好,
如Google, Baidu這些搜尋引擎 (可是偏偏不放出來給大家用(誤)).
您的結論我大部分是同意的,
品質絕對比數量重要, 但要train的好通常是缺一不可, 如果這兩個只能選一個, 一定是選品質.
Model架構的調整是常態, 看相關的machine learning競賽大約就知道了, 每年都不一樣, 尤其是在股票這種多變的應用上面.
謝謝.
me5888 wrote:
我已經實做過高維資...(恕刪)
內文搜尋
從 APP 打開
X