Wisely_lee wrote:
真的是為了作業，現在...(恕刪)
訓練速度慢點可以用時間補，但神經網路複雜度上升會非常吃記憶體
4070只有12g，12g不夠用，你就慘了，建議選選4060TI 16G，記憶體要再多就只能選4090
4060TI 16G一開始就被定位成ai訓練卡不是沒原因的
Wisely_lee wrote:謝謝有用過colab...(恕刪)
這是一份評比，涵蓋 FP16/FP32 和 FP32
看 Bert Training, automatic mixed precision 部分
https://www.aime.info/blog/en/pytorch-2-gpu-performace-benchmark-comparison/
這樣說好了，我先當你是要跑 LLM 的 FT
你如果只是想做一份關於 LLM 的作業 (一學期那種)
租一台 4090 GPU VM，0.69 美元 x 100 hr = 2300元左右
加硬碟空間也才多一些錢而已，100G 算 300 元
我不信 100 hr 時間砸下去完不成一個研究所的作業
而且你又不玩遊戲，那顯卡做完作業要拿來幹嘛?
用來跑AI的卡況，環境差點是跟礦卡有87%像
4060TI 16G 是入門卡沒錯，也沒有到不能負擔的地步
但一個暫時的需求卻要花至少 20K
還要擔心這擔心那，沒啥必要
(如果是研究，那又是另一個話題了)
內文搜尋
從 APP 打開
X