AI訓練的吞吐流量靠HBM記憶體
HBM4記憶體 = 1.6 TB/s
DDR5 = 48GB/s
pcie5 M2 SSD = 16GB/s
HD = 250MB/s
要做到等速傳輸
DDR5 = 48GB/s x 34條
pcie5 M2 SSD = 16GB/s x 100顆
HD = 250MB/s x 6400顆
上傳這些資料訓練後 還要承接訓練結果
DDR5 = 48GB/s x 33條
pcie5 M2 SSD = 16GB/s x 100顆
HD = 250MB/s x 6400顆
再來一組
所以AI上傳跟儲存所需
HBM4記憶體 = 1.6 TB/s x 2塊
DDR5 = 48GB/s x 68條
pcie5 M2 SSD = 16GB/s x 200顆
HD = 250MB/s x 12800顆
硬體資源被AI吸光 只剩下有限產能生產消費級產品
內文搜尋