CloudMatrix384
甲地到乙地，你可以開著Nvidia的時速300公里超跑2小時跑到
紅共的五菱神車也許要開7~ 8個小時，中途還要停下來加個油、冷一下車。
但是他也是到的了目的。
先進硬體設計也許追不上，但是紅共的軟體實力可不是隨口說說的
tteffuB 特肥吧 wrote:
黃仁勳說有料華為CloudMatrix384...(恕刪)
高吞吐量、低延遲，有望降低對HBM依賴，預計9月開源
2025.08.13 03:00 工商時報 蘇崇愷
UCM小檔案
大陸科技大廠華為12日發表AI推理創新技術UCM（推理記憶數據管理器），這項突破性成果有望降低大陸AI推理對HBM（高頻寬記憶體）技術的依賴，並提升大陸AI模型的推理效能。陸媒報導，這項技術預計於9月開源，為AI產業帶來新一波變革。
華爾街見聞報導，華為在「2025金融AI推理應用落地與發展論壇」上推出的UCM，是一款以KV Cache（KV快取）為核心的推理加速引擎，能透過分級管理推理過程中產生的KV Cache記憶數據，擴大推理上下文，達到高吞吐量、低延遲的推理體驗，進而降低每個Token（詞元）的推理成本。
上述技術的發表正值AI產業從「追求模型能力的極限」，轉向「追求推理體驗的最優化」的關鍵時刻，推理體驗直接影響使用者滿意度與商業可行性，成為衡量模型價值的重要標準。
其中，HBM是解決「數據搬運」的關鍵技術。當HBM不足時，使用者使用AI推理的體驗會明顯下降，導致出現任務卡頓、回應慢等問題。
UCM技術能根據記憶熱度，把數據在HBM、DRAM、SSD等不同儲存介質之中流動，並結合多種演算法，將長序列情境下的每秒處理token數（TPS），提升2倍至22倍，有效降低每個token的推理成本，進而緩解對HBM的依賴。
華為數據存儲產品線副總裁樊傑指出，AI下一階段的突破將高度依賴高品質的產業數據，而「存力」（儲存能力）正是激發數據價值、賦能垂直產業的關鍵基礎設施。
華為透過技術優化，推出的高性能AI儲存，能夠將小時級數據的載入時間，縮短至分鐘級，把算力集群效率從30％提升至60％。
值得注意的是，截至7月底，國際開源社群Hugging Face最新趨勢熱榜顯示，全球前十大開源AI模型中，有9個是陸產大模型，排名第一的是大陸「AI六小虎」之一的智譜，所發表的新一代旗艦大模型GLM-4.5。美企僅Boson AI躋身前十名。
內文搜尋
從 APP 打開
X