微軟新發表自研 AI 晶片及 雲端運算處理器,台積電代工生產

https://technews.tw/2023/11/16/microsoft-unveils-its-first-custom-designed-ai-cloud-chips/

微軟自研 AI 晶片傳聞未曾停過,在一年一度 Microsoft Ignite 2023 大會上,終於發表用於資料中心的 AI 晶片 Azure Maia 100 和雲端運算處理器 Azure Cobalt 100

/// Maia : 昴宿四(金牛座20), 一顆藍色星座

微軟新發表自研 AI 晶片及 雲端運算處理器,台積電代工生產


微軟新發表自研 AI 晶片及 雲端運算處理器,台積電代工生產


Azure Maia 是一款 AI 加速器晶片,用於 OpenAI 模型、ChatGPT、Bing、GitHub Copilot 等 AI 工作負載,Azure Maia 100 則是該系列第一代產品,採取 5 奈米製程生產。Azure Cobalt 為 Arm 架構的雲端運算處理器,配備 128 個運算核心,與目前幾代 Azure Arm 晶片相比,效能提升 40%,為 Microsoft Teams、Azure SQL 等服務提供支援,這 2 款晶片均由台積電生產,微軟已在設計第二代版本

領導團隊開發新晶片的微軟 AHSI(Azure Hardware Systems and Infrastructure)副總裁 Rani Borkar 指出,微軟已在 Bing 和 Office 產品測試新款 AI 晶片,微軟主要 AI 合作夥伴、ChatGPT 開發商 OpenAI 也以 GPT 3.5 Turbo 進行測試。Azure Maia 和 Azure Cobalt 預計明年初正式用於微軟資料中心,成為 Azure 雲端運算服務的一部分。

Rani Borkar 接受外媒採訪表示,對具規模的微軟而言,優化和整合硬體的每個要素可提供最佳運算效能,同時避免供應鏈瓶頸,Azure Maia 和 Azure Cobalt 可為客戶提供基礎設施新的選擇

自研晶片可獲得硬體性能和價格優勢,同時避免公司過度依賴任何一家供應商。目前 AI 產業高度依賴 NVIDIA GPU 因此凸顯問題,亞馬遜和 Google 已有自研晶片的具體成果,亞馬遜 2015 年收購以色列晶片新創 Annapurna Labs,為客戶提供雲端和 AI 晶片的服務,Google 從 2018 年起允許客戶採用自研晶片 TPU(Tensor Processing Unit),微軟急起直追終於跟上腳步。

除此之外,微軟也將在明年向客戶提供採用 NVIDIA H200 GPU 和 AMD MI300X GPU 的虛擬機器(VMs)服務,2 款晶片都能用於執行 AI 任務。

==

2023-11-17 1:52 發佈
連微軟都不想被老黃掐著脖子搶 AI GPU 的錢

還是應該像這裡許多網友意見一樣, 其他廠商再努力也沒屁用

叫微軟也不要掙扎了直接繳械投降?
其實是現在GPU還搶手, 各巨頭自家AI晶片仍方興未艾還沒全面量產, 籌碼還沒齊還沒翻臉
等到全面自研晶片量產完畢的時候, 搞不好老黃就會被反壟斷法找上門
^^A 請多多指教~
現在才在開發AI運算晶片?是否太晚了?市場早就被nVidia搶光了...而且還有蘋果和高通也在搶食AI這塊大餅...INTEL真的太晚了啦
幫你回答問題是熱心,給個鼓勵吧
maya95
maya95 樓主

INTEL AI 加速器 Gaudi2 已出貨, 只要 H100 半價. 明年出 Gaudi 3. Gaudi AI 晶片是 INTEL 子公司 Habana 的產品

2023-11-17 11:41
townboyed wrote:
INTEL真的太晚了啦


https://www.servethehome.com/nvidia-shows-intel-gaudi2-is-4x-better-performance-per-dollar-than-its-h100
NVIDIA 自己的圖表顯示 Intel Gaudi2 的性價比是 H100 的 4 倍?



查看上面的Stable Diffusion測試,人們可能會發現 NVIDIA 的速度比 Intel Gaudi2 快約 8 倍。然後我們了解細節。NVIDIA 使用 16 倍數量的 H100 GPU 來獲得這種加速。從這個角度來看,我們預期速度提高 8 倍的成本將遠高於 32 倍。換句話說,NVIDIA 的行銷幻燈片顯示,與 NVIDIA 相比,英特爾的性價比介於相對接近和高 4 倍之間(約 8 倍的效能,約 32 倍的成本。)

呃?我們主要看到,訓練Stable Diffusion不是線性可擴展的:GPU 數量擴展為 16 倍(從 64 擴展為 1,024 個 H100),加速增加了 4 倍(從 10 分鐘到 2.5 分鐘)。

但與 Gaudi2 相比,幻燈片顯示:
* 64 Gaudi2:20.2 分鐘
* 64 H100:10 分鐘

因此,即使考慮到 H100 的價格是 Gaudi2 的兩倍,它也使每個加速器的性能/價格處於相同的範圍內:H100 訓練穩定擴散的速度是 Gaudi2 的兩倍,價格是 Gaudi2 的兩倍。這裡的性能/價格比相同。

因此,本標題中的 4 倍是關於軟體可擴展性,而不是關於加速器性能/美元比率。至少可以說,這張投影片的結論相當具有誤導性。
wonderzero2

生態系比較重要,微軟有辦法離開 cuda 嗎

2023-11-17 19:58
maya95
maya95 樓主

wonderzero2 生態的確很難取代, 就像 Windows 獨霸市場多年. 但 其他 OS 就放棄了嗎? 其他系統或生態也許需要十年以上的努力才趕的上或開始慢慢侵蝕霸主地位.

2023-11-18 0:44
https://www.forbes.com/sites/karlfreund/2023/11/16/microsoft-announces-maia-ai-arm-cpu-amd-mi300--new-nvidia-for-azure/?sh=7b0ef24c3e1d

Maia 基於 TSMC 5nm 構建,具有強大的 TOPS 和 FLOPS,但它是在 LLM 爆發之前設計的(開發、製造和測試 ASIC 需要大約 3 年時間)。它非常龐大,有 105 billion 電晶體(H100 中有 80 B)。它可以處理 MXInt8 的 1600 TFLOPS 和 MXFP4 的 3200 TFLOPS。它最顯著的缺陷是它只有 64 GB 的 HBM,但有大量的 SRAM。IE。它看起來像是為 CNN 等較舊的人工智慧模型設計的。微軟只使用了 4 個 HBM 堆疊,而不是像 Nvidia 那樣的 6 個堆疊和 AMD 的 8 個堆疊。第二代記憶體頻寬為 1.6 TB/s,擊敗了 AWS Trainium/Inferentia 的 820 GB/s,並且遠低於 NVIDIA 的 2x3.9 TB/s。

人工智慧的效能將取決於你在做什麼。對於LLM培訓,NVIDIA和AMD都應該輕鬆擊敗它。較大模型的推理在 GPU 上也會表現得更好,但對於企業將使用的較小模型,它應該已經足夠了。
townboyed wrote:
現在才在開發AI運算...(恕刪)


是蠻晚的...
不過全球伺服器仍以Intel出貨為大宗,
Intel仍可靠CPU貨源合作關係得到一些市場。
但要撼動老黃...短期應該不能,
即便Intel賣的再便宜也一樣,
除了效能本身差異外,
上面留言提到的生態問題也是其一。

就像玩繪圖被CUDA綁死,
好多軟體與插件都是最佳化N卡,
CPU個人 I . A 兩家都買,
但顯卡A家賣得再便宜、VRAM給的再多...
我依舊換不過去...
自律努力讓自己變大隻
內文搜尋
X
評分
評分
複製連結
Mobile01提醒您
您目前瀏覽的是行動版網頁
是否切換到電腦版網頁呢?