Arm 在上海舉辦 Unlocked 首站活動 活動中發表全新 Lumex CSS 平台。
在行動裝置上賦予 AI 效能已經是目前市場上的主要趨勢，但是在目前市面上的行動裝置中，大多數還是透過網路連線存取雲端服務來提供使用者 AI 效能，不管是隱私、反應延遲、甚至是使用成本上，對於消費者或是硬體廠商來說都還是不小的負擔（像是很多手機目前要用 AI，都還是有時數上的限制，或是用儲值點數來計算），而如何要讓 AI 能夠更方便的為消費者使用，就成為目前硬體廠商主要的開發重點。
Arm 今年下半年在上海、首爾、深圳、東京、台北舉辦一系列的 Unlocked 活動，推出了全新的 Lumex CSS 平台，透過新的 C1 核心架構提供了更高的 IPC 效能，讓行動裝置能夠擁有更強的處理能力，也在架構中加入了 SME 2（Scalable Matrix Extension 2，第二代可擴展矩陣延伸指令集），讓處理器能夠具備本地的 AI 算力，並且透過 CPU 高度可程式化、通用運算的配置，讓硬體廠商可以針對自己想要提供的 AI 服務／應用進行最佳化設計，提供使用者像是智慧助理、即時語音翻譯或是其他個性化 AI 服務。
更多 Arm Lumex CSS 架構解說請見：
不僅可隨硬體設計任意搭配 效能更有顯著提升！Arm Lumex CSS 架構 CPU 效能詳解
Arm 展示新一代 Mali G1 GPU 設計 提供手機更強遊戲光線追蹤顯示效能
而陳拔這次也應 Arm 的邀請，前往上海參加了首場 Unlocked 發表活動，下面就來看看這次活動的發表內容以及 Arm Lumex CSS 平台的主要特色。
首先由 Arm 的資深副總裁暨終端產品事業部總經理 Chris Bergey 上台進行介紹，表示目前 AI 已經重新定義了電腦運算這個領域，也已經成為次世代行動與消費技術的基礎。
不管是資料中心的 AI 雲端服務、車輛自動駕駛、手機上的 AI 助理、電腦／工作站上的 AI 應用，甚至是小型的物聯網裝置上，都有 AI 的需求正在產生。
而 Arm 在這個部分則是提供了完整的平台架構，在資料中心部分有 Neoverse、車輛部分有Zena、行動裝置部分則是這次新推出的 Lumex、PC 部分有 Niva、物聯網部分則是 Orbis，另外也從硬體架構到軟體部分提供了完整生態系的解決方案。
Arm 在這些架構下也提供了最佳的能源效率、最高的效能表現以及可以讓硬體廠商最快推出產品的服務，對於硬體廠商來說，可以在最短的時間內推出應對市場新需求的產品。（真的很快，今年稍晚就會有聯發科的產品推出）。
而在行動裝置上，AI 到底能夠做甚麼？Chris Bergey 也在簡報中展示了幾個例子，像是即時的 AI 助手互動、離線就能進行 AI 即時翻譯、透過 AI 讓跨世代交流更容易等等。
而 AI 技術的進步也開始改變了消費者行動裝置的使用樣態，從目前的觸控螢幕，慢慢有更多人開始使用自然語音進行操作，之後很可能就是 AI 自主判斷使用者需求，直接提供給使用者更貼近的操作建議預測等等。
而這一切都建構在具備 AI 運算效能的硬體架構上，所以接下來 Chris Bergey 就開始介紹了這次發表主角：針對行動運算裝置（手機、平板）所推出的 Arm 全新 Lumex CSS 平台，透過 C1 家族的組合以及 Mali G1 Ultra GPU，提供了雙位數的效能提升，而且還具備 SME 2 技術，直接讓處理器就擁有足夠本機運算的 AI 效能。
這邊暫時借用一下 Arm 的官方簡報，看得比較清楚，可以看到這次的 Lumex 架構主要是由 C1 CPU 叢集搭配 Mali G1-Ultra GPU 所組成，在這次 Arm 的設計中仍然維持了平台式的設計，提供更好的效能表現以及方便開發的特性。而在 CPU 叢集的部分，這次仍然可以硬體廠商依照自己的需求來以不同核心的組合進行搭配，這次 Lumex CSS 在 CPU 核心的部分也採用了全新的設計。（這個下面再來講）。
而在 CPU 叢集部分這次加入了 SME 2 功能，加入了 AI 的運算效能，在發表會之後的問答環節中，Arm 表示透過 SME 2 功能的加入，讓 CPU 也能擁有更強的 AI 運算能力，而跟具備平行處理優勢的 GPU 以及低功耗／快速反應的 NPU 設計相比，在 CPU 加入 AI 運算效能的優勢在於 CPU 的通用計算以及高度可程式化特性，可以讓硬體廠商的可以針對自己的產品需求，讓 CPU 硬體可以跟 AI 模型進行最佳化，達到更好的 AI 效能表現。
另外在 Mali-G1 Ultra GPU 的部分，則是加入了新一代的光線追蹤功能，提供遊戲時更好的畫面呈現。
既然提到了 SME 2 功能， 也先來回顧一下 Arm 在處理器 AI 部分的發展，其實在先前的 Armv8-A 架構中，Arm 就開始導入了 AI 運算能力，而到了 Armv9 部分，則是透過可擴展的向量架構提供更多的 AI 運算效能，而在 Lumex CSS 的 Armv9.3 架構，就以 SME 2 提供更高的 AI 運算能力。
而 Arm 在簡報中也提到了 SME 2 功能的 AI 實際運算效能的提升幅度，在語音辨識部分具備更低的延遲、大型語言模型編碼速率更快，在音訊生成的速度上面也有 2.8X 的效能提升。
至於為何要從目前雲端為主的 AI 應用朝向裝置端發展，Chris Bergey 也表示在裝置端提供 AI 運算效能具備四大優勢，包括隨時可用、低延遲、具備隱私保護以及更便宜的使用成本等（最後一項看來才是最大的推力）。
而這次 Arm 在 Lumex CSS 平台上選擇以 CPU 叢集作為 AI 加速應用的效能來源，除了前面提到的 CPU 的開放架構以及可程式化的原因外，Chris Bergey 也表示對於開發者來說，應用程式仍然主要透過 CPU 來執行，如果可以在 CPU 端就直接進行 AI 效能的支援，就能提供更好的運算效能與處理效率，不用針對 NPU 或是 GPU 架構做額外的轉換處理，也能節省資料傳遞過程中所產生的延遲。
而在 AI 應用的開發來說，Arm 也提供了立即可用的 AI 開發體驗，Arm 旗下的 KleidiAI 架構已與各大主流框架包括 PyTorch ExecuTorch、Google LiteRT、阿里巴巴 MNN 及微軟 ONNX Runtime 進行整合，開發者無需修改任何程式碼，即可自動取得 SME2 的加速能力。
另外對於跨平台應用的開發者，包括 Gmail、YouTube 和 Google Photos 等 Google 應用目前也全面支援 SME 2，對於主要客戶為 Android 手機的 Lumex CSS 平台來說，這點對硬體開發商相對具有吸引力。
Chris Bergey 也在簡報中展示了 SME 2 針對 AI 應用加速的效能表現，跟沒有開啟 SME 2 的相同處理核心相比，具備 SME 2 的處理核心在 AI 加速效能上提升了 3x 至 6x，在部分測試中也比 Mali G1-Ultra GPU 也有更好的表現。
以實際上在 Google AI 應用上的效能來說，SME2 則是可在安全模式下加速 Android AI Core 20% 效能表現。
而回到 Lumex CSS 平台本身的運算能部分，在 CPU 核心部分，最高階的 C1-Ultra 跟上一代的 Cortex-X925 核心相比有 25% 的效能提升，而 C1-Pro 則是在能源效率部分，比起 Cortex-A725 有 12% 的提升。至於在 Mali G1-Ultra GPU 的部分，跟上一代的 Immortalis- G925 相比，在效能上有 20% 的提升，在能源效率部分則是有 9% 的提升幅度。（細節之後陳拔會再跟大家分享）
總結一下這次 Arm Lumex CSS 平台的特色，包括有雙位數的 CPU IPC 效能提升、透過 SME2 功能提供裝置端的 AI 運算效能、搭載次世代的 Mali GPU、可支援 3 奈米製程（依客戶需求而定），以及可擴展的架構，可應用在旗艦手機、電腦以及平板上。
除了發表會當下的簡報外，Arm 這次也在 Unlocked 活動會場中，展示了利用自家平台的各家硬體開發商所推出的 AI 應用，基本上都是不需連接網路，直接透過裝置本身的 AI 效能運算所達成的應用與服務，接下來就看一下展示的部分吧：
首先來看 SME 2 平台的效能展示，這個部分是音頻生成的部分，使用者可以在螢幕上輸入提示語，應用程式就會生成對應的聲音輸出，陳拔也拍攝了一段現場展示的影片，有興趣的人可以看一下：
另外也有即時語音翻譯功能的示範，可以即時翻譯聽到的語音進行翻譯，現場是展示了聽法文翻譯成英文的功能：
這個部分則是展示了 AI 圖片識別的部分，可以輸入一張圖片然後請手機上的 AI 告訴你圖片的內容是甚麼，下面是現場的示範影片：
還有一個比較特別的應用，就是很多人會看網路影片來做瑜珈或是運動練習，可以利用相機拍攝自己運動時的畫面，利用手機／平板內建的 AI 進行動作比對，AI 除了會顯示動作的分數外，還會用語音提示你說哪個部份的姿勢需要調整（例如手肘要抬高一點這樣....）
而在早上的簡報過後，Arm 也在下午的媒體技術日環節中，更詳細的闡述了這次 Lumex CSS 平台在 CPU 與 GPU 的架構特色，陳拔也會繼續為大家帶來介紹，敬請期待囉。
感謝分享&介紹，不用聯網就有AI，挺棒的 
