Arm 推出以 AI 運算為基礎的 NSS 神經網路畫質提升技術 將行動裝置遊戲效能再提升！

Arm 發表了新一代的 Neural Super Sampling（NSS）畫質提升技術，讓行動裝置的 GPU 運作負擔減低 50%，進而換取更多的效能表現或是更長的電池使用時間。

運用 AI 運算進行顯示效能提升已經是目前硬體架構廠商在開發新架構的主要前進方向，在電腦端已經有包括 NVIDIA 的 DLSS、AMD 的 FSR 以及 Intel 的 XeSS，而在作業系統端微軟也開始在使用高通 SnapDragon X 處理器的 Copilot+ PC 上推出自動 SR（Automatic Super Resolution）技術。至於在行動裝置部分，主要的 IP 授權商 Arm 也在繼先前的 ASR（Accuracy Super Resolution） 畫質放大技術後，在昨晚發表了基於神經網路架構的新一代 Neural Super Sampling（NSS）畫質提升技術，透過在 GPU 架構內加入神經網路加速器以及推出 Vulkan 引擎 ML Extension 延伸指令集，加速遊戲在行動裝置上的顯示效果以及效能表現，以 Arm 官方的簡報來說，可以減少 50% 的 GPU 工作負擔，可以讓處理器廠商選擇減少 GPU 的功耗設計或是提升效能表現（抑或是兩者兼具？）。

以下就以 Arm 官方提供的簡報來看這次 Arm Neural Super Sampling（NSS）畫質提升技術的主要特色：


首先 Arm 表示在行動裝置中加入 AI 設計已經是目前的主流，主要運用在智慧相機、生產力應用以及更沉浸的遊戲體驗上，而這次推出的 Arm Neural Super Sampling（NSS）畫質提升技術就是針對提升行動裝置的遊戲體驗而推出的。


至於為何行動裝置的遊戲市場如此重要，Arm 也在簡報中提到目前有 83% 的遊戲時間是在行動裝置上運行，也佔了全球遊戲市場近半數的營收，而每年更是有 7.9% 的使用時間提升，到目前每年有高達 3900 億小時的行動裝置遊戲使用時間。


不過相較於電腦端，行動裝置目前的 AI 負載主要還是著重在 CPU 端，佔了將近 70% 左右，而在 GPU 的部分目前遊戲開發廠商比較困擾的就是沒有一個標準的 API，需要針對行動裝置比較碎片化的硬體架構進行開發，讓成本無法下降，而 Arm 這次就是要來針對這個部分提出解決方案。


而在行動遊戲市場中，像是天堂M、崩壞：星穹鐵道等這類重視視覺效果的遊戲，也在韓國、中國等主要手機遊戲市場上受到許多玩家的歡迎。（韓國市場的調查結果，點擊可看大圖）

在中國市場則是王者榮耀、夢幻西遊這兩款遊戲，可以看到大多數是 RPG、MOBA 或是 MMORPG 遊戲型態為主，對於畫面效果跟流暢度相對地受到玩家重視。（點擊可看大圖）


而 Arm 在 GPU 的部分也從 2022 年的 Immortailis-G715 開始導入光線追蹤、VRS 可變幀率顯示支援等技術，提供更好的畫質表現，去年更是開放了 Arm ASR 架構，讓遊戲廠商可以透過空間放大技術來提升遊戲的顯示流暢度。


不過基於空間放大技術的 ASR 在畫質表現上仍然會有放大畫質下降的狀況，所以 Arm 這次推出了基於神經網路架構的 Neural Super Sampling（NSS）畫質提升技術，透過 GPU 內的神經網路加速器、Vulkan API ML Extension 支援，可以讓 GPU 在進行同樣的遊戲畫面運算時，工作負擔降低 50%。另外這次 Arm 也透過公開的開發者套件，讓遊戲廠商可以針對自家遊戲，對 NSS 內的 AI 模型進行包括權重分配等最佳化調整。


Arm 在簡報中也表示 NSS 可以提供行動裝置如桌上型電腦版的畫質體驗、支援更高的解析度與顯示幀率、提供更長的電池使用時間以及更低的散熱需求，對於硬體廠商在電池與散熱的設計成本也能進一步壓低。


不過對於遊戲開發商來說，最重要的還是遊戲引擎的支援部分，Arm 在簡報中也表示目前已經與 Unity、Epic Games 以及 GODOT 這類的遊戲引擎開發商／獨立開發者進行合作，透過開放架構吸引遊戲引擎支援 NSS 技術。

ASR

NSS

而跟先前的 ASR 畫質提升技術相比，Arm 表示新的 NSS 技術改以 Temporal upscaling 時間縮放技術來提供畫質放大的資訊，除了畫質表現比起 ASR 更好外，在延遲的部分也縮短到 4ms 左右，對於遊戲玩家的體驗上更為即時流暢。


NSS 的模型架構，Arm 表示針對行動裝置有限的記憶體容量進行最佳化之後，整體模型的餐數量大約是 150K，而這部分也是開放給遊戲開發上進行模型權重的調整。


也因為這樣透過 NSS 畫質提升技術所呈現出來的畫面，可以提升到接近桌上型電腦的顯示水準，另外在 GPU 負載的部分可以降低 50%，讓開發者選擇轉換成更長的電池使用時間或是提供玩家更高的顯示證率與畫面品質。


Arm 這次也透過自家的 Enchanted Castle 展示畫面中呈現了不同畫質提升技術設定的差異：


（點擊可看大圖）可以看到在不同畫質設定下，畫面細節的水準，可以看到右邊兩個桌上型電腦跟 NSS 相比已經沒有太大差異了。


另外 Arm 在這次簡報也預告了接下來要推出的 Neural Frame Rate Upscaling（NFRU）以及 Neural Super Sampling and Denoising（NSSD），前者主要是插幀的方式來提升顯示幀率（插入幀由 AI 演算而來），後者則是提供在畫質放大後的雜訊移除。

至於在軟體部分，Arm 這次也首度在開發者套件中公開了神經網路的架構，包括遊戲引擎 Plug-in、NSS 模型以及範例 Code 等等，讓遊戲開發商在將 NSS 導入到遊戲中時能夠更架快速好上手。而 NSS 模型權重部分也是首度提供給遊戲開發商，可針對自家遊戲作自主調整。


至於在前面說到較難解決的統一圖形 API 支援部分，Arm 這次則是利用業界公開的 Vulkan API ，在其中插入了一段 ML Extension 來進行支援，這個部分當然也是開放給遊戲開發商使用。


至於在實際應用產品的推出時間部分，Arm 表示 NSS 技術雖然已經公開，但是仍需要搭配具備硬體神經加速器的 GPU 才能運作，所以消費者最快要到明年推出的行動裝置才有可能用得到了，不過提供給開發商的開發者套件已經在今年的 SIGGRAPH 活動中推出，就看看之後會有多少行動遊戲開發商支援囉。