在電腦處理器架構中，負責影像訊號處理的 IPU（影像處理單元） 往往比較不受重視的區塊，但是隨著疫情後視訊會議以及 AI 影像辨識的需求日增，在處理器內加入 IPU 架構也成為設計時需要考量的一環，這次 Intel 也在 Panther Lake 處理器架構中更新了其 IPU，從 Lunar Lake 處理器的 IPU 7 小幅升級到 IPU 7.5，下面就來看看這次更新了哪些地方。
更多 Intel ITT 2025 文章：
總覽：
Intel 反攻號角吹響？Tech Tour 2025 活動展示 18A 製程、Fab 52 晶圓廠、以及最新筆電 Panther Lake 處理器！
Panther Lake 處理器架構解析
Intel ITT 2025：Panther Lake 處理器整體架構解析 以自家 18A 製程達成高效能低功耗的平衡表現
Intel ITT 2025：Panther Lake 處理器架構解析 CPU 篇：同時具備電池續航力以及效能表現怎麼辦到的？
Intel ITT 2025：Panther Lake 處理器架構解析 GPU 篇：採用最新 Xe 3 架構的 12 核心內顯登場！
Intel ITT 2025：Panther Lake 處理器架構解析 NPU 篇：以精簡架構達成同效能更低功耗表現
18A 製程
Intel ITT 2025：以 RibbonFET 與 PowerVia 組合 18A 製程重回頂尖晶圓製造能力
Fab 52 晶圓廠參訪
Intel ITT 2025：最新 Fab 52 晶圓廠參訪 一探 18A 製程的先進製造基地
AI 發展策略
Intel ITT 2025：迎接 Agentic AI 時代到來！新 Intel 正在加速趕上
這部分的內容由 Intel IPU 產品行銷經理 Tomer Rider 負責講解。
Tomer Rider 表示，在疫情後視訊會議的角色比起以往變得更加重要，目前在美國的工作環境中，有 75% 的組織會使用視訊會議，有 22% 的人完全遠距工作，專業工作者平均一年有 50 個工作天的時間是在進行線上會議，這代表了在每天有大量的視訊數據正在被處理、增強、串流與儲存，而這正是 IPU 所負責的工作。
而不僅僅是視訊會議，在邊緣運算中的視覺處理更是普遍應用在各個場域的終端裝置，像是倉庫／工廠內的自動化系統、醫療保健設備、保全系統、工業控制系統等等，另外像是汽車上的攝影機，都需要高效能且即時的視覺運算能力來進行處理，而且不能依靠雲端，在這些裝置中，IPU 的角色也就更為重要。
而 IPU 在目前面臨的挑戰是，使用者的使用環境經常不同，要在不同的光線環境下提供一致的影像品質，不管是明亮的戶外或是昏暗的室內。IPU 需要以高解析度擷取影像並且消除雜訊，提供使用者自然、鮮豔的色彩、真實的膚色跟高幀率的影像，另外還要在處理這些工作的時候不能消耗太多電力。
接著來看看 ISP 影像訊號處理器在整個影像處理流程中所扮演的角色，以及 IPS 在整體影像處理所需要面臨的挑戰，一開始的挑戰來自於場景，包括動作、光源、深度、色彩等，提供複雜的環境參數。接著是光學元件（鏡頭），包括對焦、失真、曝光等因素所影想的影像品質。到了感光元件端則是有雜訊、動態範圍以及解析度等因素，ISP 就需要處理上述變因所帶來的影響，進行降低雜訊、平滑紋理、校正顏色等處理，最後提供一個清晰、銳利且真實的影像。
所以新的 ISP 設計需要具備以下的能力，包括鏡頭資訊收集與控制、感光元件資料處理、雜訊／紋理的處理、色彩處理等等，最後輸出影像。
而這些能力又可以進行細分，像是在鏡頭資訊收集與控制部分就可以分為自動曝光、自動白平衡跟自動對焦，另外包括感光元件資料處理、雜訊／紋理處理、色彩處理等項目下面也具備三至四個不同的處理程序。
透過一連串的程序將感光元件擷取出的原始影像數據（RAW Image，如上圖以 Bayer 圖形形式呈現 RGB 三原色不同的影像）。
最後形成這樣的輸出影像。
原始影像 RAW 檔（左）跟 ISP 最後輸出影像（右）的比較。Tomer Rider 表示在 1080p 60 fps 格式的影片中，ISP 每秒大約會進行 1000 億次計算。
接著來看 Intel 在這部分的演進，從 2014 年推出 IPU 1 之後，到這次 Panther Lake 處理上推出的 IPU 7，Intel 在這部分已經推出了 6 代產品，在影像品質、能耗比、延遲跟吞吐量上都持續提升。
而為何 Intel 開始走向將 IPU 整合在 CPU 裡的設計，Tomer Rider 表示在過去 IPU 通常是以 USB 介面進行連接，雖然方便但是受到 USB 頻寬的限制，只能處理較為基本的功能，而整合式的 IPU 位在處理器內部，具備可以直接存取 DDR 記憶體以及其他系統資源的能力，可以支援更多的工作處理，像是可以直接支援 AI 增強功能或是跨幀的時間畫面分析等等，也可以跟 CPU、GPU、NPU 進行密切協作，讓筆電上的攝影機提供比以前更加強大、智慧的功能。
而在這次 Panther Lake 處理器中，則是搭載了最新的 IPU 7.5。
這次 IPU 7.5 的設計目標就是在不同環境光源的使用情境下，仍然能提供銳利且接近真實的影像，所以這次在 HDR 高動態範圍、AI 降噪處理以及 AI 區域控光（提供更好的對比度）三個部分進行強化。
IPU 7.5 的架構圖，在輸入端具備了三組 MIE 通道配置，可以同時連接三個攝影鏡頭／感測器提供更多原始數據，並且透過內建暫存記憶體來儲存這些資料。另外在右邊可以看到 IPU 7.5 可以直接對系統記憶體進行存取，並且跟 CPU／GPU／NPU 進行協作。
而這次 IPU 7.5 比較重要的更新部分是加入了交錯式 HDR（Staggered HDR）的處理能力，透過同時捕捉高亮度與低亮度曝光，來結合黑暗區域的細節以及畫面中的亮點，形成具備更大動態範圍的影像，並且不會喪失畫面細節，對使用者來說就可以得到一個亮度更平衡且更自然的影像。
交錯式 HDR（Staggered HDR）的處理過程。
由於是採用硬體加速運算，所以 IPU 7.5 在這部分可以支援到 4K 解析度、適應性的曝光控制來應對不同的使用環境光源、支援更多形式的感測器，重點是功耗最高只有 1.5W。
這次 IPU 7.5 所新增的另一個功能，就是 AI 降噪，主要針對低光源環境下拍攝可能會出現的顆粒狀雜訊、偽影進行處理，在 IPU 接收到具有雜訊的原始影像後，會透過系統記憶體將影像傳送到 GPU／NPU 內的 AI 模型進行處理，由於這邊是直接先針對原始影像進行降噪，所以細節部分不會損失太大，接著降噪好的影像再回到 IPU 進行後續的影像處理。
AI 降噪的處理流程。
Tomer Rider 表示這個技術可以提供更好的色調映射、增加幀率跟銳利度、並且提高在低光源下的影像表現，鏡頭部分支援最高 500 萬畫素 30 fps 的規格。
另外這次 IPU 7.5 還加入了先進色調映射（Advanced tone mapping）的功能，主要針對畫面的對比度以及色彩深度表現進行加強。跟傳統的整體色調映射技術相比，透過 AI 進行處理的先進色調映射技術會獨立分析不同的區域來增加局部的對比度，對於明暗區域間的細節會表現得更為明顯，產生更自然的視訊畫面。
先進色調映射的主要特色，包括有更好的對比、更豐富的紋理、減少光暈以及色彩偽影，並且透過穩定的時間行為來避免畫面的閃爍，帶來更好的顯示畫面。
而為了應對客戶（OEM 廠商）所需的獨特功能，Intel 在這次的 IPU 7.5 也提供了高度可程式化以及支援度更廣泛的軟體堆疊架構，從硬體／韌體端、驅動程式、函式庫、作業系統到開發工具，Intel 提供了一整套的開發套件、校準以及調整工具，讓 OEM 廠商可以針對客製化的需求推出不同的攝影機體驗。
最後總結一下這次 IPU 7.5 的特色，包括具備 AI 驅動的降噪、區域色調映射、硬體加速的交錯式 HDR 功能、最高支援 1600 萬畫素動態影像、10808p 120fps 的慢動作拍攝、三具感測器支援以及完整的開發支援套件等等。
而從 CPU、GPU、NPU 到 IPU，這次 Intel 可說是在 Panther Lake 處理器上大幅換血，至少從簡報上來看，可以說是把 Intel 近年來的可用技術都端上檯面了，至於實際表現如何，就等明年 CES 各家平台推出，就能見真章啦。
感謝分享&介紹，影像越來越好了 
