
首先在與 Streamlabs 直播軟體合作的智慧直播助手部分,有進行遊戲直播過的玩家都知道,在遊戲直播中要同時玩遊戲,觀看網友回應,甚至調整直播設定,那真的是個手忙腳亂,沒有其他人在旁邊幫忙有時真的是不可能的事,而這次 NVIDIA 與 Streamlabs 直播軟體、Inworld AI 合作,在今年上半年推出了智慧直播助手功能,以多重角色功能輔助直播主進行直播,這個直播助手可以提供的功能主要如下:

在畫面右下角出現的直播助手,剛好拍到看起來還沒睡醒的狀態....



3D sidekick:算是 AI 副主持人的角色,可以彙整遊戲內容、蒐集遊戲資訊、匯集聊天室裡的資訊(包括網友對話內容)並且給予玩家建議。
Producer:製作人的角色,會依照直播內容自動調整場景,並且在遊戲過程中撥放音效或是影片增加氣氛,另外在直播過程中出現精彩畫面時會自動錄影並且依照直播主的要求進行回放。
Technical assistant:技術助理的角色,協助進行直播軟體的設定(像是轉場效果)、解答直播主的設定疑問,並且在直播過程中監控系統效能以確保直播順暢度。


另外在 CES 展示的 Project G-Assist 功能,現在除了可以利用語音命令方式更改系統設定、顯示目前系統資源、詢問遊戲資訊、啟動遊戲外,在今年上半年還加入了 Plug-In Builder 功能,可以透過 AI 搭配免費提供的 API,為自己在遊戲時常用的其他軟體撰寫 Plug-in 插件,像是系統燈效控制、自動社群分享、透過 Google 搜尋遊戲資料等,都可以透過 Project G-Assist 搭配 Plug-in 完成。

Project G-Assist 的語音輸入介面。

現在加入 Hey(軟體或是服務名稱,在圖裡面是 Hey Google),就會透過 Plug-in 呼叫設定的程式或服務來回應。

可以支援燈效設定、音樂播放、社群素材上傳等等。

想要連接甚麼服務,可以透過 Project G-Assist Plugin Builder 功能來進行撰寫,而且其實也不用自己寫,輸入提示語就可以請 AI 幫你把 Plugin 的程式碼寫出來

輸入提示語後正在輸出程式碼的畫面,現場看真的超快速的。(不過正確與否還是要自己再檢查一下)

另外在 ACE 數位人的應用上,這次 NVIDIA 也展示了透過 Project R2X 技術,將 AI 介面擬人化的設計,使用者除了可以跟桌面上的數位人進行 AI 語音問答外,也可以將檔案或是資料直接拖曳到數位人的位置,就會開始進行處理。

使用者也可以透過介面調整運用的服務與模型框架。
