• 2

【GTC2021】NVIDIA 發表 GANverse3D 深度學習引擎 能自動將『霹靂車』平面影像轉換成可動的 3D 模型

【GTC2021】NVIDIA 發表 GANverse3D 深度學習引擎 能自動將『霹靂車』平面影像轉換成可動的 3D 模型
透過一張照片,就能自動算出經典『霹靂車』的 3D 影像。

機器學習/深度學習目前很大一部分的應用都在進行電腦影像/視覺的處理上,而除了內容識別、畫質提升外,現在技術更近一步,只要收集分析一張平面影像,就能將基本的 2D 照片轉化成 3D 物件。NVIDIA 在今年的 GTC 2021 大會中,就發表了一款全新的深度學習引擎 GANverse3D,能將平面影像建構成 3D 模型,並且在虛擬環境中進行視覺化的呈現與控制,還還原了 1980 年代熱門影集『霹靂遊俠』中的『霹靂車』!

NVIDIA Research 在 GTC2021 大會中發表了 GANverse3D 深度學習引擎,利用生成對抗網路(GAN),對同一物件的多重視角影像進行合成訓練(例如汽車模型,是以 55000 張影像進行訓練)。接著將分析資訊插入製作 3D 影像的渲染框架中,來打造出 3D 網格模型,而在經過訓練之後,GANverse3D 甚至可以僅靠一張相片,就能預測出一個 3D 網格模型,這個模型還可以搭配 3D 神經網路渲染器,讓開發人員進行控制,或是更換背景等操作。

【GTC2021】NVIDIA 發表 GANverse3D 深度學習引擎 能自動將『霹靂車』平面影像轉換成可動的 3D 模型
原始影像(右)與 GANverse3D 打造出的 3D 物件效果(左)

而 GANverse3D 在於以往在進行 3D 物件操作模擬時,都需要先進行 3D 建模作業,但 3D 建模通常都要花費相當多的時間以及預算進行建模與渲染的工作,透過在 NVIDIA Omniverse 上運作的 GANverse3D 應用程式,建築師、創作者、遊戲設計師就能夠以平面影像轉化成 3D 物件,並且加入即時光線追蹤來達到更真實的模擬效果。

NVIDIA AI Research Lab 並且在 GTC 2021 中展示了以 GANverse3D 繪製出來的 1980 年代熱門電影影集《霹靂遊俠》主角:KITT 的 3D 模型,僅需透過一張影集中的影像,就能夠將 KITT 的 3D 模型繪製出來,並且具有頭燈、尾燈、方向燈的設計(還有特色招牌的紅色閃爍 LED 燈),雖然仍與人手建模在細緻度上面仍有不小差距,但對僅需要利用 3D 模型進行搭配操作的工作,這樣的效果已經相當夠用了。

以下是介紹的影片:

2021-04-19 9:55 發佈
嚇死 我以為NV要推出挖礦車了
陳拔 wrote:
透過一張照片,就能自(恕刪)

重溫經典霹靂車
霹靂車 尖端科技的結晶

是一部人性化的萬能電腦車

出現在我們這個無奇不有的世界

刀槍不入 無所不能
不錯~那霹靂貓呢?
不錯~ 那霹靂嬌娃呢?
還有不錯的霹靂布袋戲呢?
可以放老婆進去動嗎?
這應該是固定組合的預測,你針對車做主題,就是生一台車的模型
就算你放進去的是一棵樹、一台螢幕
也會生出上面貼著樹、螢幕做材質的"一台車"
老婆放進去,出來的大概就是"老婆車"
以為在看天竺鼠車車
  • 2
評分
複製連結