
一文讀懂在SIGGRAPH 上技驚四座的Nvidia Omniverse

Metaverse
The Metaverse is “a virtual environment where you can be present with people in digital spaces”
Zuckerberg Tweet
還記得電影「一級玩家」當中,主角徜徉的虛擬世界嗎?人類建造了一個全虛擬的世界,在這個世界裡,除了能將真實世界當中的一切重現以外,現實當中不存在的事物也可以被實現;創造者有如造物主一般擁有此世界的所有掌控。
「Metaverse」做為未來科技發展重點之一,將會大幅改變現行的社會型態。本文將簡介由 Nvidia 開源的軟體 Omniverse,全球首個以 Metaverse 概念建立的模擬平台,如何讓用戶配合 AI 工具形塑、模擬自己設計的世界、影響各領域的發展。
Omniverse 簡介
NVIDIA Omniverse 是一個基於 CUDA、RTX 光線追蹤技術的數位創作平台,用戶除了可以輕易地建造栩栩如生的數位 3D 模型、以真實世界中的物理現象進行模擬以外,得利於 CUDA 的強大平行運算能力,所有呈現都幾乎是即時的。
除了彩現、模擬之外,Omniverse 亦整合進許多實用的 「AI 工具」用以加速數位創作的過程;這個創舉無疑是其獲得最佳展示獎的原因,我們將在文章當中了解這些 AI 工具。
Demo-1 維妙維肖的數位替身

讓 Nvidia 在 SIGGRAPH 2021 上備受矚目的原因,是因為公布了 CEO 黃仁勳在 GTC 2021 時演講片段的幕後花絮;其中一段是由極其真實的數位替身代替真人進行演說。
在 GTC 2021 會議當下,幾乎沒人有人看出眼前的黃仁勳居然是虛擬的 3D 人物,因此花絮一經公開馬上攻佔了網路、媒體的版面,也藉此拿下了大會最佳展示獎。
專案技術流程拆解
此專案動用了高達 34 位的cg 藝術家、12 位研究人員進行開發,製作規模浩大。專案大部分採用 3D 動畫業界標準流程,3D 建模、骨架綁定、動畫製作、彩現..等等,搭配 Omniverse 的 RTX 光線追蹤技術,彩現效果非常驚人。
數位替身模型建立
為了製作 CEO 黃仁勳 的數位替身,使用的技術為「Photogrammetry」,透過大量的攝影機群從不同角度拍攝黃仁勳本人,得以用電腦視覺的演算法重建出他的 3D 形體。


在模型建立完畢以後,依照 3D 行業的傳統流程,得為 3D 人物建立控制項,用於驅動人物動作與身體外觀之間的形體變化。控制項通常分為身體、臉部,過程需要經驗豐富的 3D 藝術家花費大量的時間進行人工設置。
AI 翻轉影像創作流程
Audio2face — 語音驅動的數位人物表情生成
在數位替身臉部控制項設定與動畫的流程,Omniverse 顛覆了傳統人工作法,以名稱為「audio2face」的內建 AI 工具替代;輸入一段使用者輸入的語音,可以立即為 3D 數位人物產生臉部表情以及臉部肌肉活動的樣貌。

Face-vid2vid — 生成照片等級的人臉動畫
由 audio2face 產生的臉部表情非常細緻,但是缺乏真實感,因此 artist 與 Nvidia AI team 進行合作,使用深度學習的生成模型「face-vid2vid」將原本不真實的臉部動畫轉變成栩栩如生的黃仁勳本人。


至此 Omniverse 的 AI 強大的功能證明可以取代傳統動畫的繁瑣流程。而數位人物身體動畫則是依照傳統做法,以動作捕捉的方式進行人物動作的錄製、讓黃仁勳的數位替身演員做出一樣的動作。



最後,透過 Omniverse 當中的 RTX 光線追蹤技術,數位替身演員的演出呈現出極為真實的結果。 由 Face-vid2vid 生成的黃仁勳臉部動畫、Omniverse 產生的人物身體動畫彩現,最終在合成軟體當中結合,便產生了 GTC 2021 大會上的假 CEO 演說片段。

結語
Nvidia 此次的展示,是替影像創作頁敲響了第一記變革的鐘聲,證明 AI 與科技的創新作法,在影像創作領域已經可以代換已經相當成熟的標準流程;甚至於程度上更有效率。
您可能還喜歡

「智慧投資新時代」- 用AI金融預測股價與創建完美投資組合

羽球教練的秘密武器:羽球大數據和電腦視覺技術
