一文讀懂在SIGGRAPH 上技驚四座的Nvidia Omniverse
Metaverse
The Metaverse is “a virtual environment where you can be present with people in digital spaces”
還記得電影「一級玩家」當中，主角徜徉的虛擬世界嗎？人類建造了一個全虛擬的世界，在這個世界裡，除了能將真實世界當中的一切重現以外，現實當中不存在的事物也可以被實現；創造者有如造物主一般擁有此世界的所有掌控。
「Metaverse」做為未來科技發展重點之一，將會大幅改變現行的社會型態。本文將簡介由 Nvidia 開源的軟體 Omniverse，全球首個以 Metaverse 概念建立的模擬平台，如何讓用戶配合 AI 工具形塑、模擬自己設計的世界、影響各領域的發展。
Omniverse 簡介
NVIDIA Omniverse 是一個基於 CUDA、RTX 光線追蹤技術的數位創作平台，用戶除了可以輕易地建造栩栩如生的數位 3D 模型、以真實世界中的物理現象進行模擬以外，得利於 CUDA 的強大平行運算能力，所有呈現都幾乎是即時的。
除了彩現、模擬之外，Omniverse 亦整合進許多實用的 「AI 工具」用以加速數位創作的過程；這個創舉無疑是其獲得最佳展示獎的原因，我們將在文章當中了解這些 AI 工具。
Demo-1 維妙維肖的數位替身
讓 Nvidia 在 SIGGRAPH 2021 上備受矚目的原因，是因為公布了 CEO 黃仁勳在 GTC 2021 時演講片段的幕後花絮；其中一段是由極其真實的數位替身代替真人進行演說。
在 GTC 2021 會議當下，幾乎沒人有人看出眼前的黃仁勳居然是虛擬的 3D 人物，因此花絮一經公開馬上攻佔了網路、媒體的版面，也藉此拿下了大會最佳展示獎。
專案技術流程拆解
此專案動用了高達 34 位的cg 藝術家、12 位研究人員進行開發，製作規模浩大。專案大部分採用 3D 動畫業界標準流程，3D 建模、骨架綁定、動畫製作、彩現..等等，搭配 Omniverse 的 RTX 光線追蹤技術，彩現效果非常驚人。
數位替身模型建立
為了製作 CEO 黃仁勳 的數位替身，使用的技術為「Photogrammetry」，透過大量的攝影機群從不同角度拍攝黃仁勳本人，得以用電腦視覺的演算法重建出他的 3D 形體。
在模型建立完畢以後，依照 3D 行業的傳統流程，得為 3D 人物建立控制項，用於驅動人物動作與身體外觀之間的形體變化。控制項通常分為身體、臉部，過程需要經驗豐富的 3D 藝術家花費大量的時間進行人工設置。
AI 翻轉影像創作流程
Audio2face — 語音驅動的數位人物表情生成
在數位替身臉部控制項設定與動畫的流程，Omniverse 顛覆了傳統人工作法，以名稱為「audio2face」的內建 AI 工具替代；輸入一段使用者輸入的語音，可以立即為 3D 數位人物產生臉部表情以及臉部肌肉活動的樣貌。
Face-vid2vid — 生成照片等級的人臉動畫
由 audio2face 產生的臉部表情非常細緻，但是缺乏真實感，因此 artist 與 Nvidia AI team 進行合作，使用深度學習的生成模型「face-vid2vid」將原本不真實的臉部動畫轉變成栩栩如生的黃仁勳本人。
至此 Omniverse 的 AI 強大的功能證明可以取代傳統動畫的繁瑣流程。而數位人物身體動畫則是依照傳統做法，以動作捕捉的方式進行人物動作的錄製、讓黃仁勳的數位替身演員做出一樣的動作。
最後，透過 Omniverse 當中的 RTX 光線追蹤技術，數位替身演員的演出呈現出極為真實的結果。 由 Face-vid2vid 生成的黃仁勳臉部動畫、Omniverse 產生的人物身體動畫彩現，最終在合成軟體當中結合，便產生了 GTC 2021 大會上的假 CEO 演說片段。
結語
Nvidia 此次的展示，是替影像創作頁敲響了第一記變革的鐘聲，證明 AI 與科技的創新作法，在影像創作領域已經可以代換已經相當成熟的標準流程；甚至於程度上更有效率。
您可能還喜歡
「智慧投資新時代」－ 用AI金融預測股價與創建完美投資組合
羽球教練的秘密武器：羽球大數據和電腦視覺技術
