一文讀懂在SIGGRAPH 上技驚四座的Nvidia Omniverse－AI4kids

遊戲變局者 - Nvidia Omniverse

前言

Nvidia 在最近頻頻出現在各類媒體、新聞上，於全球掀起一片熱烈討論。原因是藉由自家的開源軟體 Omniverse ，於最具盛名的計算機圖學年度會議 SIGGRAPH 2021 以讓人瞠目結舌的成果獲得最佳展示獎。

本文將帶領讀者一起看看 Nvidia 獲獎的三個案例成果，Omniverse 整合「虛擬環境模擬」、「AI」 跨足不同領域、帶動流程創新。

Metaverse

The Metaverse is “a virtual environment where you can be present with people in digital spaces”

Zuckerberg Tweet

還記得電影「一級玩家」當中，主角徜徉的虛擬世界嗎？人類建造了一個全虛擬的世界，在這個世界裡，除了能將真實世界當中的一切重現以外，現實當中不存在的事物也可以被實現；創造者有如造物主一般擁有此世界的所有掌控。

「Metaverse」做為未來科技發展重點之一，將會大幅改變現行的社會型態。本文將簡介由 Nvidia 開源的軟體 Omniverse，全球首個以 Metaverse 概念建立的模擬平台，如何讓用戶配合 AI 工具形塑、模擬自己設計的世界、影響各領域的發展。

Omniverse 簡介

NVIDIA Omniverse 是一個基於 CUDA、RTX 光線追蹤技術的數位創作平台，用戶除了可以輕易地建造栩栩如生的數位 3D 模型、以真實世界中的物理現象進行模擬以外，得利於 CUDA 的強大平行運算能力，所有呈現都幾乎是即時的。

除了彩現、模擬之外，Omniverse 亦整合進許多實用的 「AI 工具」用以加速數位創作的過程；這個創舉無疑是其獲得最佳展示獎的原因，我們將在文章當中了解這些 AI 工具。

Demo-1 維妙維肖的數位替身

讓 Nvidia 在 SIGGRAPH 2021 上備受矚目的原因，是因為公布了 CEO 黃仁勳在 GTC 2021 時演講片段的幕後花絮；其中一段是由極其真實的數位替身代替真人進行演說。

在 GTC 2021 會議當下，幾乎沒人有人看出眼前的黃仁勳居然是虛擬的 3D 人物，因此花絮一經公開馬上攻佔了網路、媒體的版面，也藉此拿下了大會最佳展示獎。

專案技術流程拆解

此專案動用了高達 34 位的cg 藝術家、12 位研究人員進行開發，製作規模浩大。專案大部分採用 3D 動畫業界標準流程，3D 建模、骨架綁定、動畫製作、彩現..等等，搭配 Omniverse 的 RTX 光線追蹤技術，彩現效果非常驚人。

數位替身模型建立

為了製作 CEO 黃仁勳 的數位替身，使用的技術為「Photogrammetry」，透過大量的攝影機群從不同角度拍攝黃仁勳本人，得以用電腦視覺的演算法重建出他的 3D 形體。

在模型建立完畢以後，依照 3D 行業的傳統流程，得為 3D 人物建立控制項，用於驅動人物動作與身體外觀之間的形體變化。控制項通常分為身體、臉部，過程需要經驗豐富的 3D 藝術家花費大量的時間進行人工設置。

AI 翻轉影像創作流程

Audio2face — 語音驅動的數位人物表情生成

在數位替身臉部控制項設定與動畫的流程，Omniverse 顛覆了傳統人工作法，以名稱為「audio2face」的內建 AI 工具替代；輸入一段使用者輸入的語音，可以立即為 3D 數位人物產生臉部表情以及臉部肌肉活動的樣貌。

 

Face-vid2vid — 生成照片等級的人臉動畫

由 audio2face 產生的臉部表情非常細緻，但是缺乏真實感，因此 artist 與 Nvidia AI team 進行合作，使用深度學習的生成模型「face-vid2vid」將原本不真實的臉部動畫轉變成栩栩如生的黃仁勳本人。

face-vid2vid 臉部風格轉換

以 face-vid2vid 產生之結果進行臉部合成、替換

至此 Omniverse 的 AI 強大的功能證明可以取代傳統動畫的繁瑣流程。而數位人物身體動畫則是依照傳統做法，以動作捕捉的方式進行人物動作的錄製、讓黃仁勳的數位替身演員做出一樣的動作。

捕捉演員之動作

將動態擷取之結果呈現於 Omniverse

讓數位替身演員做出與捕捉之人物相同之動態

最後，透過 Omniverse 當中的 RTX 光線追蹤技術，數位替身演員的演出呈現出極為真實的結果。 由 Face-vid2vid 生成的黃仁勳臉部動畫、Omniverse 產生的人物身體動畫彩現，最終在合成軟體當中結合，便產生了 GTC 2021 大會上的假 CEO 演說片段。

結語

Nvidia 此次的展示，是替影像創作頁敲響了第一記變革的鐘聲，證明 AI 與科技的創新作法，在影像創作領域已經可以代換已經相當成熟的標準流程；甚至於程度上更有效率。

想了解更多？點擊按鈕獲得更多資訊！