• 中小學程式課程營隊
    • CodeCombat免費體驗課
    • CodeCombat暑期線上程式營
    • CodeCombat線上程式課
    • CodeCombat學生註冊碼訂閱
    • CodeCombat教學教材
    • CodeCombat校園導入
  • 高中AI課程營隊
    • 高中寒暑期營隊-人工智慧專題實作營
      • 2022暑假中興大學AI桌球營
      • 2022暑假AI醫療營
      • 2022暑假AI運動專題實作營
      • 2022暑假 AI・海洋・生物營
      • 2022暑假 AI音樂專題實作營
    • 高中AI線上課程&測評認證
    • 高中AI教學教材
  • 競賽活動
  • 專欄文章
  • 會員中心
    • 我的帳號
    • 我的訂單
    • 課程清單
    • 遺失密碼
    • 註冊登入
AI4kids-ai課程教育推薦
  • 中小學程式課程營隊
    • CodeCombat免費體驗課
    • CodeCombat暑期線上程式營
    • CodeCombat線上程式課
    • CodeCombat學生註冊碼訂閱
    • CodeCombat教學教材
    • CodeCombat校園導入
  • 高中AI課程營隊
    • 高中寒暑期營隊-人工智慧專題實作營
      • 2022暑假中興大學AI桌球營
      • 2022暑假AI醫療營
      • 2022暑假AI運動專題實作營
      • 2022暑假 AI・海洋・生物營
      • 2022暑假 AI音樂專題實作營
    • 高中AI線上課程&測評認證
    • 高中AI教學教材
  • 競賽活動
  • 專欄文章
  • 會員中心
    • 我的帳號
    • 我的訂單
    • 課程清單
    • 遺失密碼
    • 註冊登入

AI專題實作

首頁 » 文章 » 一文讀懂在SIGGRAPH 上技驚四座的Nvidia Omniverse

一文讀懂在SIGGRAPH 上技驚四座的Nvidia Omniverse

  • 發布 by AI4kids團隊
  • 分類 AI專題實作
  • 日期 2021-08-28
  • 評論 尚無評論
遊戲變局者 - Nvidia Omniverse
遊戲變局者 - Nvidia Omniverse

內容目錄

  • 前言
  • Metaverse
  • Omniverse 簡介
  • Demo-1 維妙維肖的數位替身
  • 專案技術流程拆解
  • 數位替身模型建立
  • AI 翻轉影像創作流程
  • 結語

前言

Nvidia 在最近頻頻出現在各類媒體、新聞上,於全球掀起一片熱烈討論。原因是藉由自家的開源軟體 Omniverse ,於最具盛名的計算機圖學年度會議 SIGGRAPH 2021 以讓人瞠目結舌的成果獲得最佳展示獎。

本文將帶領讀者一起看看 Nvidia 獲獎的三個案例成果,Omniverse 整合「虛擬環境模擬」、「AI」 跨足不同領域、帶動流程創新。

Metaverse

The Metaverse is “a virtual environment where you can be present with people in digital spaces”

Zuckerberg Tweet

還記得電影「一級玩家」當中,主角徜徉的虛擬世界嗎?人類建造了一個全虛擬的世界,在這個世界裡,除了能將真實世界當中的一切重現以外,現實當中不存在的事物也可以被實現;創造者有如造物主一般擁有此世界的所有掌控。

「Metaverse」做為未來科技發展重點之一,將會大幅改變現行的社會型態。本文將簡介由 Nvidia 開源的軟體 Omniverse,全球首個以 Metaverse 概念建立的模擬平台,如何讓用戶配合 AI 工具形塑、模擬自己設計的世界、影響各領域的發展。

Omniverse 簡介

NVIDIA Omniverse 是一個基於 CUDA、RTX 光線追蹤技術的數位創作平台,用戶除了可以輕易地建造栩栩如生的數位 3D 模型、以真實世界中的物理現象進行模擬以外,得利於 CUDA 的強大平行運算能力,所有呈現都幾乎是即時的。

除了彩現、模擬之外,Omniverse 亦整合進許多實用的 「AI 工具」用以加速數位創作的過程;這個創舉無疑是其獲得最佳展示獎的原因,我們將在文章當中了解這些 AI 工具。

Demo-1 維妙維肖的數位替身

GTC 2021 大會上的黃仁勳是 3D 虛擬人物

讓 Nvidia 在 SIGGRAPH 2021 上備受矚目的原因,是因為公布了 CEO 黃仁勳在 GTC 2021 時演講片段的幕後花絮;其中一段是由極其真實的數位替身代替真人進行演說。

在 GTC 2021 會議當下,幾乎沒人有人看出眼前的黃仁勳居然是虛擬的 3D 人物,因此花絮一經公開馬上攻佔了網路、媒體的版面,也藉此拿下了大會最佳展示獎。

專案技術流程拆解

此專案動用了高達 34 位的cg 藝術家、12 位研究人員進行開發,製作規模浩大。專案大部分採用 3D 動畫業界標準流程,3D 建模、骨架綁定、動畫製作、彩現..等等,搭配 Omniverse 的 RTX 光線追蹤技術,彩現效果非常驚人。

數位替身模型建立

為了製作 CEO 黃仁勳 的數位替身,使用的技術為「Photogrammetry」,透過大量的攝影機群從不同角度拍攝黃仁勳本人,得以用電腦視覺的演算法重建出他的 3D 形體。

在模型建立完畢以後,依照 3D 行業的傳統流程,得為 3D 人物建立控制項,用於驅動人物動作與身體外觀之間的形體變化。控制項通常分為身體、臉部,過程需要經驗豐富的 3D 藝術家花費大量的時間進行人工設置。

AI 翻轉影像創作流程

Audio2face — 語音驅動的數位人物表情生成

在數位替身臉部控制項設定與動畫的流程,Omniverse 顛覆了傳統人工作法,以名稱為「audio2face」的內建 AI 工具替代;輸入一段使用者輸入的語音,可以立即為 3D 數位人物產生臉部表情以及臉部肌肉活動的樣貌。

Face-vid2vid — 生成照片等級的人臉動畫

由 audio2face 產生的臉部表情非常細緻,但是缺乏真實感,因此 artist 與 Nvidia AI team 進行合作,使用深度學習的生成模型「face-vid2vid」將原本不真實的臉部動畫轉變成栩栩如生的黃仁勳本人。

face-vid2vid 臉部風格轉換
以 face-vid2vid 產生之結果進行臉部合成、替換

至此 Omniverse 的 AI 強大的功能證明可以取代傳統動畫的繁瑣流程。而數位人物身體動畫則是依照傳統做法,以動作捕捉的方式進行人物動作的錄製、讓黃仁勳的數位替身演員做出一樣的動作。

捕捉演員之動作
將動態擷取之結果呈現於 Omniverse
讓數位替身演員做出與捕捉之人物相同之動態

最後,透過 Omniverse 當中的 RTX 光線追蹤技術,數位替身演員的演出呈現出極為真實的結果。 由 Face-vid2vid 生成的黃仁勳臉部動畫、Omniverse 產生的人物身體動畫彩現,最終在合成軟體當中結合,便產生了 GTC 2021 大會上的假 CEO 演說片段。

結語

Nvidia 此次的展示,是替影像創作頁敲響了第一記變革的鐘聲,證明 AI 與科技的創新作法,在影像創作領域已經可以代換已經相當成熟的標準流程;甚至於程度上更有效率。

  • Share:
AI4kids團隊
AI4kids團隊

上一篇文章

NVDIA Jetson Nano 讓高中生也能動手打造AI自走車!
2021-08-28

下一篇文章

CodeQuest臺灣選手佳績
2021-09-20

您可能還喜歡

SEO Banner-營隊
高中學習歷程:人工智慧專題實作-監督式學習
2 10 月, 2021
blog-JETBOT
NVDIA Jetson Nano 讓高中生也能動手打造AI自走車!
25 8 月, 2021
blog-綠鬃蜥
用 Nvidia 軟硬體生態系 實現 Jetson Nano 物件偵測與數據串流儀表板
25 6 月, 2021

發表評論 取消回覆

很抱歉,必須登入網站才能發佈留言。

Facebook Youtube
聯繫客服
  • Medium
  • 校園程式教育導入
  • 開課合作
  • 夥伴招募
  • AI4kids 使用者條款
  • 隱私權與服務條款
  • 法律顧問-瀛睿法律事務所

政府認證
教育部 高級中等教育階段學生學習歷程資料庫 檢定證照發照單位
經濟部工業局 109年度人工智慧技術教育訓練服務能量登陸機構

| NVDIA Inception 人工智慧新創公司
| NVIDIA ambassador 大使認證

課程合作場域

【北部】

重力波文理短期補習班 新北市土城區學海街388號
怡均書院 新北市新莊區民安西路118號
悅讀 新北市林口區文化一路一段15巷8號1樓
翻轉教育實作工作室 新北市林口區文化三路二段30-1號1樓
森學院 新竹縣竹北市勝利15街268號

【中部】

逢甲大學智慧創新港i-Hub 台中市西屯區文華路100號(西安街與凱旋七街口)
中科智慧機器人自造基地 台中市大雅區科雅路6號
長頸鹿美語昌平分校 台中市北屯區昌平路一段95-13號
恆繹文理 彰化縣員林市浮圳路二段483號

【南部】

南科AI_ROBOT自造基地 台南市新市區南科三路19號4樓之1

© Copyright 2022 ai4kids.ai  地址:台中市西屯區文華路100號逢甲大學智慧創新港i-Hub TEL:(04) 3609-8885 

登入 AI4kids 帳號

登入:

Google
忘記密碼?

尚未註冊會員? 註冊

註冊會員

登入:

Google

已經註冊會員了? 登入

線上程式課
免費體驗