隨著計算機圖形技術、AI技術、實時渲染等應用的成熟,如今數字人或稱為虛擬人已經無處不在。它們已經成為了當下及未來幾年的主要趨勢之一,特別是在虛擬偶像、虛擬制作欄目的推動下,數字人及其人機交互將得到更多的變革與重塑。

在開始聊今天的話題之前,我們不妨先來說說目前數字人領域的研究背景。如果你經常關注Epic Game在虛幻引擎發布的數字人示例,你肯定知道Mike的高保真數字人類案例。

那個項目其實是邁克·西莫(Mike Seymour)的數字替身形象,邁克本人是數字人領域的長期研究專家和作家,他的工作履歷包括:Sony Pictures Imageworks(索尼圖像工作室)、好萊塢制作公司Skydance Media、專注于機器人&人工智能的Brud公司以及目前被Epic Game收購的數字人技術開發商3Lateral。

在2018年舉行了一場TED Talk ,邁克設想了對話式互動數字人的技術核心及未來應用,它能解決人際交往社會中的老年人、殘障人士或困難戶的關懷與輔助問題。“表情是情感的杰出傳播者,并且情感的力量是十分強大的。我想通過給技術附上面孔來改善未來的世界。在這之前我們必須意識到表情的力量、影響力、情感力及其說服力。”————邁克·西摩

在TED上,邁克還展示了利用攝影機掃描臉部、AI面部視覺捕捉、實時引擎來生成數字人的全過程, 他認為數字人的應用領域非常廣泛,包括:健康、教育、社交等,并有包括Epic Game、Pinscreen等公司致力于此。這里提一下Pinscreen公司的CEO,人稱“殺馬特” 教授的黎顥(Hao Li),他也是一位數字人領域頂尖的大咖。他曾在好萊塢知名制片人喬治·盧卡斯任影視特效技術制作專家,曾為《霍比特人:五軍之戰》、《速度與激情7》、《銀翼殺手2049》等影片提供視覺特效技術支持。2014年夏加入南加州大學(USC)任計算機科學助理教授。

以上公司的技術成果都在不斷推高數字人的討論和創業投資熱度,但在喧囂之下,你是否清楚下面這些容易混淆的概念?什么是數字人、虛擬助理(virtual assistants)、虛擬網紅(virtual influencers)、AI換臉(deepfakes)、機器人以及它們的區別是什么?

下面我們將從虛擬人、數字人、數字替身(digital doubles)三層面來聊聊它們的區別:
什么是數字人?
什么是數字人?
簡而言之,數字人就是逼真的3D人體模型。如果你不熟悉CGI,則3D模型你可以理解為在游戲或電影中經常看到的數字木偶假人。更準確地說,數字人是一個復雜的3D人體模型,它利用最新開發的高端功能在外觀(皮膚著色或毛發梳理上)和運動(準確的綁定和動畫)方面產生逼真的效果。

從定義上看,數字人是趨近于真實的,它跟我們在很多資產商城里可以便宜買到的角色模型不同,它需要盡可能的逼真。比如可以通過使用先進的渲染功能(例如高級著色器或SSS次表面散射材質來實現。要實現數字人驚人逼真的效果,離不開那些3D藝術家和技術指導(TD)行業先驅。
是不是所有3D人體模型都是“數字人”呢?
為什么我們不能隨便將任何3D人類模型稱為數字人呢?首先,“數字人”是一種新趨勢,與照片寫實技術的突破密切相關,而3D人類模型已經存在了很長時間。事實上,早在1976年的電影《未來世界》中就出現了3D的人臉,但數字人類真正受到關注則是在2015年,集結了數字人聯盟下一群行業專家的努力。
為什么我們不能隨便將任何3D人類模型稱為數字人呢?首先,“數字人”是一種新趨勢,與照片寫實技術的突破密切相關,而3D人類模型已經存在了很長時間。事實上,早在1976年的電影《未來世界》中就出現了3D的人臉,但數字人類真正受到關注則是在2015年,集結了數字人聯盟下一群行業專家的努力。

在2010年之前(尤其是在電影視效VFX之外的行業),無論是在設計還是其他行業層面來說,大多數3D人體模型都要求寫實是不現實的。由于之前硬件限制,實時圖形渲染必須使用低分辨率的資源,動畫電影通常采用風格化的卡通形象。如果我們將這些都納入進數字人的范疇,則它的涵義將僅限于“3D人形”的概念,而無法成為一種新的趨勢和創新。

另一個重要的區別是,數字人是結構化的3D模型,其中不包括AI換臉或初始三維掃描的成果。對于不熟悉3D管線的人來說,“結構化”意味著其數據已經組織好,并且已經經歷了使其“可以投入生產”的某些步驟。相反,因為用戶無法完全控制3D對象,AI換臉或初步的三維掃描是非結構化的。

數字人的制作需要經歷一些列生產管線(ProductionPipeline),期間3D藝術家會負責它的重新拓撲、紋理化和綁定,以確??梢栽谥谱髦惺褂?。非結構化掃描除了按原樣顯示外觀外不能直接拿來制作,盡管4D捕獲可能會改變這一事實(比如上文提到的DI4D的4D面捕方案)。
圖片
什么是虛擬人?
虛擬人,數字人,區別是什么?
上面這兩個術語通??梢曰Q使用。它們都是非常新的趨勢概念,盡管數字人類的概念想法早在1980年代的科幻小說里就得到了普及,包括虛擬演員、合成人、數字克隆等詞匯。

概括地說,如果數字人是逼真的3D模型,則虛擬人將接近于人類自身。“虛擬”一詞畢竟意味著這個人幾乎和你我一樣真實。它考慮了所說的人的職業、個性和故事。數字人是復雜高端昂貴的3D資產,而虛擬人可以是助手、演員、網紅,簡而言之就是有工作的數字人。當然有人可能會辯稱,并非所有虛擬人都是數字人,有些人可能是風格化的人物或卡通人物形象。

數字人和虛擬人的重要劃分來自于虛擬人從3D資產轉化成“活生生”的人類的層面。數字人更偏向于資產,而虛擬人還要考慮它的應用場景。此外,虛擬人常常集合在某個軟件中,通過某一某塊業務的熟練或敏銳度來完成特定的服務目的。

虛擬人可以是虛擬助手服務人員或成為一名虛擬網紅。他們的目的可能是充當你的IT中臺工程師;你的第一個HR聯系人或成為你在Instagram上的冒險伙伴。但最重要的是,它們是需要集成的,無論是在軟件中、在社交媒體上還是在某個故事中??紤]到高端3D人體模型的復雜程度,集成是一件非常棘手的事情。
虛擬人和人工智能
顯然,虛擬人與人工智能緊密相關,所有聲稱致力于虛擬人的公司也常常伴有不同程度的AI專業知識。一些公司甚至將AI視為其主要方向比如虛擬助手Amelia,為企業定制的人工智能平臺。

另一方面,在像Brud或Diigitals這樣的社交媒體上運作的虛擬助理,更多是在講故事和交流,并未直接使用人工智能技術。

但是,即使是還沒有人工智能需求的公司,將來也很有可能會使用它。人工智能是可擴展性的關鍵,而可擴展性可以將數字人趨勢轉變為蓬勃發展的行業。當然,還有很長的路要走,尤其是虛擬人的情感動作和反應。即使我們能夠讓虛擬人執行某些任務,他們仍然缺乏人類獨特的情感表達能力。
數字替身
數字人或虛擬人通常具有自己的身份。相反,數字替身是真實人類的復制品,不只是名人。它不是要創建一個隨機的Avatar木偶,也不是從頭開始設計一個人,而是要盡可能忠實地還原公眾人物的外觀和表情。他們的背景和法律含義有所不同。

數字替身和數字群演的區別在于,它不是根據未知三維掃描對象且需要被修飾。它們的概念可能會混淆,因為許多已知角色背后的掃描對象都是不出名的普通人,他們有時甚至在不知不覺中出售了自己的肖像權。但是,我們不應該將這些情況視為數字替身,因為在此過程中原始“主人”的身份已被“清除”。
視覺特效和游戲中的數字替身
數字替身大部分出現在電影的視效部分中,通常他們的應用包括:面部替換,數字特技替身,生物類型變換或體征變換,例如電影《本杰明·巴頓奇事》中本杰明·巴頓的衰老特效和《愛爾蘭人》的年輕版替身。

特效公司MPC曾在《銀翼殺手2049》中成功還原除了1984版本的女主瑞秋,當時的女演員肖恩·楊(Sean Young)在拍攝第二部時已經50多歲了,特效團隊掃描了她的頭部模型,獲得了準確的頭骨,然后將建模人員根據當年瑞秋表演片段的參考,制作了一個真實的數字替身。

視覺特效行業并不是唯一涉足數字替身的行業。隨著視頻游戲和實時技術逐漸變得足夠強大,再現名人也變得不再遙不可及。之前的體育游戲雖然大量出現了數字替身,但由于硬件限制,真實感有限。但經過很長時間的行業更新換代后,諸如像基努·里維斯(Keanu Reeves)出現在《賽博朋克2077》;諾曼·里德斯(NormanReedus)成為《死亡擱淺》里的主角;馬克·哈米爾(Mark Hamill)、吉莉安·安德森(Gillian Anderson)和亨利·卡維爾(Henry Cavill)出現在游戲《星際公民》等數字替身案例變得越來越普遍。

圍繞數字替身的法律和道德問題
簡單的數字人和數字替身之間的區別主要在法律含義。就數字人而言,其圖像版權通常位于灰色地帶,并可以隨時通過建模軟件進行改變。這可能會引起爭議,因為3D模型與靜態圖片有很大不同,完整復制的可能性幾乎沒有。當公司從頭開始創建數字人時,它可以規避任何棘手的法律問題,而數字替身不可避免地會面臨這些問題。其中,部分虛擬人也涉及到了同樣的問題,比如明星個人的專屬虛擬人形象,雖然不屬于數字替身范疇,但同樣會受到版權和法律的約束。

說到法律的灰色地帶,道德問題呢?數字替身在這方面引發了許多有趣的討論。使演員復活并讓其職業生涯永恒不是一件新鮮事,在電影《星球大戰:盜賊1》中,彼得·庫興(PeterCushing)扮演塔金總督再一次出現在了觀眾面前。想想詹姆斯·迪恩(James Dean,已故經典“美式帥哥”形象演員)經過數字替身復活后搶走了瑞安·高斯林(Ryan Gosling)的飯碗,也不是完全不可能。

AI換臉(Deepfakes)
AI換臉=數字人嗎?
從詞匯來看,那完全是兩件不同的事情?但其經常被聯系在一起,要歸咎于以下層面:兩者常被一起拿來炒作人工智能及一些相關領域,在某種程度上,它們都創造了可控制的“偽造人類”。

但是,關鍵的區別在于,數字人是3D模型,這意味著它們是結構化數據包,而AI換臉是神經網絡的結果,幾乎無法控制結果。此外,AI換臉是圖像,以2D格式生成,而數字人則能夠放置于3D場景中并與該場景相關的各種軟件和硬件相連。這意味著,數字人目前所能達到的運動范圍和潛力遠遠超過了一次AI換臉。
數字人和AI換臉孰優孰劣?
完全操縱的數字人是對人的表情、微表情和解剖學上正確運動的完整模擬。它并不是對2D產生的最終結果進行假擬合,它是一個完整的模擬,它可以復制頭骨、肌肉特定皮膚區域脂肪墊和解剖學上正確的關節。這種準確性是捕捉人類表現精細細節的關鍵。一方面,AI換臉只能執行經過訓練后才能執行的操作,并且通常只能提供“足夠接近”的結果,只是在病毒般視頻傳播的背景下令人印象深刻,但在電影中無法使用;另一方面,數字人幾乎可以做任何事情,它可以翻白眼、假笑、 大笑、詛咒你、受到恐嚇而轉身逃跑。
總而言之,數字人是可用于生產的資產,是使用最先進技術的人偶,可用于幾乎任何領域,而AI換臉是算法的結果,該算法只會輸出一幀一幀經過訓練的內容。此外,數字人可以利用基于物理的渲染和技術,例如虛幻引擎的實時毛發模擬。當然,前面說的那些并不意味著AI換臉一無是處,相反,它的核心技術遠比我們到目前用到的有潛力。

AI換臉的潛在影響及潛力是巨大的,尤其是當有一天其真實性可以跟3D模型相匹配時。我們甚至可以想象,有一天類似的技術將取代3D建模。畢竟,計算機圖形學世界中最重要的是結果,而不是如何實現。
不斷變化中的技術和概念
數字人技術無疑會吸引越來越多的熱度和目光。這是一個不斷創新的領域,但同時在過程中無法避免一些誤區和理解混亂。定義一個創新領域中的新概念是具有挑戰性的,甚至可能是徒勞的嘗試,因為這一切都在高速發展和變化之中。

盡管如此,這項工作還是富有成果的,因為這些詞匯本身并不像它們所代表的網絡概念那么重要。這里唯一可以明確結論是,數字人并不是一個同質的大集合概念,在數字人領域內也會發展出截然不同的項目和挑戰。虛擬人類的歷史仍在醞釀之中,很高興我們能夠一起見證它的發展。