·ARTEMIS框架提出了全新的基于神經網絡的動態動物渲染器，改變傳統渲染方法耗時耗力的困境，在識別、追蹤等傳統功能之外打開了神經網絡在渲染上的大門。
·虛擬寵物要不要衰老？它是永恒的還是會死亡的？這些技術的應用會幫助我們建立一個更多元、友愛、互信的世界還是一個更二元、割裂的世界？
電影《少年派的奇幻漂流》中，孟加拉虎理查德·帕克栩栩如生的形象不亞于真老虎，帶給觀眾奇妙體驗。在元宇宙時代，通過全新的人工智能渲染技術，這樣的超逼真虛擬動物未來或將普遍出現在我們身邊，與人類實時交互。
上海科技大學研究人員最近提出ARTEMIS新型神經網絡建模的渲染框架，可同時支持真實的動作動畫和高質量的動物毛發渲染，支持可交互式的動作控制，讓虛擬寵物同時實現實時、交互、超逼真。該論文已被計算機圖形學頂級會議ACM SIGGRAPH 2022接收。
相比上世紀90年代的電子雞、6年前的AR寵物養成對戰類游戲《精靈寶可夢Go》，基于神經網絡的動態動物渲染器讓虛擬寵物不再局限于卡通化的形象，毛發和動作的實時逼真渲染讓互動體驗成為可能，未來可應用于游戲和影視領域。
阿爾忒彌斯（Artemis）是古希臘神話中的狩獵女神，也是動物保護神。上海科技大學教授虞晶怡對澎湃新聞（www.thepaper.cn）表示，從學術角度，ARTEMIS框架提出了全新的基于神經網絡的動態動物渲染器，改變傳統渲染方法耗時耗力的困境，在識別、追蹤等傳統功能之外打開了神經網絡在渲染上的大門。
“動態毛發物體的傳統渲染建模非常困難，但ARTEMIS展示了這些都能夠通過神經網絡的表達、訓練和渲染來實現傳統方式很難達到的效果。”虞晶怡表示，目前上海科技大學正在研發GGU（Graphics generation unity）輕量級神經網絡芯片，適配今后所有基于神經網絡的渲染引擎。
基于神經網絡的動態動物渲染器，讓虛擬寵物超逼真與實時交互
電影《少年派的奇幻漂流》中，孟加拉虎理查德·帕克帶給觀眾奇妙體驗。創建這些電腦生成（Computer-generated Imagery, CGI）的數字化動物往往需要藝術家的大量勞動，包括創建數以萬計的逼真毛發、制作自然的動作動畫序列。
比如，傳統CGI動物模型需要藝術家、模型師參考真實動物的照片或視頻來創建由數以萬計的毛發纖維組成的動物皮毛。這一過程通常要求具備熟練的建模技巧，也耗費人力，《少年派的奇幻漂流》中，光老虎的毛發就有超過15名動畫師參與工作。
上海科技大學信息學院研究生、論文第一作者羅海旻介紹，即使擁有如此復雜精致的模型，將其渲染成高質量圖片依然需要用到非常復雜的渲染方法，才能實現逼真效果。
根據模型精細程度，傳統渲染時長不同，完成1幀渲染需要數分鐘至數小時。即使有大量計算資源，實時渲染逼真的動物圖片依然遙不可及。上海科技大學信息學院研究生王有佳說，比如他們所做的一匹狼的渲染，利用傳統渲染方法一幀通常需要四五分鐘時間，特效成本昂貴。再者，渲染速度慢意味著無法實時交互。
因此，如何交互式操控這些模型并保持高度真實又是新的挑戰。傳統CGI動物模型并不適合當下虛擬寵物應用中實時逼真渲染、人與動物實時互動的場景。為此，上海科技大學研究人員提出ARTEMIS新型神經網絡建模的渲染框架，用以生成同時具備外觀和動作合成能力的虛擬寵物，讓虛擬寵物同時實現實時、交互、超逼真。
打開鳳凰新聞，查看更多高清圖片ARTEMIS框架的核心在于提出了一種新的神經網絡生成（Neural-generated Imagery, NGI）動物模型來替換傳統的CGI模型。與傳統離線動畫和渲染系統不同，ARTEMIS可同時支持真實的動作動畫和高質量的動物毛發渲染，支持可交互式的動作控制。
虛擬動物制作最難之處在于毛發和動作的逼真渲染。上海科技大學教授虞晶怡認為，渲染是ARTEMIS框架中“最漂亮的工作”。
事實上，NeRF（Neural Radiance Fields，神經輻射場）突破了計算機圖形學對渲染和建模的理解，而NeRF本身有望成為主流的渲染引擎。它可以支持高質量的視圖合成，并對每個場景進行優化。比如可以對一個杯子從四面八方拍照，再用神經網絡對圖片進行壓縮和插值，即可在自由的視點里隨意觀看。
“我們做了大量的NeRF工作，但是NeRF有幾個問題，一是不支持動態物體，二是不支持毛發渲染。我們就在想，能不能用我們的新技術，把NeRF做到又能動，又能有毛發逼真效果？”虞晶怡表示。
團隊創新性地利用卷積神經不透明輻射場（ConvNeRF），支持動態物體和超高清渲染。他們使用卷積神經網絡渲染器為模糊毛發目標生成不透明輻射場的新方案，將顯式不透明監督和卷積機制結合到NeRF框架中以實現高質量外觀渲染，可增強毛發紋理細節，整個渲染流程可導并且支持對動態毛發動物實時的高質量自由視角渲染。
當動物動起來時，如何做到逼真效果？上海科技大學信息學院研究生一年級學生、論文第二作者許騰介紹，團隊搭建了一個動物動作捕捉系統，將12臺Vicon Vantage V16相機均勻環繞在被拍攝動物的四周，每臺相機能以120hz的頻率捕捉移動中的紅外光反射標志。
此外將22臺Z-CAM cinema相機安插在Vicon相機之間，并以30fps（畫面每秒傳輸幀數）采集RGB視頻，標定與同步均在采集前提前完成。通過這套動作捕捉系統，團隊獲取了貓、狗的高質量動作數據，四肢、尾巴等易被遮擋的部分也能精準捕捉。
但另一個問題是，拍攝到的動作序列是離散不連續的。為此，團隊引入神經網絡狀態機（Neural state machine），它能在任意兩個動作之間進行插值，將一個動作平穩過渡到另一個動作，自動生成動物動作。捕捉動物動作并復原動作，結合神經網絡動態渲染，就可以做到一個虛擬寵物既有逼真動態又有真實外觀的效果。
最后一步是交互，人體動作捕捉團隊采集用戶的各種體態、動作、聲音等，以此和虛擬動物互動。
“我們自定義了一些交互規則，用神經網絡推導現在人物處于什么樣的狀態，比如人物是不是揮手、是不是希望動物去什么地方，是不是希望動物能過來坐下等等，相當于我們去解讀人物的動作，然后把人物的動作和動物的控制結合起來，讓動物對人的動作有相對的響應。”許騰說。
AI、自然語言處理等賦予虛擬寵物伴侶能力，倫理問題要界定
虛擬寵物的發展可以追溯到1996年。當年，日本萬代公司推出的電子寵物系列游戲機拓麻歌子風靡全球，也被稱為電子雞。游戲機外形設計像雞蛋，互動模式包括可以為寵物喂食、清理糞便等。這就是早期的虛擬寵物，當時，學生是主要玩家，他們出入學校都帶著拓麻歌子。
拓麻歌子2005年，騰訊公司推出虛擬社區喂養游戲QQ寵物，貫穿寵物成長全過程，包括喂食、清潔、打工、學習、結婚、生蛋等。早期，QQ寵物會因為長時間不登錄或者照顧不周而死亡，需要購買還魂丹復活。 直到2018年被下架，QQ寵物成了一代人的回憶。
2016年，AR寵物養成對戰類游戲《精靈寶可夢Go》引起全球追捧，玩家可以在現實世界中發現寶可夢，并抓捕和戰斗，這也讓人們走出家門尋找精靈。
“一般的虛擬寵物都是Q版或者比較卡通化的形象，但我們可以做出非常真實的毛發，這是一個全新的呈現方式。”95后許騰正與團隊成員王有佳等籌備創立虛擬寵物創業公司，開發虛擬寵物應用。
“ARTEMIS主要應用場景是替代傳統動物渲染，如果能做到足夠的加速，就可以在游戲里呈現。”許騰表示，這會比現存的游戲引擎里的動物呈現更真實，因此ARTEMIS最大的應用就在于娛樂游戲領域，“比如像虛擬寵物，它有可能會坐在你的電腦前，響應你的動作，注視你，跟你交互。”
“未來我們可能會嘗試收集真實的人和真實的動物之間交互的數據，提升渲染效果。”王有佳表示，他們將探索虛擬寵物在游戲、可交互廣告等方面設計產品的可能性，讓用戶在屏幕中看到栩栩如生的動物時更可以隔著屏幕與它們游戲。
虞晶怡飼養了兩只兔子，它們并不會像寵物貓、狗一樣會發出很多聲音。“今后虛擬世界的寵物能不能跟我有更多的交流？人工智能、自然語言處理、語音交互能夠賦予它們這樣的能力。”
不管是現在的桌面端或是移動端，還是今后在AR、VR的顯示設備里，他認為虛擬寵物是下一代計算機視覺、圖像技術商業落地的場景之一。“人與虛擬人的交流還有很長的路要走，但和寵物交流不需要特別復雜。”相比虛擬人，虛擬寵物會更快實現商業落地。
未來，團隊將開發人與虛擬寵物的對話功能，依靠更豐富的數據集讓虛擬寵物動作更豐富。此外要探索渲染輕量化，在輕量級的手機端完成渲染效果，并支持消費者水平的VR頭盔，實現與虛擬動物的交互體驗。
AI的時代是數據的時代。未來動物數據集的采集一方面可以由用戶貢獻寵物模型數據，通過神經網絡渲染器建模，生產三維模型。寵物主人可以把自己的寵物數字化，與虛擬寵物遠程交互。
另一方面可走生成AI的道路，也就是用現有模型生成未知模型。“如果有了足夠多的數據，就可以生成介于加菲貓和布偶貓之間的一種貓，可以產生新的虛擬物種。這不僅僅是虛擬伴侶，它其實也是NFT的一種形態。”虞晶怡表示。
當前虛擬寵物、虛擬人市場仍在起步階段，從傳統的二維無交互視頻逐步過渡到有交互的三維體驗有多種模式，元宇宙市場潛力巨大，上海提出到2025年元宇宙相關產業規模達到3500億元。
對于上海的元宇宙產業發展，虞晶怡建議，要重視原創性工作。他認為“元宇宙”是商業概念，在學術上無法定義，因此科研不應該圍繞商業概念展開。“我們需要做的，是把精力專注在下一代計算機視覺和圖形技術的研發上，而不是局限在特定的商業概念里。但這些技術最終以何種形式落地將由市場決定。”
“我們在做技術的同時也非常注意倫理的教育。技術發展太快了，很多AI技術會涉及到倫理問題，包括虛擬寵物。”虞晶怡提出，比如虛擬寵物要不要衰老？它是永恒的還是會死亡的？這些技術的應用會幫助我們建立一個更多元、友愛、互信的世界還是一個更二元、割裂的世界？“倫理問題一定是非常核心的，在開發技術時必須要注意。”
