假如你可以定制自己的臉，你會(huì)制作出怎樣一張臉？如今，在形形色色的虛擬世界里，人們都希望能擁有一個(gè)獨(dú)特的形象，無(wú)論是將自己還原，還是創(chuàng)建一個(gè)新角色。傳統(tǒng)提供固定臉部素材進(jìn)行組合的捏臉?lè)绞剑呀?jīng)無(wú)法滿(mǎn)足用戶(hù)的差異化需求，人們不再希望和別人共有一張臉。

尤其在創(chuàng)建虛擬形象需求最集中的游戲業(yè)界，隨著硬件配置不斷迭代，游戲在畫(huà)面精細(xì)度和角色操控自由度方面越發(fā)強(qiáng)大，為了滿(mǎn)足玩家的個(gè)性化需求，一些游戲開(kāi)發(fā)商開(kāi)始為玩家提供一整套自由度極高的“捏臉”系統(tǒng)，可以讓玩家根據(jù)自己的審美細(xì)化設(shè)定角色外觀(guān)，使游戲體驗(yàn)更加沉浸化。

不過(guò)，更加復(fù)雜的捏臉系統(tǒng)也帶來(lái)了更高的操作要求和審美要求，當(dāng)面前擺著幾百個(gè)滑塊，人們卻不知道如何才能調(diào)制出自己想象中的形象。于是智能捏臉系統(tǒng)應(yīng)運(yùn)而生，只需要上傳你喜歡的形象的照片，就可以生成高度還原的3D虛擬角色，避免“游戲五分鐘，捏臉兩小時(shí)”的麻煩。

捏臉技術(shù)不僅可以用于游戲，也可以用于制造虛擬人，并應(yīng)用于文旅、醫(yī)療等行業(yè)。而從元宇宙的視角來(lái)看，捏臉可能是元宇宙系統(tǒng)里最基礎(chǔ)的項(xiàng)目，每個(gè)人都需要通過(guò)捏臉定制自己的虛擬形象，打造虛擬分身。

打造AI捏臉系統(tǒng)的智能捏臉師，其實(shí)是人工智能算法工程師的一個(gè)方向，他們負(fù)責(zé)開(kāi)發(fā)捏臉功能、訓(xùn)練捏臉系統(tǒng)。智能捏臉師既要會(huì)AI算法、開(kāi)發(fā)工具、深度學(xué)習(xí)框架，又要懂美術(shù)、心理學(xué)，面部相關(guān)的知識(shí)，在工作中常常會(huì)遇到意想不到的問(wèn)題和細(xì)節(jié)，也會(huì)有出乎意料的收獲。

網(wǎng)易伏羲人工智能實(shí)驗(yàn)室的智能捏臉項(xiàng)目，于2018年底在端游《逆水寒》中上線(xiàn)。這也是全球首次在MMORPG游戲中實(shí)現(xiàn)基于單張照片的智能捏臉玩法。系統(tǒng)使用大量的隨機(jī)參數(shù)來(lái)模擬捏臉，訓(xùn)練AI學(xué)習(xí)捏臉的過(guò)程。玩家上傳照片以后，系統(tǒng)就會(huì)把照片拆解成AI理解的形式，比如五官的位置、大小，妝容顏色等特征，AI就會(huì)根據(jù)這些信息，對(duì)這些特征做復(fù)原。

以下是三位網(wǎng)易伏羲智能捏臉師的自述，略經(jīng)鈦媒體APP編輯：

01 我們?cè)谑髽?biāo)、鍵盤(pán)和手柄以外，增加了一個(gè)玩家和游戲交互的渠道

網(wǎng)易伏羲視覺(jué)計(jì)算組負(fù)責(zé)人、智能捏臉師 神秀

我們視覺(jué)計(jì)算組主要研究方向是如何通過(guò)視覺(jué)和圖音學(xué)的技術(shù)去豐富游戲的玩法，比如捏身體，進(jìn)行動(dòng)作、表情的遷移，還有捏臉。

捏臉項(xiàng)目是我們的核心項(xiàng)目，從18年7月立項(xiàng)到現(xiàn)在，我已經(jīng)參與研發(fā)三年多了。每一年捏臉系統(tǒng)都會(huì)有版本迭代，從最開(kāi)始的第一版到現(xiàn)在的第三個(gè)大版本，每年都會(huì)有一些創(chuàng)新的技術(shù)點(diǎn)，發(fā)表一些論文。

最開(kāi)始我們有做這個(gè)產(chǎn)品的想法是因?yàn)榫W(wǎng)易一款叫《逆水寒》的大型端游，其中包括一個(gè)非常復(fù)雜的捏臉系統(tǒng)。每一個(gè)玩家都可以通過(guò)操控游戲里面幾百個(gè)滑塊來(lái)調(diào)整參數(shù)，比如調(diào)整眼睛大小、鼻子大小、人中長(zhǎng)短等等，去得到一個(gè)自己喜歡的形象。這個(gè)形象可以以現(xiàn)實(shí)的人物為參照，玩家可以捏出劉亦菲，也可以捏出現(xiàn)實(shí)中的自己。功能雖然很強(qiáng)大，但是對(duì)于大部分普通玩家來(lái)說(shuō)，可能需要花費(fèi)幾天的時(shí)間才可以完成一個(gè)滿(mǎn)意的形象。

于是游戲方就找到我們，希望我們能夠通過(guò)AI的技術(shù)，根據(jù)玩家上傳的照片去自動(dòng)分析他的面部特征，調(diào)整參數(shù)，然后生成一個(gè)和照片相似度盡可能高的三維形象。我們和游戲方聊了之后，覺(jué)得這個(gè)很有意思，對(duì)用戶(hù)也很有幫助。當(dāng)時(shí)我們發(fā)現(xiàn)淘寶上有很多人通過(guò)幫玩家捏臉的服務(wù)來(lái)賺錢(qián)，收費(fèi)在幾十塊錢(qián)到幾百塊錢(qián)不等，月銷(xiāo)量很高。這說(shuō)明很多玩家都有希望有人能幫助他實(shí)現(xiàn)捏臉的需求，而我們通過(guò)技術(shù)能夠讓更多的玩家更廉價(jià)、更便捷地享受到這種服務(wù)，這就是我們18年立項(xiàng)的初衷。

我們是業(yè)內(nèi)首次提出這種智能捏臉玩法的團(tuán)隊(duì)，并且在MMORPG游戲中第一個(gè)做出了這種玩法，也發(fā)表了一些頂級(jí)會(huì)議和論文。當(dāng)時(shí)做的時(shí)候也沒(méi)有想過(guò)這個(gè)項(xiàng)目會(huì)做持續(xù)三年之久，因?yàn)閷?duì)我們來(lái)說(shuō)，其實(shí)這只是我們眾多項(xiàng)目中的一個(gè)，但是做下來(lái)之后發(fā)現(xiàn)智能捏臉?lè)?wù)在游戲中非常受歡迎，有非常多的玩家愿意去體驗(yàn)。玩家也會(huì)給我們寫(xiě)很多評(píng)價(jià)和意見(jiàn)。我們?cè)陂_(kāi)發(fā)的過(guò)程中也覺(jué)得很受振奮，因?yàn)楹芏嗤婕叶枷矚g我們的產(chǎn)品，我們的技術(shù)為他們提供了服務(wù)，并且創(chuàng)造出了價(jià)值。游戲方也給了我們很多建議并且支持我們不斷地對(duì)產(chǎn)品進(jìn)行迭代。在迭代中我們也會(huì)去參加一些學(xué)術(shù)會(huì)議，和同行進(jìn)行分享，逐漸地就有越來(lái)越多的公司開(kāi)始涉及智能捏臉的領(lǐng)域。

其實(shí)，智能捏臉也經(jīng)歷了一個(gè)不斷迭代和成長(zhǎng)的過(guò)程。

在18年12月上線(xiàn)的第一版，是一個(gè)迭代的神經(jīng)網(wǎng)絡(luò)優(yōu)化的算法。它的優(yōu)勢(shì)是不需要監(jiān)督數(shù)據(jù)，即我們的捏臉不需要去收集真實(shí)人臉照片去訓(xùn)練AI，而完全是用我們的系統(tǒng)自己生成渲染的照片來(lái)做自監(jiān)督訓(xùn)練，比起采集數(shù)據(jù)的方式，我們整個(gè)系統(tǒng)的多樣性就會(huì)更豐富，任意的照片我們都可以訓(xùn)練，并且成本很低。但它的缺點(diǎn)是對(duì)每一張照片都需要去迭代地調(diào)整，所以當(dāng)時(shí)的速度不是很快。為了滿(mǎn)足游戲上線(xiàn)后的并發(fā)需求，我們調(diào)了非常多的GPU服務(wù)器，大概最后穩(wěn)定在玩家每一張照片能夠在0.5秒之內(nèi)出結(jié)果。在第二年對(duì)產(chǎn)品的迭代之后，我們進(jìn)行了速度上的一個(gè)大幅優(yōu)化，我們將算法改成了一個(gè)單步的前向算法，在質(zhì)量不變的情況下將運(yùn)行速度提高了大概2000倍，即達(dá)到了毫秒級(jí)，可能幾毫秒的時(shí)間，甚至不到毫秒的時(shí)間就能夠出結(jié)果。

第一個(gè)版本我們要求玩家必須上傳正面照片，照片光照不能過(guò)于變化不均，后來(lái)我們改善了魯棒性，使玩家照片可以拍地更自由。在第二年的第二個(gè)大版本，我們不僅捏出了人臉的形狀，還會(huì)還原它面部的紋理細(xì)節(jié)。比如說(shuō)臉上可能有一個(gè)刺青、皺紋，或者痘痘，我們都會(huì)將它還原出來(lái)。從我們最新的成果來(lái)看，基本上由照片捏出來(lái)的臉，和照片已經(jīng)很難分辨了。

微表情也是我們正在進(jìn)一步改進(jìn)的地方，微表情其實(shí)比起單純捏臉涉及到更多，也是需要美術(shù)方的支持。我們現(xiàn)在使用的表情呈現(xiàn)是基于設(shè)置的51個(gè)基底組成各種表情，但是通過(guò)這種方式很難讓角色表達(dá)細(xì)微的表情，比如當(dāng)系統(tǒng)檢測(cè)到玩家微微上揚(yáng)嘴角或者微微瞇起眼睛時(shí)，是無(wú)法反應(yīng)到角色上的。目前我們正在對(duì)這點(diǎn)進(jìn)行改進(jìn)，為了使角色更加還原，更加逼真，不僅僅能夠捏出長(zhǎng)相，我們正在研究如何基于骨骼去在這個(gè)捏臉?lè)桨干蠈?shí)現(xiàn)微表情，從而能夠更體現(xiàn)出人的氣質(zhì)。

通過(guò)將圖像視覺(jué)算法與游戲結(jié)合，我們可以給游戲帶來(lái)很多新的東西，創(chuàng)造一些業(yè)界傳統(tǒng)的游戲不具備的功能，讓游戲和人之間的距離更近。捏臉、表情、動(dòng)作這些功能，就像是讓游戲具備了“眼睛”，它可以觀(guān)察玩家，然后通過(guò)識(shí)別玩家本身的特征去在游戲內(nèi)部做一些反饋。相當(dāng)于我們?cè)谑髽?biāo)、鍵盤(pán)和手柄以外增加了一個(gè)玩家和游戲交互的渠道，就是攝像頭。玩家可以通過(guò)視覺(jué)信息跟游戲發(fā)生很多很神奇的交互，讓視覺(jué)計(jì)算和游戲擦出新的火花。

在做捏臉這個(gè)項(xiàng)目之前當(dāng)然也會(huì)有一些沒(méi)想到會(huì)遇到的狀況，比如之前我也很難想象我們一堆直男會(huì)去看美妝視頻。最開(kāi)始我們?nèi)プ瞿竽樀臅r(shí)候，發(fā)現(xiàn)因?yàn)楹芏嗯婕視?huì)上傳明星或者是自己化妝后的、美顏后的照片。男生可能大多數(shù)就隨便拍拍了，所以剛開(kāi)始我們是沒(méi)有考慮到口紅這種東西的。后來(lái)說(shuō)那我們也可以加個(gè)口紅的選項(xiàng)，然后我們幾個(gè)男生就開(kāi)始討論說(shuō)口紅有幾種顏色你知道嗎？結(jié)果沒(méi)人知道。我們就拍板定了三種顏色，紅色，橘色和粉紅色。后來(lái)就被產(chǎn)品教育了，說(shuō)口紅有多少多少個(gè)顏色。因?yàn)檫@些鬧出了很多事情，后來(lái)我們就真的去視頻網(wǎng)站，去短視頻平臺(tái)上面去學(xué)習(xí)化妝。然后大家才知道，原來(lái)化妝有這么多步驟，比如說(shuō)什么眼影、腮紅、遮瑕、修容......有非常多的東西。所以我們現(xiàn)在也了解到了很多，以前其實(shí)對(duì)我們來(lái)說(shuō)，可能很多時(shí)候女生不涂口紅就是沒(méi)化妝，現(xiàn)在就能看出來(lái)這個(gè)人可能是上了什么，可能打了什么，懂了一些不知道以后有沒(méi)有用的知識(shí)。

我們也會(huì)為了實(shí)驗(yàn)，作為演員去錄影棚錄一些資料。我就去錄了我的表情和身體以及動(dòng)作，給我自己重建了一個(gè)三維數(shù)字形象。我看到那個(gè)三維的自己出現(xiàn)在屏幕里的時(shí)候就覺(jué)得是挺魔幻的，然后也沒(méi)自己想象的好看。我就理解了確實(shí)絕大部分人對(duì)自己的顏值都有點(diǎn)過(guò)高的誤解。在拍攝過(guò)程中，我們也了解到演員拍攝背后的辛苦，于是我們也開(kāi)始研究怎么樣降低他們的工作量，還有怎么去幫助特效演員去做一些特效，減輕他們的負(fù)擔(dān)。我們的研究主要還是圍繞人去展開(kāi)，為了服務(wù)人去提出一些解決方案。

我們也會(huì)把智能捏臉提供給游戲去做一些NPC的制作。起因是我們有一次在體驗(yàn)自己合作的游戲的時(shí)候，發(fā)現(xiàn)很多NPC除了衣服以外，其實(shí)長(zhǎng)得都是完全一樣的。了解之后發(fā)現(xiàn)，因?yàn)橹谱饕粋€(gè)NPC的成本比較高，其實(shí)對(duì)一些不重要的NPC，游戲方都會(huì)用同樣一張臉，我們就想智能捏臉其實(shí)可以解決這個(gè)問(wèn)題，于是向游戲方提供了一套可以自動(dòng)生成人臉的算法，他們只需要通過(guò)簡(jiǎn)單的操作就可以得到非常多不同的人臉，從中選擇符合需求的人臉就可以了。這樣一來(lái)可以大大加速NPC的制作流程，并且降低成本。

這次合作又使我們產(chǎn)生了進(jìn)一步的想法，除了生成每個(gè)NPC獨(dú)有的臉，我們還希望這個(gè)NPC能夠具備一定的智能，我們希望這個(gè)NPC長(zhǎng)得像人，動(dòng)起來(lái)也像人，說(shuō)起話(huà)來(lái)也像人，有人類(lèi)真實(shí)的情緒和表達(dá)，就像《失控玩家》那部電影一樣，讓NPC能真的自主和玩家進(jìn)行更深度的交互。這也是我們聯(lián)合包括自然語(yǔ)言組、強(qiáng)化學(xué)習(xí)組等一起想要完成的一個(gè)工作，希望為玩家?guī)?lái)一個(gè)全新的體驗(yàn)。

除了游戲以外，我們現(xiàn)在也會(huì)嘗試去做一些直播之類(lèi)的娛樂(lè)項(xiàng)目、醫(yī)療項(xiàng)目、還有一些文旅項(xiàng)目，比如讓游客都能夠?qū)崟r(shí)實(shí)景地體驗(yàn)景區(qū)或者博物館，也會(huì)有一些穿越的項(xiàng)目，比如讓用戶(hù)的形象穿越到某個(gè)朝代。

我們正在做的一系列課題實(shí)際上就是，在縮短現(xiàn)實(shí)世界和虛擬世界的距離，我們希望能讓現(xiàn)實(shí)世界數(shù)字化的過(guò)程越來(lái)越便捷、越來(lái)越廉價(jià)、越來(lái)越方便，希望虛擬世界和現(xiàn)實(shí)世界的交互越來(lái)越強(qiáng)。我們?cè)诂F(xiàn)實(shí)世界中做的事情，可以帶到虛擬世界，而在虛擬世界的成就也可以反應(yīng)到現(xiàn)實(shí)世界里。比如我在虛擬世界里賺到了錢(qián)，在現(xiàn)實(shí)世界也能獲得回報(bào)。當(dāng)我們的技術(shù)發(fā)展到一定水平，我們希望最后大家都能夠自由地在這兩個(gè)世界穿越，去學(xué)習(xí)、去工作、去娛樂(lè)、去突破現(xiàn)實(shí)的一些壁壘，比如空間上的限制，或者疫情的限制，然后讓大家更加緊密地聯(lián)系在一起，讓人和人之間有更多的交流和合作。這樣的技術(shù)的實(shí)現(xiàn)，我想也只是時(shí)間問(wèn)題了。就像人們很久以前說(shuō)千里傳音是一件很神奇的事情，但現(xiàn)在有了電話(huà)就很方便，而很快，我們又有了視頻通話(huà)。技術(shù)的發(fā)展，就是在不斷地拉近人與人之間的距離。

但是至于當(dāng)虛擬世界發(fā)展到一定地步，比如當(dāng)元宇宙誕生，人會(huì)不會(huì)去模糊虛擬世界和現(xiàn)實(shí)世界的界限，甚至沉溺于虛擬世界？我想從技術(shù)上來(lái)說(shuō)我們希望虛擬世界能更加真實(shí)、更加方便、更加豐富，用戶(hù)們有自己的選擇，但最終我們真正的快樂(lè)可能還是要從現(xiàn)實(shí)世界中得到。我們的成就感也好、貢獻(xiàn)也好，都還是要來(lái)源于現(xiàn)實(shí)世界的。就比如我做視覺(jué)計(jì)算，我覺(jué)得我的貢獻(xiàn)就是我通過(guò)自己的工作服務(wù)了很多現(xiàn)實(shí)中的人，讓他們獲得了快樂(lè)，讓我的技術(shù)被人認(rèn)可，那我就從中得到了很大的成就感。我不希望大家沉迷在我們通過(guò)技術(shù)搭建的這個(gè)游戲世界里，我只是希望這個(gè)游戲世界能給大家在繁忙的工作之余帶來(lái)一些放松，帶來(lái)一些調(diào)劑。

這么多年下來(lái)，我做了很多東西，也影響到了這么多用戶(hù)，這份工作對(duì)我來(lái)說(shuō)是非常讓我開(kāi)心，也很有成就感的?，F(xiàn)在元宇宙，虛擬人等等其實(shí)都特別需要這些技術(shù)，我也愿意把這個(gè)技術(shù)不斷地往后推進(jìn)。有時(shí)候看到一些公眾號(hào)傳播一些數(shù)字人的前沿科技的時(shí)候，我就會(huì)想，這些東西我們已經(jīng)在做了。

02 做AI捏臉原本是想捏得更像人，卻發(fā)現(xiàn)有人更喜歡捏“妖怪”

網(wǎng)易伏羲智能捏臉師 晚豐

我是人工智能算法工程師，你也可以叫我智能捏臉師。

我們所研究的AI智能捏臉，就是利用高保真三維人臉重建技術(shù)，使玩家僅需上傳一張照片，就可以快速獲得與之相像的虛擬形象。同時(shí)，還能根據(jù)用戶(hù)的想法對(duì)生成的模型進(jìn)行調(diào)整。

AI的本質(zhì)是特征處理的工作，我們的系統(tǒng)不需要真實(shí)照片的數(shù)據(jù)庫(kù)，而是直接利用隨機(jī)參數(shù)去訓(xùn)練AI模擬捏臉。需要在照片上選取關(guān)鍵點(diǎn)，比如眼睛大小和五官的位置，然后在捏臉系統(tǒng)中也去檢測(cè)這些關(guān)鍵點(diǎn)，調(diào)整參數(shù)讓兩者一致，就可以做到復(fù)原的效果。在訓(xùn)練過(guò)程中，AI會(huì)自動(dòng)設(shè)置指標(biāo)，當(dāng)匹配到一定精度時(shí)就會(huì)停止。這樣就可以保證捏出來(lái)的人臉和照片達(dá)到我們想要的相似度。

訓(xùn)練捏臉系統(tǒng)有一個(gè)過(guò)程，最開(kāi)始做Demo的時(shí)候這個(gè)系統(tǒng)可能就是很粗糙的一個(gè)東西，生成出的模型很丑，沒(méi)有頭發(fā)也沒(méi)有眉毛。隨著對(duì)AI的訓(xùn)練，慢慢地會(huì)有一個(gè)從無(wú)到有的過(guò)程，從剛開(kāi)始不像，捏出來(lái)臉都差不多，到相似度越來(lái)越高。在算法優(yōu)化的過(guò)程中會(huì)有明顯的變化。我們搭建的系統(tǒng)也是從一個(gè)很雜亂的狀態(tài)，到逐漸流程化，我們對(duì)每一個(gè)模塊都很熟悉，都在其中注入了很多心血。

每次做一個(gè)新的項(xiàng)目都要從基本訓(xùn)練開(kāi)始，雖然算法流程是統(tǒng)一的，但是每一個(gè)項(xiàng)目的美術(shù)和風(fēng)格是不一樣的，男性、女性、小孩、老人都各有不同，最后生成的算法也會(huì)有有差距，所以我不會(huì)覺(jué)得枯燥，反而認(rèn)為都是一種新的體驗(yàn)。

在項(xiàng)目對(duì)接的時(shí)候，我們也會(huì)遇到一些之前想不到的細(xì)節(jié)問(wèn)題。比如《永劫無(wú)間》的海外版本，就要考慮人種和膚色的問(wèn)題，因?yàn)橹爸饕嫦驀?guó)內(nèi)市場(chǎng)，面向的基本都是國(guó)人?，F(xiàn)在根據(jù)不同人種，我們就需要優(yōu)化模型，去做一個(gè)膚色上的判斷。還有我們的沉浸式會(huì)議系統(tǒng)“瑤臺(tái)”，在舉辦學(xué)術(shù)會(huì)議的時(shí)候因?yàn)閷?zhuān)家學(xué)者很多都戴眼鏡，為了更還原現(xiàn)實(shí)特地增加新的眼鏡功能模塊。

現(xiàn)在捏臉系統(tǒng)主要應(yīng)用在游戲中，我們合作開(kāi)發(fā)捏臉系統(tǒng)的游戲我都會(huì)去嘗試游玩，也會(huì)去論壇和貼吧看看玩家對(duì)捏臉系統(tǒng)的作品和評(píng)價(jià)。玩家捏臉也有不同的取向，有的玩家會(huì)上傳明星的照片捏臉，或者本人的捏臉。這種類(lèi)型的捏臉就要考慮人物的美觀(guān)性。AI是無(wú)法理解“美丑”的，它只會(huì)把關(guān)鍵點(diǎn)量化，不會(huì)考慮氣質(zhì)上的東西。

我們通過(guò)幾個(gè)不同的角度去訓(xùn)練AI的“審美”。首先我們建立了一個(gè)人臉打分的數(shù)據(jù)庫(kù)。我們之前有一個(gè)玩家的捏臉大賽，通過(guò)大賽我們其實(shí)可以知道大部分玩家喜歡什么樣的長(zhǎng)相。其次我們請(qǐng)了很多美術(shù)幫我們?nèi)?biāo)了一些AI生成的捏臉照片的顏值，基于這些監(jiān)督數(shù)據(jù)，我們可以初步訓(xùn)練AI得出一個(gè)美丑的基本評(píng)價(jià)標(biāo)準(zhǔn)?；谶@個(gè)標(biāo)準(zhǔn)，我們可以驅(qū)動(dòng)它，讓我們的照片生成的模型變得相對(duì)好看一點(diǎn)，同時(shí)我們還會(huì)請(qǐng)美術(shù)幫我們定義很多他們認(rèn)為在什么樣的臉型上會(huì)特別美的范本，就像整容醫(yī)院的模板一樣。最后相當(dāng)于系統(tǒng)給生成的結(jié)果做了一個(gè)微整形，對(duì)每一張臉去匹配一個(gè)它最合適的整形的方向。當(dāng)然我們也會(huì)調(diào)節(jié)權(quán)重，讓系統(tǒng)在像和美之間進(jìn)行一個(gè)權(quán)衡。

還有一些玩家會(huì)捏一些二次元的動(dòng)漫角色。之前我們系統(tǒng)還是傾向于捏真人的照片，所以在系統(tǒng)設(shè)置上會(huì)限制參數(shù)，像一些奇怪的臉型和眼型之類(lèi)的就無(wú)法還原，對(duì)二次元角色的支持度較低。但是在看玩家評(píng)價(jià)的時(shí)候我們發(fā)現(xiàn)，其實(shí)捏得丑也會(huì)被人喜歡。有一些奇形怪狀的作品，比如捏得像皮卡丘、像滅霸一樣的，或者整個(gè)臉都變形的那種角色也很受歡迎。我也嘗試過(guò)捏一些奇怪的、和別人不一樣的角色，比如我捏過(guò)豬八戒，這種有特點(diǎn)的角色在游戲里隔很遠(yuǎn)就能被看到，感覺(jué)也挺有意思的。所以現(xiàn)在我們也會(huì)嘗試去復(fù)原一些不常規(guī)的臉型，希望當(dāng)玩家在上傳二次元的、非現(xiàn)實(shí)的照片的時(shí)候，我們也能夠?qū)⑺€原出來(lái)，去更加貼近玩家的創(chuàng)作需求。

除了游戲之外，我們的捏臉系統(tǒng)還可以應(yīng)用到各種軟件上，目前有在做和虛擬演唱會(huì)、劇本殺、沉浸式會(huì)議系統(tǒng)等等的結(jié)合。現(xiàn)階段在應(yīng)用內(nèi)植入捏臉系統(tǒng)還是個(gè)很大的工程，所以上線(xiàn)的應(yīng)用類(lèi)型并不多，等流程進(jìn)一步簡(jiǎn)化之后相信就會(huì)更加普及。

不僅是捏臉，表情遷移、動(dòng)作遷移的功能也已經(jīng)在游戲中落地，玩家可以讓自己的虛擬角色做出和自己一樣的表情、一樣的動(dòng)作。通過(guò)我們的這些技術(shù)，AI捏出的每一個(gè)形象都可以支持面部和身體的運(yùn)動(dòng)，即具備成為一個(gè)虛擬人的條件，目前我們伏羲內(nèi)部的各個(gè)項(xiàng)目組，比如語(yǔ)音，動(dòng)作，文字等都已經(jīng)發(fā)展成熟，正在結(jié)合各組的技術(shù)去做一個(gè)高精度的虛擬人項(xiàng)目，智能捏臉之后也會(huì)去支持這樣的一個(gè)課題。

在元宇宙中，人們也會(huì)希望自己擁有一個(gè)獨(dú)特的形象，其實(shí)我們的沉浸式會(huì)議系統(tǒng)“瑤臺(tái)”就類(lèi)似一個(gè)“極簡(jiǎn)元宇宙”。瑤臺(tái)搭建了一個(gè)虛擬化的會(huì)議場(chǎng)景，人們?cè)诰€(xiàn)上通過(guò)自己的虛擬形象進(jìn)行交互。在智能捏臉?lè)矫?，比起游戲里的角色，由于元宇宙的虛擬角色會(huì)近距離看到彼此的臉，對(duì)捏臉的精細(xì)度和真實(shí)度的要求會(huì)更高，我們也在向著這個(gè)方向去推進(jìn)。

03 捏臉是把千篇一律的游戲內(nèi)容，變成了個(gè)性化的一種表達(dá)

網(wǎng)易伏羲智能捏臉產(chǎn)品負(fù)責(zé)人 楚涵

我的主要工作是站在怎么為游戲和商業(yè)化能力賦能這個(gè)角度，去規(guī)劃我們的捏臉產(chǎn)品，然后和需求方去對(duì)接，推進(jìn)產(chǎn)品的完成。

游戲類(lèi)的AI產(chǎn)品有圖形圖像等多個(gè)方面的角度，而我認(rèn)為我們?cè)谧龅哪竽樖前亚宦傻挠螒騼?nèi)容，變成了個(gè)性化的一種表達(dá)，讓我們的游戲更加得生動(dòng)，這個(gè)世界更加得豐富。我們最終的呈現(xiàn)是在游戲里生成了千人千面的游戲分身。

根據(jù)每個(gè)人的個(gè)性，我們?cè)谔摂M世界上傳的角色有可能和現(xiàn)實(shí)中真實(shí)的自己不一樣，但其實(shí)這也是我們的一部分。而在不同的場(chǎng)景下，我們生成的形象可能也會(huì)不一樣，比如在社交軟件，可能大家就會(huì)希望生成一個(gè)好看一點(diǎn)的角色；在游戲里，會(huì)希望擁有一個(gè)有趣的形象；在工作場(chǎng)景下，就會(huì)希望自己的角色給人一個(gè)可靠、嚴(yán)謹(jǐn)?shù)挠∠蟆?/p>

因?yàn)槿吮緛?lái)就不是單一的，實(shí)際上虛擬世界的自己就是我們的另一面。它是我們?cè)谀莻€(gè)場(chǎng)景中想表達(dá)的一面性格，一種心理訴求。而因?yàn)楸绕瓞F(xiàn)實(shí)世界，虛擬世界減少了種種限制，所以我們能去釋放那個(gè)真正想表達(dá)的部分，去成為我們真正想成為的人。虛擬角色成為了我們的出口。

人是一種視覺(jué)動(dòng)物，所以通過(guò)捏臉創(chuàng)造出的形象，我們可以帶給別人不同的感受，留下我們想讓別人對(duì)我們留下的印象，去打破我們真實(shí)長(zhǎng)相的局限。對(duì)自己長(zhǎng)相不自信的人，也許可以通過(guò)這個(gè)功能得到心理層面的一種滿(mǎn)足，去達(dá)到自己希望達(dá)到的狀態(tài)。就算我選擇丑的形象，也是我的一種視覺(jué)表達(dá)。雖然形象不同，但是其中的文字和情緒等等還是我自己。

而站在產(chǎn)品的角度，我認(rèn)為用戶(hù)對(duì)于智能捏臉的最基礎(chǔ)、最核心訴求其實(shí)是“一鍵操作”。到底是追求好看還是特別，是真實(shí)的還是二次元的，這和客戶(hù)群體有關(guān)。比如PC端游的用戶(hù)對(duì)高清和真實(shí)的需求就高于手機(jī)端用戶(hù)。對(duì)于風(fēng)格來(lái)說(shuō)，更是沒(méi)有辦法一概而論。用戶(hù)最喜歡的其實(shí)是操作簡(jiǎn)易化，不管是哪種形象，首先就需要操作簡(jiǎn)單，上傳照片之后馬上就能生成出我想要的捏臉結(jié)果。

我之前是做人臉特效版面，比如美顏美型還有貼圖，大多用于短視頻和直播產(chǎn)品，對(duì)人類(lèi)底層檢測(cè)這一塊是比較熟悉的，相對(duì)智能捏臉會(huì)比較基礎(chǔ)和常規(guī)。而捏臉AI從識(shí)別檢測(cè)深入到個(gè)人模型的生成，一系列推進(jìn)都會(huì)非常的有趣，因?yàn)樗那闆r多種多樣，需要我們想出各種解決方案。

作為智能捏臉的產(chǎn)品側(cè)，我們需要不斷地去收集市場(chǎng)方面的熱點(diǎn)和趨勢(shì)，還有用戶(hù)的新需求。有時(shí)候我們?nèi)ツ罅艘粋€(gè)很奇怪的形象，比如用人臉捏了一個(gè)皮卡丘，就有人可能會(huì)覺(jué)得這么丑你們?yōu)槭裁匆ツ?？但是從產(chǎn)品的角度其實(shí)是要去嘗試這種五花八門(mén)的東西，因?yàn)橛脩?hù)是不能局限的，他們的接受度是很高的，我們的系統(tǒng)開(kāi)放性大了，用戶(hù)也會(huì)去做更多的闡釋。

比如說(shuō)現(xiàn)在，我們《永劫無(wú)間》這款游戲中最新的捏臉效果從檢測(cè)能力到生成能力一體化都有很大的提高?，F(xiàn)在網(wǎng)上最熱門(mén)一個(gè)點(diǎn)就是說(shuō)《永劫無(wú)間》有打破人臉格局，在做一些開(kāi)放式的捏臉效果和分享，比如說(shuō)孫悟空，伏地魔，阿凡達(dá)這類(lèi)非真人人臉的捏臉的效果，達(dá)成了玩法上的突破。

我們經(jīng)常會(huì)給開(kāi)發(fā)提一些想法，他們會(huì)根據(jù)這些對(duì)系統(tǒng)做訓(xùn)練和迭代，其實(shí)這對(duì)于他們來(lái)說(shuō)也是一種挑戰(zhàn)。比如給他提一些夸張的卡通形象，那么捏臉和生成的時(shí)候怎么樣這個(gè)形象能不穿模，或者像膚色、胡子這種怎么能更像真人。

除此之外，我們現(xiàn)在上傳的圖像是靜態(tài)的、單幀的，我們會(huì)要求用戶(hù)上傳正面的人臉外露的照片，那這樣捏出的形象是不全面的。比如也許我正面鼻梁高的效果是通過(guò)我的化妝技術(shù)達(dá)成的，我的鼻子原本是比較扁平的。為了解決這個(gè)問(wèn)題，我們現(xiàn)在在做的是通過(guò)導(dǎo)入多角度的序列幀圖像，去生成一個(gè)更立體的捏臉結(jié)果。其他研究還有關(guān)于如何生成更自然的頭發(fā)方面的策劃。

頭發(fā)也是一個(gè)比較難攻克的課題，想要重建后的頭發(fā)做到百分百相似，需要解決很多問(wèn)題，比如物理動(dòng)效的問(wèn)題，還有頭發(fā)構(gòu)建出來(lái)是成片，成縷還是成發(fā)絲，這些不同的生成結(jié)果對(duì)于系統(tǒng)性能的要求也是不一樣的。在生成之后，它的物理動(dòng)效，即如何讓頭發(fā)跟隨你的狀態(tài)自然帶動(dòng)，又是一個(gè)難題。目前我們的系統(tǒng)對(duì)于生成頭發(fā)還是以素材匹配的角度，去重構(gòu)一個(gè)面數(shù)較少的相似發(fā)型，之后會(huì)再去向精度更高，跟隨效果更好的方向迭代。我們需要明確現(xiàn)在產(chǎn)品階段的訴求和目標(biāo)，去做一個(gè)清晰的規(guī)劃，帶動(dòng)大家都往這個(gè)方向走。

未來(lái)，結(jié)合我們現(xiàn)在的ai、互聯(lián)網(wǎng)、虛擬現(xiàn)實(shí)和區(qū)塊鏈的技術(shù)，虛擬角色怎么樣打破真實(shí)世界的隔閡，在虛擬世界中怎么樣進(jìn)行交流娛樂(lè)，如何讓我們更有沉浸感，這都是我們需要去探索的方向。我覺(jué)得我們?cè)谶@方面有一個(gè)天然的優(yōu)勢(shì)，就是娛樂(lè)是人們自然生發(fā)的欲望，是人們天然就會(huì)感興趣的、會(huì)去做的事情，所以沉浸式游戲，可以說(shuō)是元宇宙的第一步。雖然過(guò)程中可能會(huì)出現(xiàn)很多難點(diǎn)，但我們會(huì)盡力去推進(jìn)它的實(shí)現(xiàn)，這不僅是我們的工作，也是世界未來(lái)的一個(gè)大方向。

（本文首發(fā)鈦媒體APP，作者｜李如嘉）

關(guān)鍵詞： 玩家 捏臉 ai 游戲 虛擬世界 智能 系統(tǒng) 算法 照片 人臉