博雯 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

這下真的是萬(wàn)物皆可JOJO化了！

本來(lái)就神采飛揚(yáng)的馬斯克，下一刻更是仿佛要直接“我不做人啦！”

世界名畫蒙娜麗莎神秘優(yōu)雅的微笑，似乎也變得JO灼了起來(lái)……

再來(lái)個(gè)同一次元的……團(tuán)長(zhǎng)你在做什么啊團(tuán)長(zhǎng)！

而上面這些效果只要打開網(wǎng)頁(yè)Demo，點(diǎn)擊上傳任意本地圖片就能實(shí)現(xiàn)。

這就一下子引來(lái)了大批網(wǎng)友的圍觀，不僅推特?zé)岫?strong>800+，在線試玩的抱抱臉（Hugging Face）還排起了隊(duì)，一張照片最多要等四五分鐘。

還不僅JOJO一種風(fēng)格，還有迪士尼風(fēng)、英雄聯(lián)盟風(fēng)……輸入任意一種風(fēng)格的圖像，都可以將這種風(fēng)格快速應(yīng)用到新的圖片上：

看這楚楚可憐的卡姿蘭大眼睛，以及天真無(wú)邪的公主笑，我只想說(shuō)……老馬，快收了神通吧！

在線JO化任意人像

看了上面的演示，是不是自己也想整一個(gè)JO化臉？

我們用開發(fā)者提供的Hugging Face和Colab來(lái)試一下。

首先是在線網(wǎng)頁(yè)版的Hugging Face，點(diǎn)擊左邊框中空白處就能把任意本地照片丟進(jìn)去：

再點(diǎn)Submit，等個(gè)十幾秒……站在你面前的不是別人，而是ko no肌肉金輪大司馬噠！

這個(gè)方法點(diǎn)開鏈接就能即傳即玩。不過(guò)雖然簡(jiǎn)單快捷，但偶爾還是要排隊(duì)等個(gè)幾分鐘：

所以強(qiáng)烈安利colab版本，向test_input文件夾中導(dǎo)入任意圖像，比如我們這里放入一張冰冰，然后點(diǎn)擊運(yùn)行：

再繼續(xù)運(yùn)行下面的生成模塊：

把我的冰冰女神JOJO化，這也在你的算計(jì)之中嗎GAN !

而且，colab中還提供了另一種玩法：導(dǎo)入一張任意風(fēng)格的圖片，自己制作一個(gè)XX風(fēng)格生成器。

嗯……這不得整一個(gè)提瓦特大陸版的馬斯克？

上傳一張老馬的正經(jīng)圖：

再在style_images文件夾中上傳一張?jiān)耧L(fēng)格的人像：

（上傳偏二次元風(fēng)格的圖像可能會(huì)出現(xiàn)“找不到人臉”的情況，需要多試幾張圖）

然后進(jìn)行微調(diào)，等待幾分鐘，再點(diǎn)運(yùn)行：

這個(gè)堅(jiān)毅的眼神，再配上原圖里老馬的那個(gè)遠(yuǎn)眺抱胸的姿勢(shì)，感覺下一秒就能來(lái)句天動(dòng)萬(wàn)象了！

通過(guò)GAN反轉(zhuǎn)獲取近似風(fēng)格

那么，這種方法到底是怎么做到只參考一張圖片，就能完美學(xué)習(xí)其美術(shù)風(fēng)格，再將其運(yùn)用到其他圖像上呢？

我們一起來(lái)看看這個(gè)叫做JoJoGan的模型。

它主要是通過(guò)GAN反轉(zhuǎn)（inversion）來(lái)獲取近似風(fēng)格的，主要工作流程分四步：

通過(guò)GAN將參考風(fēng)格圖像反轉(zhuǎn)為近似的配對(duì)訓(xùn)練數(shù)據(jù)，得到相應(yīng)的風(fēng)格化的代碼；

根據(jù)風(fēng)格化代碼生成真實(shí)的人臉圖像，并與參考風(fēng)格圖像相匹配，形成成對(duì)的數(shù)據(jù)作為配對(duì)訓(xùn)練集；

基于這些成對(duì)的訓(xùn)練數(shù)據(jù)，對(duì)StyleGAN進(jìn)行微調(diào)；

使用微調(diào)后的StyleGAN生成新的樣本。

開發(fā)者表示，這一模型非常關(guān)注零監(jiān)督下的風(fēng)格細(xì)節(jié)，并且在不同風(fēng)格中具有良好的通用性，能夠輕松泛化到其他風(fēng)格的圖像上。

從二次元到技術(shù)宅

開發(fā)者M(jìn)in Jin Chong也是我們的老熟人了，之前曾經(jīng)搞過(guò)二次元老婆生成器：

Min Jin Chong本人本科畢業(yè)于美國(guó)伊利諾伊大學(xué)厄巴納-香檳分校（UIUC），后繼續(xù)留校讀博，主要研究領(lǐng)域?yàn)闄C(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和圖像生成。

此前他曾在字節(jié)實(shí)習(xí)過(guò)3個(gè)月，現(xiàn)在與兩位同校學(xué)生一起創(chuàng)立了一個(gè)叫做Style Space的時(shí)尚購(gòu)物應(yīng)用，允許用戶在虛擬空間中試用和購(gòu)買產(chǎn)品。

而他的導(dǎo)師David Forsyth則是一位CV領(lǐng)域的大牛，曾與Jean Ponce著有計(jì)算機(jī)視覺經(jīng)典教材《Computer Vision：A Modern Approach》：

關(guān)鍵詞： 圖像 馬斯克 gan 風(fēng)格 開發(fā)者 量子位 智能汽車 老馬 生成器