小紅書變了。

你以為它還在“美妝”、“穿搭”，但現(xiàn)在在社交媒體上，關(guān)于小紅書的不少說法畫風卻有些令人意外。

儼然有了那么一點“搜索引擎”的味道。

這是發(fā)生了甚么事？

扒了扒數(shù)據(jù)，我們發(fā)現(xiàn)，去年一年，小紅書科技數(shù)碼內(nèi)容同比增長500%、體育賽事同比增長1140%，美食類消費DAU甚至一度超過美妝。

而在小紅書的首頁，下拉菜單中的品類標簽已經(jīng)多達30多個。做菜教程、居家指南、戶外露營、旅游攻略、考研考公甚至是創(chuàng)業(yè)，其內(nèi)容之廣泛，早已遠超當年安身立命的美妝賽道。

更有意思的一個數(shù)據(jù)是，小紅書此前對外披露，有高達30%的用戶進入到小紅書之后會直接進行搜索。

也就是說，不斷泛化的UGC內(nèi)容正在不斷沖擊突破小紅書的社區(qū)內(nèi)容版圖，而隨之而來的用戶行為，也已完全不同于外界對小紅書的固有想象。

從外界看去，小紅書的變化不可謂不大。從內(nèi)部技術(shù)的角度出發(fā)，面臨的挑戰(zhàn)其實也正在成倍遞增。

內(nèi)容泛化和高頻搜索，加上圖片、文字、視頻等不同模態(tài)內(nèi)容混雜，對搜索和推薦優(yōu)化來說都提出了更高的要求。

再者，互聯(lián)網(wǎng)用戶對于內(nèi)容質(zhì)量的要求日益提升，要求平臺、機器能更進一步把握用戶心理的需求始終都在增長。

所以，背后愈加復(fù)雜的搜索、推薦機制，應(yīng)該如何應(yīng)對？

內(nèi)容社區(qū)的多模態(tài)挑戰(zhàn)

作為為數(shù)不多的大量圖文+短視頻混雜的內(nèi)容社區(qū)，小紅書給出的關(guān)鍵詞是：多模態(tài)學習。

所謂多模態(tài)，指的是文本、圖像、聲音等不同的信息表現(xiàn)形式。

而多模態(tài)學習，要做的就是建立起能把不同類型信息結(jié)合起來的統(tǒng)一模型。

簡單來說，一旦AI能夠?qū)⒉煌螒B(tài)的信息，如圖像和文字融會貫通，就能在“理解”這件事上更進一步。

也就能達成這樣的效果：

讓AI根據(jù)“空中天使，虛幻引擎效果”的提示作畫，AI會給出如下答案。

如果說AI看文作畫還只是讓人覺得“不明覺厲”，多模態(tài)技術(shù)對于互聯(lián)網(wǎng)產(chǎn)品更實際的意義究竟在何處？

就在最近，小紅書技術(shù)團隊舉辦的一場對外的AI公開課，就分享了他們在多模態(tài)算法上的探索。從中恰好可以一窺當前學術(shù)界熱度正酣的“多模態(tài)學習” + 擁有海量UGC內(nèi)容的內(nèi)容社區(qū)會產(chǎn)生怎樣的化學反應(yīng)。

多模態(tài)搜索

先來看搜索。

在打開小紅書搜索結(jié)果頁時，App還會給用戶推薦更多相關(guān)的搜索詞：

以往，這些查詢詞是純文本的形式。

而在應(yīng)用多模態(tài)技術(shù)之后，現(xiàn)在，這些查詢詞多了一層更美觀且有關(guān)聯(lián)性的“底圖”。也就是說，AI會自動篩選出與查詢詞相匹配的圖案，并在搜索結(jié)果界面展示給用戶。

別看只是這么一個簡單的改變，小紅書多模算法組負責人湯神透露，加入該功能后，UVCTR（獨立訪客點擊率）和PVCTR（頁面瀏覽量點擊率）提升了2-3倍。

除此之外，多模態(tài)技術(shù)在搜索中的另一重點體現(xiàn)，就是以圖搜圖。

有關(guān)商品、植物花卉等特定物品的圖片搜索，并不鮮見。不過，如果用戶想要搜索的是某種氛圍感、某種整體風格呢？

這實際上是給AI提出了一個新的挑戰(zhàn)：復(fù)雜環(huán)境下的物體檢測與識別。

△搜表情包

為了解決這個問題，小紅書技術(shù)團隊以三個核心模塊實現(xiàn)了離線構(gòu)建和在線索引的能力：

前置模塊

特征大規(guī)模檢索

排序模塊

在前置模塊中，技術(shù)團隊研發(fā)了多種多模態(tài)標簽，覆蓋目標檢測、主題識別、商品屬性、人體屬性等諸多維度。

在特征模塊中，技術(shù)團隊通過基于Norm Classifier的多任務(wù)學習，解決了召回結(jié)果類目不一致的問題。

在排序模塊中，技術(shù)團隊利用OCR以及標題中抽取出的品牌詞等NLP相關(guān)信息，進行多模態(tài)信息集成，顯著提升了檢索準確率。

內(nèi)容質(zhì)量評價體系

而如果說搜索的變化更容易被看見，多模態(tài)技術(shù)在內(nèi)容質(zhì)量評價中的應(yīng)用，則在更深層次上影響著小紅書的整體“畫風”。

去年7、8月份開始，在給各種筆記打類目標簽、構(gòu)建純分類多模態(tài)系統(tǒng)的基礎(chǔ)上，小紅書技術(shù)團隊開始更多關(guān)注到筆記內(nèi)容質(zhì)量評價體系的建立。

也就是說，讓AI學會去判斷什么樣的筆記更“有用”、更具美學價值。

為此，小紅書技術(shù)團隊列舉了兩個比較核心的基礎(chǔ)原子能力：

封面圖畫質(zhì)美學模型

多模態(tài)筆記質(zhì)量分模型

前文提到的搜索推薦詞底紋圖片，其實也是基于這樣的基礎(chǔ)能力實現(xiàn)的。另外，依托于這套內(nèi)容質(zhì)量評價體系，還能實現(xiàn)圖文、視頻等不同種類筆記的結(jié)構(gòu)化，搜索結(jié)果頁的去重等等優(yōu)化功能。

說了這么多，簡單總結(jié)一下，多模態(tài)技術(shù)在業(yè)務(wù)場景中的應(yīng)用，對于小紅書最大的影響就是：讓優(yōu)質(zhì)的內(nèi)容能更容易被需要的人看到，讓呈現(xiàn)在用戶眼前的整體畫風和內(nèi)容審美得到提升。

如此一來，對于一個以UGC為主的社區(qū)來說，用戶與內(nèi)容生產(chǎn)者之間的正向循環(huán)也就更容易達成，對于整體的社區(qū)氛圍而言無疑是有利的。

這也正是其筆記內(nèi)容越來越多元，用戶構(gòu)成越來越多元的關(guān)鍵所在。

小紅書為什么會變？

前文已經(jīng)說到，小紅書“畫風”的優(yōu)化，與當下整個互聯(lián)網(wǎng)工業(yè)界的技術(shù)新趨勢不無關(guān)系。

現(xiàn)在，圖文內(nèi)容和短視頻內(nèi)容在社交媒體上已然成為主流，而傳統(tǒng)的單一模態(tài)，顯然已經(jīng)難以完整描述這些文本、圖像、聲音交匯的信息。

融合多個模態(tài)的特征信息，逐漸成為各種實際應(yīng)用場景，尤其是搜索、推薦等對內(nèi)容理解有著高要求的領(lǐng)域中普遍存在的新挑戰(zhàn)。

而小紅書本身在場景和業(yè)務(wù)角度，早已具備關(guān)鍵條件和迫切需求。

首先，從場景角度來看，小紅書上發(fā)布的內(nèi)容以圖文和視頻為主，天然擁有海量多模態(tài)數(shù)據(jù)。

并且，這些多模態(tài)數(shù)據(jù)背后，還配套有豐富的用戶反饋數(shù)據(jù)。

其次，業(yè)務(wù)高速發(fā)展中的小紅書會面臨各種corner case。比如用戶發(fā)布的內(nèi)容，不僅涵蓋美食、美妝、家居、科技產(chǎn)品等等諸多不同的類目，還可能出現(xiàn)只有圖片的沒有文字的筆記、圖片+音樂的筆記、沒有標題的短視頻等等情況。

而這些新的挑戰(zhàn)和獨一無二的多模態(tài)應(yīng)用場景，也恰恰給多模態(tài)技術(shù)的落地提供了充足的空間。

從對內(nèi)滿足業(yè)務(wù)需求到對外輸出

實際上，為了應(yīng)對用戶需求的變化，小紅書內(nèi)部技術(shù)的積累展開得更早。并且如今已經(jīng)發(fā)展到了一個從對內(nèi)滿足業(yè)務(wù)需求，到對外實現(xiàn)技術(shù)輸出的新階段。

比如今年，小紅書技術(shù)團隊就中了2篇CVPR論文，分別涉及視頻檢索和視頻內(nèi)容理解。

而就在這兩天，小紅書還對外開啟了“AI公開課”，上海交大、北航、上科大的博導(dǎo)教授都參與其中，著實吸引了不少來自學界的關(guān)注。

這場名為“REDtech來了”的線上直播，主題正是關(guān)注多模態(tài)在學界和工業(yè)界的最新發(fā)展趨勢。

在4月20日舉辦的上半場活動中，北京航空航天大學教授、博導(dǎo)劉偲，上?？萍即髮W信息學院副教授、博導(dǎo)高盛華，上海交通大學電子信息與電氣工程學院副教授、博導(dǎo)謝偉迪，以及小紅書多模算法組負責人湯神，圍繞多模態(tài)內(nèi)容理解展開技術(shù)分享。

除了前文提到的小紅書多模態(tài)技術(shù)實踐詳情，還有“AI+音樂”、“跨模態(tài)圖像內(nèi)容理解和視頻生成”，以及“自監(jiān)督學習在多模態(tài)內(nèi)容理解中的技術(shù)與應(yīng)用”等諸多干貨分享。

而針對當前多模態(tài)研究的產(chǎn)學研現(xiàn)狀，大咖們也分享了不少精彩觀點。

謝偉迪老師談到：

“每個模態(tài)中含有不同的不變性和共存性。例如，在文字中，當我們提及“吉他”，它可能對應(yīng)著視覺中的成千上萬種不同樣子的吉他。我們聽見狗叫的時候，很大概率也會在視覺上看見狗。

因此，合理地利用不同模態(tài)數(shù)據(jù)的特性進行協(xié)同訓(xùn)練，能夠?qū)崿F(xiàn)更加高效的表征學習，向下游推理任務(wù)進行泛化?！?/p>

“弱相關(guān)的數(shù)據(jù)集，就是相關(guān)性問題，并沒有弱相關(guān)的問題，如果做機器學習的話，一定是從輸入到輸出，中間就是學了一些function而已?！?/p>

“模態(tài)之間的不對齊一定不是弱相關(guān)，一定是會有很強的相關(guān)性，不然的話，網(wǎng)絡(luò)學不出來。當然我們現(xiàn)在想嘗試去做因果性，大部分我們認為的因果性，很多都是由相關(guān)性來決定的?！?/p>

當然啦，除了內(nèi)容理解，隨著多模態(tài)學習研究熱潮而備受關(guān)注的，還有AI內(nèi)容創(chuàng)作，也就是包括數(shù)字人技術(shù)在內(nèi)的多模態(tài)人機交互。

比如最近，就有一個名為“Dream by WOMBO”的AI看文作圖工具，連續(xù)多日登上Apple Store圖形和設(shè)計區(qū)榜第一。

而這也正是小紅書在探索的另一大多模態(tài)技術(shù)方向。

關(guān)鍵詞： 小紅書技