鈦媒體12月8日消息，鵬城實(shí)驗(yàn)室與百度聯(lián)合召開發(fā)布會，正式發(fā)布雙方共同研發(fā)的全球首個知識增強(qiáng)千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan）。同時，百度產(chǎn)業(yè)級知識增強(qiáng)大模型“文心”全景圖首次亮相。

鵬城-百度·文心大模型發(fā)布

鵬城-百度·文心的關(guān)鍵詞是“全球首個知識增強(qiáng)千億大模型”，該模型參數(shù)規(guī)模達(dá)到2600億，是目前全球最大中文單體模型，在機(jī)器閱讀理解、文本分類、語義相似度計算等60多項(xiàng)任務(wù)取得最好效果，并在30余項(xiàng)小樣本和零樣本任務(wù)上刷新基準(zhǔn)。

據(jù)了解，百度文心已大規(guī)模應(yīng)用于百度搜索、信息流、智能音箱等互聯(lián)網(wǎng)產(chǎn)品，同時通過百度智能云對外輸出，例如在金融領(lǐng)域，基于百度文心實(shí)現(xiàn)了合同智能解析，能夠在1分鐘內(nèi)完成對相關(guān)合同條款文本的解析識別，速度是之前的幾十倍，大大提升了工作效率。百度智能云的智能客服也基于百度文心提升了服務(wù)的精準(zhǔn)性，目前已經(jīng)在中國聯(lián)通、浦發(fā)銀行等企業(yè)應(yīng)用，拓展到全國各地。

在鵬城和百度的合作中，鵬城實(shí)驗(yàn)室主要提供算力系統(tǒng)“鵬城云腦Ⅱ”，百度主要依托于飛槳深度學(xué)習(xí)平臺開展工作?！谤i城云腦Ⅱ”是國產(chǎn)自主的首個E級AI算力平臺，曾在多個國際性能測試上獲得冠軍；飛槳是我國首個自主研發(fā)的深度學(xué)習(xí)開源開放平臺，研制了端到端自適應(yīng)分布式訓(xùn)練框架，實(shí)現(xiàn)多硬件支持，并行效率高達(dá)90%，有效支持鵬城-百度·文心千億大模型高效、穩(wěn)定地訓(xùn)練。

“文心”全景圖

雙方聯(lián)手解決了超大模型訓(xùn)練的多個公認(rèn)技術(shù)難題，使鵬城-百度·文心訓(xùn)練效率大幅提升，模型效果更優(yōu)。

中國工程院院士、鵬城實(shí)驗(yàn)室主任高文表示，“預(yù)訓(xùn)練模型對整個科學(xué)的發(fā)展、社會的發(fā)展、創(chuàng)新的發(fā)展都是非常重要的工具。運(yùn)用這個工具，可以幫助做很多人工智能的賦能，不局限于某個領(lǐng)域，這對人工智能的發(fā)展都是一個福音。”

百度首席技術(shù)官王海峰介紹，百度知識增強(qiáng)大模型從大規(guī)模知識和海量數(shù)據(jù)中融合學(xué)習(xí)，效率更高，效果更好，具有良好的可解釋性。從2019年3月發(fā)布文心ERNIE 1.0，到最新的產(chǎn)業(yè)級知識增強(qiáng)大模型文心全景圖，既包含基礎(chǔ)通用的大模型，也包含面向重點(diǎn)領(lǐng)域、重點(diǎn)任務(wù)的大模型，以及豐富的工具與平臺，有助于促進(jìn)技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展。

此外，為解決大模型應(yīng)用落地難題，百度團(tuán)隊首創(chuàng)大模型在線蒸餾技術(shù)，模型參數(shù)壓縮率可達(dá)99.98%。壓縮版模型僅保留0.02%參數(shù)規(guī)模就能與原有模型效果相當(dāng)，有助于加速產(chǎn)業(yè)大規(guī)模的應(yīng)用。

會上鵬城實(shí)驗(yàn)室與百度還成立了鵬城-百度自然語言處理聯(lián)合實(shí)驗(yàn)室，在自然語言處理前沿研究和創(chuàng)新應(yīng)用方面協(xié)同攻關(guān)。鵬城-百度·文心有望進(jìn)一步解決 AI 技術(shù)在產(chǎn)業(yè)應(yīng)用中缺乏領(lǐng)域和場景化數(shù)據(jù)等關(guān)鍵難題，該模型代碼近期會在OpenI啟智社區(qū)開源，依托鵬城云腦Ⅱ?qū)ν忾_放。百度文心也會通過百度飛槳平臺陸續(xù)對外開源開放。

關(guān)鍵詞： 模型 百度 文心 鵬城-百度 鵬城實(shí)驗(yàn)室 鵬城 參數(shù) 鈦媒體