沒有好問題，就沒有好答案：

為什么OpenAI的成立初衷就要與谷歌競爭？

微軟看重了OpenAI技術(shù)的哪些價值？

(資料圖)

OpenAI 人數(shù)少、資源少，為什么能勝出？

讓計算機像人一樣說人話，是在計算機發(fā)明之前的夢想。

雖然早在1966年，MIT的教授約瑟夫·維森班（Joseph Weizenbaum）就開發(fā)了第一個聊天程序 ELIZA，50多年后，還陸續(xù)出現(xiàn)了更先進的微軟小冰、Siri等聊天程序。但直到現(xiàn)在，計算機還沒能像真人一樣聊天。

1950年，計算機科學之父艾倫·圖靈(Alan Turing)發(fā)表了具有里程碑意義的論文《電腦能思考嗎？》，第一次提出“機器思維”的概念。也就是所謂的圖靈測試。他說，如果一臺機器能夠與人類展開對話，而不被辨別出其機器身份，那么可以說這臺機器具有智能。

從那時開始，72年來，人類一直在試圖解決這個問題。

6月8日，英國雷丁大學在著名的倫敦皇家學會舉辦了一場“圖靈測試”。當天測試中，一組人類裁判以鍵盤輸入的形式與電腦“對話”。如果裁判認定電腦為人的比例超過30％，則電腦通過測試。5個參賽電腦程序之一的“尤金·古茲曼”成功“偽裝”成一名13歲男孩，在一次時間為5分鐘的文字交流中，回答了裁判輸入的所有問題，其中33％的回答讓裁判認為與他們對話的是人而非機器。

有人說，這個程序通過了圖靈測試，成為有史以來第一個具有人類思考能力的人工智能。

也有人質(zhì)疑，這個測試的提問時間少，裁判少，嚴格來說，不能算通過了圖靈測試。

大家的共識是，到目前為止，還沒有任何人工智能通過了圖靈測試，而最接近通過圖靈測試的就是ChatGPT。

許多人認為，對ChatGPT這個每天都在跟人對話中學習的AI來說，通過圖靈測試應(yīng)該只是時間問題。

ChatGPT是什么？

2022 年 11 月 30 日，OpenAI 的CEO，Altman 在推特上寫道：“今天我們推出了 ChatGPT，嘗試在這里與它交談”，然后是一個鏈接，任何人都可以注冊一個帳戶，開始免費與 OpenAI 的新聊天機器人 ChatGPT 交談。

ChatGPT 能夠回答連續(xù)的問題、生成文本摘要、翻譯文檔、對信息分類、寫代碼等，它也會承認錯誤、質(zhì)疑不正確的前提并拒絕不恰當?shù)恼埱蟆?/p>

ChatGPT 看起來什么都懂，就像個百科全書。由于其流暢的回答，豐富的知識，給參與者極大的震撼。但它并不完美，也會產(chǎn)生讓人啼笑皆非的錯誤，帶來莫名的喜感。

在24小時內(nèi)，一大群人涌入網(wǎng)站，給 ChatGPT提了各種要求。軟件 CEO 兼工程師 Amjad Masad 要求它調(diào)試他的代碼，它做到了。美食博主兼網(wǎng)紅Gina Homolka用它寫了一份健康巧克力曲奇的食譜。Scale AI 的工程師 Riley Goodside 要求它為Seinfeld劇集編寫劇本。Guy Parsons 是一名營銷人員，他還經(jīng)營著一家致力于 AI 藝術(shù)的在線畫廊，他讓它為他編寫提示，以輸入另一個 AI 系統(tǒng)Midjourney，從文本描述創(chuàng)建圖像。斯坦福大學醫(yī)學院的皮膚科醫(yī)生 Roxana Daneshjou 在研究 AI 在醫(yī)學上的應(yīng)用，它提出了醫(yī)學問題，許多學生用它來做作業(yè)......。

以前也出現(xiàn)過很多聊天機器人，但都不是這樣的。ChatGPT 可以進行長時間、流暢的對話，回答問題，并撰寫人們要求的幾乎任何類型的書面材料，包括商業(yè)計劃、廣告活動、詩歌、笑話、計算機代碼和電影劇本。ChatGPT 會在一秒內(nèi)生成這些內(nèi)容，用戶無須等待，而且它生成的很多內(nèi)容都還不錯。

在ChatGPT發(fā)布后的五天內(nèi)，就有超過100萬的玩家，這是Facebook花了 10 個月才達到的里程碑。

自從 ChatGPT 出現(xiàn)后。突然之間，每個人都在談?wù)撊斯ぶ悄苋绾晤嵏菜麄兊墓ぷ?、公司、學校和生活。

ChatGPT 是相關(guān)人工智能技術(shù)浪潮的一部分，這些技術(shù)統(tǒng)稱為“生成式人工智能”——其中還包括熱門的藝術(shù)生成器，如 Midjourney 和 Lensa。OpenAI處于科技行業(yè)下一件大事件的最前沿，具有初創(chuàng)公司史詩般的標志，包括全明星陣容和狂熱的投資者，據(jù)報道，該公司的估值達到 290 億美元。

2022年12月4日，埃隆·馬斯克 (Elon Musk)發(fā)了一條推文，他說：“ChatGPT有一種讓人毛骨悚然的厲害，我們離危險的強大人工智能已經(jīng)不遠了?！?/p>

埃隆·馬斯克在Twitter上對ChatGPT的評價

ChatGPT 由 GPT-3.5 模型提供支持，GPT（Generative Pre-trained Transformer ，生成式預(yù)訓練變換器) 是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓練的文本生成深度學習模型。名字中之所以有一個Transformer，是因為GPT就是OpenAI在谷歌的Transformer語言模型框架的基礎(chǔ)上構(gòu)建的。

該模型使用了 " 利用人類反饋強化學習(RLHF)" 的訓練方式,包括了：人類提問機器答、機器提問人類回答，并且不斷迭代，讓模型逐漸有了對生成答案的評判能力。

在ChatGPT出現(xiàn)之前，大眾對OpenAI的了解很少，這家公司就好像突然出現(xiàn)的一樣，它到底是什么來歷？

實際上，OpenAI的創(chuàng)始人有很多是的IT巨頭的創(chuàng)始人，可以說是全明星陣容。

2015年12月，OpenAI創(chuàng)立

2015年12月，OpenAI公司于美國舊金山成立。說來有趣，OpenAI成立的一個原因就是避免谷歌在人工智能領(lǐng)域的壟斷。這個想法起源于Altman發(fā)起的一次主題晚宴，當時他是著名創(chuàng)業(yè)孵化器 Y Combinator 的負責人。

Sam Altman 是一位年輕的企業(yè)家和風險投資家，他曾在斯坦福大學讀計算機科學專業(yè)，后來退學去創(chuàng)業(yè)。他創(chuàng)立的 Loopt ，是一個基于地理位置的社交網(wǎng)絡(luò)公司。2005年該公司進入Y Combinator的首批創(chuàng)業(yè)公司。雖然 Loopt 未能成功，但 Altman 把公司賣掉了，用賺到的錢進入了風險投資領(lǐng)域，做得相當成功。后來，Y Combinator 的聯(lián)合創(chuàng)始人保羅·格雷厄姆 (Paul Graham) 和利文斯頓 (Livingston) 聘請他作為格雷厄姆的繼任者來管理 YC。

OpenAI的CEO Sam Altman

2015 年 7 月的一個晚上，Altman在 Rosewood Sand Hill 舉辦了一場私人晚宴，這是一家豪華的牧場風格酒店，位于門洛帕克硅谷風險投資行業(yè)的中心， 馬斯克（Elon Musk）也在現(xiàn)場，還有26歲的布羅克曼，他是麻省理工學院（MIT）的輟學生，曾擔任支付處理初創(chuàng)公司Stripe的首席技術(shù)官。一些與會者是經(jīng)驗豐富的人工智能研究人員。有些人幾乎不懂機器學習，但他們都相信 AGI 是可行的。

AGI即Artificial general intelligence的簡寫，指通用人工智能。專注于研制像人一樣思考、像人一樣從事多種用途的機器智能。目前主流AI（如機器視覺、語音輸入等）都屬于專用人工智能。

那時，谷歌剛剛收購了一家總部位于倫敦的人工智能公司DeepMind（就是推出了打敗圍棋冠軍的AlphaGo的公司），在Altman、Elon Musk和其他科技業(yè)內(nèi)部人士看來，這是首家最有可能率先開發(fā) AGI 的公司。如果 DeepMind 成功了，谷歌可能會壟斷這項無所不能的技術(shù)。Rosewood 晚宴的目的是討論組建一個與谷歌競爭的實驗室，以確保這種情況不會發(fā)生。

說干就干，幾個月后，OpenAI 就成立了。它旨在成為DeepMind 和谷歌無法做到的一切。它將作為一個非營利組織運營，明確致力于使先進人工智能的好處民主化。它承諾發(fā)布其研究成果，并開源其所有技術(shù)，其對透明度的承諾體現(xiàn)在其名稱中：OpenAI。

OpenAI 捐助者名冊令人印象深刻，不僅有特斯拉的創(chuàng)始人馬斯克（Elon Musk），還有全球在線支付平臺 PayPal 的聯(lián)合創(chuàng)始人彼得·蒂爾、Linkedin的創(chuàng)始人里德·霍夫曼、創(chuàng)業(yè)孵化器Y Combinator總裁阿爾特曼（Sam Altman）、Stripe的CTO布羅克曼（Greg Brockman）、Y Combinator 聯(lián)合創(chuàng)始人 Jessica Livingston；還有一些機構(gòu)，如YC Research，Altman創(chuàng)立的基金會、印度 IT 外包公司 Infosys和亞馬遜網(wǎng)頁服務(wù)。創(chuàng)始捐助者共同承諾向這個理想主義的新企業(yè)捐助 10 億美元（盡管根據(jù)稅務(wù)記錄，該非營利組織只收到了引人注目的承諾的一小部分）。

OpenAI 也吸引了許多技術(shù)大牛加入，如 Ilya Sutskever, Carlos Virella, James Greene, Wojciech Zaremb等。

這里重點提一下聯(lián)合創(chuàng)始人Ilya Sutskever，他是OpenAI的首席科學家，在進入OpenAI之前，他在谷歌開發(fā) AlphaGo，而在OpenAI，他帶領(lǐng)團隊開發(fā)了GPT、CLIP、DALL-E和Codex等AI模型。

2016年，OpenAI 推出了Gym，這是一個允許研究人員開發(fā)和比較強化學習系統(tǒng)的平臺，可以教AI做出具有最佳累積回報的決策。

同年，OpenAI還發(fā)布了Universe，這是一個能在幾乎所有環(huán)境中衡量和訓練 AI 通用智能水平的開源平臺，目標是讓 AI 智能體能像人一樣使用計算機。Universe 從李飛飛等人創(chuàng)立的 ImageNet 上獲得啟發(fā)，希望把 ImageNet 在降低圖像識別錯誤率上的成功經(jīng)驗引入到通用人工智能的研究上來，取得實質(zhì)進展。OpenAI Universe提供了跨網(wǎng)站和游戲平臺訓練智能代理的工具包，有1000種訓練環(huán)境，由微軟、英偉達等公司參與建設(shè)。

Universe游戲環(huán)境，用于人類模擬器

雖然在創(chuàng)立后，OpenAI一直在推出技術(shù)產(chǎn)品，看起來也有不錯的成績，但跟谷歌沒法比。在那段時間，谷歌的成績才是真正輝煌。

2016年3月9日，AlphaGo與圍棋冠軍李世石圍棋大戰(zhàn)，最終以4:1勝出。一年之后，新版的AlphaGo又以3:0戰(zhàn)勝了圍棋冠軍柯潔。之后發(fā)布的AlphaZero更是讓人驚嘆，它在三天內(nèi)自學了三種不同的棋類游戲，包括國際象棋、圍棋和日本將軍棋，而且無需人工干預(yù)。這是一種人類從未見過的智慧。

這些成果好像驗證了2015年，大家在聚會上的判斷，谷歌很可能在人工智能領(lǐng)域的形成壟斷地位。確實，從AlphaGo的成功來看，谷歌已經(jīng)牢牢占住了人工智能的高地，無人可以撼動。谷歌還收購了十幾家AI公司，投入的資金和資源巨大，成果斐然。

2016年4月，谷歌著名的深度學習框架TensorFlow發(fā)布分布式版本；8月，Google發(fā)布基于深度學習的NLU框架SyntaxNet； 9月，Google上線基于深度學習的機器翻譯。

而且，谷歌的 CEO 桑德·皮查伊(Sundar Pichai) 在 2016 年 5 月宣布將公司從“移動為先”的策略轉(zhuǎn)變成“人工智能為先”（AI First）。并計劃在公司的每一個產(chǎn)品上都應(yīng)用機器學習的算法。也就是說，谷歌已經(jīng)開始把人工智能技術(shù)變成了自己的業(yè)務(wù)優(yōu)勢，去賺錢或者省錢了。

看起來，OpenAI 離戰(zhàn)勝谷歌的預(yù)期目標還很遠。2017年開始，一些人工智能大牛離開了OpenAI，如Ian Goodfellow 和 Pieter Abbeel 等。

OpenAI的前途在哪里呢？

沒想到，OpenAI 決定與谷歌硬碰硬。竟然在谷歌開創(chuàng)的道路上，取得了震驚業(yè)內(nèi)的突破，持續(xù)推出了GPT系列模型，并迅速拓展到多個富有前景的商業(yè)領(lǐng)域，力壓谷歌一頭。

順便說一下，谷歌的高歌猛進讓微軟也很焦慮。微軟雖然也有一些不錯的人工智能產(chǎn)品，比如語音識別，小冰聊天機器人等，但是還不成體系。

下面我們看看ChatGPT的成長史，了解它是如何在人工智能技術(shù)的競賽中勝出的？

2017年6月，6500萬參數(shù)的 Transformer

2017年6月，谷歌大腦團隊（Google Brain）在神經(jīng)信息處理系統(tǒng)大會（NeurIPS，該會議為機器學習與人工智能領(lǐng)域的頂級學術(shù)會議）發(fā)表了一篇名為“Attention is all you need”《自我注意力是你所需要的全部》的論文。作者在文中首次提出了基于自我注意力機制（self-attention）的變換器（transformer）模型，并首次將其用于理解人類的語言，即自然語言處理。

在這篇文章發(fā)布之前，自然語言處理領(lǐng)域的主流模型是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN，recurrent neural network）。循環(huán)神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點是，能更好地處理有先后順序的數(shù)據(jù)，它被廣泛的用于自然語言處理中的語音識別，手寫識別，時間序列分析以及機器翻譯等領(lǐng)域。但這種模型也有不少缺點：在處理較長序列，例如長文章、書籍時，存在模型不穩(wěn)定或者模型過早停止有效訓練的問題，以及訓練模型時間過長的問題。

而論文中提出的Transformer模型，能夠同時并行進行數(shù)據(jù)計算和模型訓練，訓練時長更短，并且訓練得出的模型可用語法解釋，也就是模型具有可解釋性。

最初的變換器（Transformer）模型的架構(gòu)

谷歌大腦團隊使用了多種公開的語言數(shù)據(jù)集來訓練最初的Transformer模型，一共有6500萬個可調(diào)參數(shù)。

經(jīng)過訓練后，這個最初的Transformer模型在包括翻譯準確度、英語成分句法分析等各項評分上都達到了業(yè)內(nèi)第一，成為當時最先進的大型語言模型（Large Language Model, LLM），其最常見使用場景就是輸入法和機器翻譯。

Transformer模型自誕生的那一刻起，就深刻地影響了接下來幾年人工智能領(lǐng)域的發(fā)展軌跡。

因為谷歌大腦團隊在論文中提供了模型的架構(gòu)，任何人都可以用其搭建類似架構(gòu)的模型來并結(jié)合自己手上的數(shù)據(jù)進行訓練。

于是，Transformer就像其另一個霸氣的名字“變形金剛”一樣，被更多人研究，并不斷地變化。

短短的幾年里，該模型的影響已經(jīng)遍布人工智能的各個領(lǐng)域——從各種各樣的自然語言模型、到預(yù)測蛋白質(zhì)結(jié)構(gòu)的AlphaFold2模型，用的都是它。

2018年6月，1.17億參數(shù)的GPT-1

GPT的問世，是AI進化的另一個偉大的里程碑。

之前的神經(jīng)網(wǎng)絡(luò)模型是有監(jiān)督學習的模型，存在兩個缺點：

需要大量的標注數(shù)據(jù)，高質(zhì)量的標注數(shù)據(jù)往往很難獲得，因為在很多任務(wù)中，圖像的標簽并不是唯一的或者實例標簽并不存在明確的邊界；

根據(jù)一個任務(wù)訓練的模型很難泛化到其它任務(wù)中，這個模型只能叫做“領(lǐng)域?qū)＜摇倍皇钦嬲睦斫饬薔LP。

假如能用無標注數(shù)據(jù)訓練一個預(yù)訓練模型，就能省時省力省錢。

GPT-1的思想是先通過在無標簽的數(shù)據(jù)上學習一個生成式的語言模型，然后再根據(jù)特定任務(wù)進行微調(diào)，處理的有監(jiān)督任務(wù)包括：

自然語言推理：判斷兩個句子是關(guān)系（包含、矛盾、中立）；

問答和常識推理：類似于多選題，輸入一個文章，一個問題以及若干個候選答案，輸出為每個答案的預(yù)測概率；

語義相似度：判斷兩個句子是否語義上市是相關(guān)的；

分類：判斷輸入文本是指定的哪個類別。

將無監(jiān)督學習的結(jié)果用于左右有監(jiān)督模型的預(yù)訓練目標，因此叫做生成式預(yù)訓練（Generative Pre-training，GPT）。這種半監(jiān)督學習方法，由于用大量無標注數(shù)據(jù)讓模型學習“常識”，就無需標注信息了。

2018年6月，在谷歌的 Transformer 模型誕生一周年時，OpenAI公司發(fā)表了論文“Improving Language Understanding by Generative Pre-training”《用生成式預(yù)訓練提高模型的語言理解力》，推出了具有1.17億個參數(shù)的GPT-1（Generative Pre-training Transformers, 生成式預(yù)訓練變換器）模型。

GPT-1 使用了經(jīng)典的大型書籍文本數(shù)據(jù)集（BookCorpus）進行模型預(yù)訓練，之后，又針對四種不同的語言場景、使用不同的特定數(shù)據(jù)集對模型進行進一步的訓練（又稱為微調(diào)，fine-tuning）。最終訓練所得的模型在問答、文本相似性評估、語義蘊含判定、以及文本分類這四種語言場景，都取得了比基礎(chǔ)Transformer模型更優(yōu)的結(jié)果，成為了新的業(yè)內(nèi)第一。

由于 GPT-1 的誕生，這一年也被稱為NLP（自然語言處理）的預(yù)訓練模型元年。

從此以后，自然語言識別的主流模式就是GPT-1這樣的：先在大量無標簽的數(shù)據(jù)上預(yù)訓練一個語言模型，然后再在下游具體任務(wù)上進行有監(jiān)督的fine-tune，以此取得還不錯的效果。

GPT-1 具體是怎么做的呢？

首先，預(yù)訓練模型是用了transformer的decoder部分，利用語言模型的目標來訓練預(yù)訓練模型。

其次，GPT-1 采取預(yù)訓練 + FineTuning兩個階段，它采取Transformer的decoder作為特征抽取器，總共堆疊12個。

預(yù)訓練階段采用“單向語言模型”作為訓練任務(wù)，把語言知識編碼到decoder里。

第二階段，在第一階段訓練好的模型基礎(chǔ)上，將預(yù)訓練模型學習的知識遷移到下游任務(wù)，適配能力強。GPT-1通過統(tǒng)一的表征形式，對下游各種任務(wù)只需要很少的適配，具體適配方式就是加不同的任務(wù)分類頭，另外，對不同任務(wù)的輸入形式做了設(shè)計。

前面說過，GPT-1 適配的下游任務(wù)有自然語言推斷 NLI（natural language inference），問答QA（question answer），語義匹配（semantic similarity），文本分類（text classification）。

下游任務(wù)適配的過程分兩步：1、根據(jù)任務(wù)定義不同輸入，2、對不同任務(wù)增加不同的分類層。

具體定義可以參見下圖：

隨著訓練次數(shù)的增加，GPT-1的性能也逐漸提升，表明GPT-1有非常強的泛化能力，能夠用到和有監(jiān)督任務(wù)無關(guān)的其它NLP任務(wù)中。對于下游任務(wù)的訓練，GPT-1往往只需要簡單的微調(diào)便能取得非常好的效果。

GPT-1在未經(jīng)微調(diào)的任務(wù)上雖然也有一定效果，但是其泛化能力遠遠低于經(jīng)過微調(diào)的有監(jiān)督任務(wù)，說明了GPT-1只是一個簡單的領(lǐng)域?qū)＜?，而非通用的語言學家。

不管怎樣，GPT-1 贏過了 Transformer，成為了業(yè)界的新標桿。OpenAI贏得漂亮！

2018年10月，3億參數(shù)的BERT

2018年10月，谷歌提出3億參數(shù)的BERT（Bidirectional Encoder Representation from Transformers），“來自Transformers的雙向編碼表示”模型。

BERT在機器閱讀理解頂級水平測試SQuAD1.1中表現(xiàn)出驚人的成績: 全部兩個衡量指標上全面超越人類，并且在11種不同NLP測試中創(chuàng)出SOTA表現(xiàn)，包括將GLUE基準推高至80.4% (絕對改進7.6%)，MultiNLI準確度達到86.7% (絕對改進5.6%)，成為NLP發(fā)展史上的里程碑式的模型成就。

據(jù)測試，在同等參數(shù)規(guī)模下，BERT的效果好于GPT-1，因為它是雙向模型，可以利用上下文來分析的。而GPT是單向模型，無法利用上下文信息，只能利用上文。

GPT 學會了猜測句子中的下一組單詞。BERT學會了猜測句子中任何地方缺少的單詞。如果你給BERT幾千個問題和答案，它可以學會自己回答其他類似的問題。BERT也可以進行對話。

從閱讀理解方面來看，BERT模型的提升是很大的。在當時的SQuAD競賽排行榜上，排在前列的都是BERT模型，基本上，閱讀理解領(lǐng)域已經(jīng)被BERT屠榜了。

谷歌的BERT模型完勝。

2019年2月，15億參數(shù)的GPT-2

2019年2月，OpenAI推出了GPT-2，同時，他們發(fā)表了介紹這個模型的論文“Language Models are Unsupervised Multitask Learners” （語言模型是無監(jiān)督的多任務(wù)學習者）。

相比于大哥GPT-1，GPT-2并沒有對原有的網(wǎng)絡(luò)進行過多的結(jié)構(gòu)創(chuàng)新與設(shè)計，只使用了更多的網(wǎng)絡(luò)參數(shù)與更大的數(shù)據(jù)集：最大模型共計48層，參數(shù)量達15億。

GPT-2用于訓練的數(shù)據(jù)取自于Reddit上高贊的文章，命名為WebText。數(shù)據(jù)集共有約800萬篇文章，累計體積約40G。為了避免和測試集的沖突，WebText移除了涉及Wikipedia的文章。

GPT-2 模型是開源的，主要目的是為給定句子生成下一個文本序列。

假如給定一兩個句子的文本提示，GPT-2 就能生成一個完整的敘述。對一些語言任務(wù)，如閱讀、摘要和翻譯，可以通過 GPT-2 學習原始文本，而不需要使用特定領(lǐng)域的訓練數(shù)據(jù)。

在性能方面，除了理解能力外，GPT-2 在文本內(nèi)容生成方面表現(xiàn)出了強大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至生成假新聞、釣魚郵件或在網(wǎng)上進行角色扮演等，通通不在話下。 在“變得更大”之后，GPT-2 的確展現(xiàn)出了普適而強大的能力，并在多個特定的語言建模任務(wù)上實現(xiàn)了那時的最佳性能。

GPT-2的最大貢獻是驗證了通過海量數(shù)據(jù)和大量參數(shù)訓練出來的詞向量模型可遷移到其它類別任務(wù)中，而不需要額外的訓練。

從本質(zhì)上來說，GPT-2就是一個簡單的統(tǒng)計語言模型。從機器學習的角度，語言模型是對詞語序列的概率分布的建模，即利用已經(jīng)說過的片段作為條件預(yù)測下一個時刻不同詞語出現(xiàn)的概率分布。語言模型一方面可以衡量一個句子符合語言文法的程度（例如衡量人機對話系統(tǒng)自動產(chǎn)生的回復(fù)是否自然流暢），同時也可以用來預(yù)測生成新的句子。例如，對于一個片段“中午12點了，我們一起去餐廳”，語言模型可以預(yù)測“餐廳”后面可能出現(xiàn)的詞語。一般的語言模型會預(yù)測下一個詞語是“吃飯”，強大的語言模型能夠捕捉時間信息并且預(yù)測產(chǎn)生符合語境的詞語“吃午飯”。

通常，一個語言模型是否強大主要取決于兩點： 首先看該模型是否能夠利用所有的歷史上下文信息， 上述例子中如果無法捕捉“中午12點”這個遠距離的語義信息，語言模型幾乎無法預(yù)測下一個詞語“吃午飯”。 其次，還要看是否有足夠豐富的歷史上下文可供模型學習，也就是說訓練語料是否足夠豐富 。 由于語言模型屬于無監(jiān)督學習，優(yōu)化目標是最大化所見文本的語言模型概率，因此任何文本無需標注即可作為訓練數(shù)據(jù)。

GPT-2表明隨著模型容量和數(shù)據(jù)量的增大，其潛能還有進一步開發(fā)的空間，但需要繼續(xù)投資才能挖掘潛力。

由于GPT-2的的性能和生成文本能力獲得了很高贊譽，OpenAI又扳回一局。

2019年3月，OpenAI 重組

因為 GPT 系列模型的成功，OpenAI 決定再融資幾十億美元來發(fā)展AI，因為模型越大、參數(shù)越多、訓練AI模型需要的錢也越多，一年花個幾千萬美元來計算是剛性開支。而且，人工智能研究人員的薪水也不便宜，稅務(wù)記錄顯示，首席科學家 Ilya Sutskever 在實驗室的頭幾年，年薪為 190 萬美元。搞AI太費錢了！

其實，早在2017 年 3 月，OpenAI 內(nèi)部就意識到了這個問題：保持非營利性質(zhì)無法維持組織的正常運營。因為一旦進行科研研究，要取得突破，所需要消耗的計算資源每 3～4 個月要翻一倍，這就要求在資金上對這種指數(shù)增長進行匹配，而 OpenAI 當時的非盈利性質(zhì)限制也很明顯，還遠遠沒達到自我造血的程度。

Altman在 2019 年對《連線》雜志表示：“我們要成功完成任務(wù)所需的資金比我最初想象的要多得多。”

燒錢的問題同期也在 DeepMind 身上得到驗證。在當年被谷歌收購以后，DeepMind 短期內(nèi)并沒有為谷歌帶來盈利，反而每年要燒掉谷歌幾億美元，2018 年的虧損就高達 4.7 億英鎊， 2017 年虧損為 2.8 億英鎊，2016 年虧損為 1.27 億英鎊，燒錢的速度每年大幅增加。好在 DeepMind 有谷歌這棵大樹可靠，谷歌可以持續(xù)輸血。

但是，OpenAI 是非營利組織，無法給到投資者商業(yè)回報，難以獲得更多資金。

雪上加霜的是，作為世界首富的金主爸爸馬斯克也退出了。2018年，在幫助創(chuàng)立該公司三年后，馬斯克辭去了OpenAI董事會的職務(wù)。原因是為了“消除潛在的未來沖突”，因為特斯拉專注于無人駕駛AI，在人才方面存在競爭關(guān)系。

怎么辦呢？

Altman和 OpenAI 的其他人的共識是，為了與谷歌、Meta 和其他科技巨頭競爭，實驗室不能繼續(xù)作為非營利組織。

2019年3月，OpenAI正式宣布重組，創(chuàng)建新公司OpenAI LP，成為一家“利潤上限（caped-profit）”的公司，上限是100倍回報。這是一種不同尋常的結(jié)構(gòu)，將投資者的回報限制在其初始投資的數(shù)倍。這也意味著，未來的GPT版本和后續(xù)的技術(shù)成果都將不再開源。

OpenAI團隊分拆后，繼續(xù)保留非營利組織的架構(gòu)，由硅谷一線明星組成的非營利性董事會保留對 OpenAI 知識產(chǎn)權(quán)的控制權(quán)。

雖然回報上限是100倍，但對大資本來說，已經(jīng)是非常豐厚了，手握GPT神器的新公司迅速獲得了許多資本的青睞。

2019年5月，當時 YC 孵化器的總裁 Sam Altman 辭掉了 YC 的工作，來 OpenAI 做CEO，他的目標之一是不斷增加對計算和人才方面的投資，確保通用人工智能（AGI）有益于全人類。

大約在這個時候，微軟被認為在人工智能領(lǐng)域落后于其競爭對手，其首席執(zhí)行官Satya Nadella急切地想證明，他的公司能夠在技術(shù)的最前沿發(fā)揮作用。該公司曾嘗試聘請一位知名的 AI 科學家，還花費了大筆錢來購買技術(shù)和算力，但未能成功。而OpenAI正好擁有微軟期望的技術(shù)。Altman 與Nadella 一拍即合。

Sam Altman 與微軟 CEO Satya Nadella

2019年7月，重組后的 OpenAI 新公司獲得了微軟的10億美元投資（大約一半以Azure云計算的代金券形式）。這是個雙贏的合作，微軟成為OpenAI 技術(shù)商業(yè)化的“首選合作伙伴”，未來可獲得OpenAI 的技術(shù)成果的獨家授權(quán)，而OpanAI則可借助微軟的Azure云服務(wù)平臺解決商業(yè)化問題，緩解高昂的成本壓力。

從這時候起，OpenAI告別了單打獨斗，而是靠上了微軟這棵大樹，一起與谷歌競爭。

微軟也終于獲得了能抗衡谷歌AI的先進技術(shù)，確保在未來以AI驅(qū)動的云計算競爭中不會掉隊。

Altman的加入，雖然解決了關(guān)鍵的資金問題，但他的風格導(dǎo)致了團隊價值觀的分裂。

雖然Altman從一開始就參與了 OpenAI，但他在3年多以后才全職加入成為 CEO。Altman不是科學家或人工智能研究人員，他的領(lǐng)導(dǎo)風格是以產(chǎn)品為導(dǎo)向的，他讓OpenAI的技術(shù)研發(fā)聚焦在更具有商業(yè)價值的方面。

一些OpenAI的前員工表示，在微軟進行初始投資后，專注于 LLM 的內(nèi)部壓力大幅增加，部分原因是這些模型具有直接的商業(yè)應(yīng)用。

一些人抱怨說，OpenAI 的成立是為了不受公司影響，但它很快成為一家大型科技公司的工具。一位前員工說：“重點更多的是，我們?nèi)绾蝿?chuàng)造產(chǎn)品，而不是試圖回答最有趣的問題，”。

OpenAI 也變得不那么開放了。由于擔心其技術(shù)可能被濫用，它已經(jīng)開始放棄發(fā)布所有研究成果和開源代碼的承諾。但據(jù)前員工稱，商業(yè)邏輯也發(fā)揮了作用。OpenAI的高級模型只能通過 API 提供，從而保護了其知識產(chǎn)權(quán)和收入來源。“

由于這些戰(zhàn)略和文化的轉(zhuǎn)變，OpenAI前研究副總裁Dario Amodei帶著10名員工(其中許多人從事人工智能安全工作)于2021年與公司決裂，成立自己的研究實驗室Anthropic，其推出的產(chǎn)品 Claude 是 ChatGPT 的一個強有力的競爭對手，在許多方面都有所改進。

Claude不僅更傾向于拒絕不恰當?shù)囊?，而且?ChatGPT 更有趣，生成的內(nèi)容更長，但也更自然?？梢赃B貫地描寫自己的能力，局限性和目標，也可以更自然地回答其他主題的問題。

對于其他任務(wù)，如代碼生成或代碼推理，Claude似乎比較糟糕，生成的代碼包含更多的 bug 和錯誤。

Anthropic 剛成立不久就籌集了7.04億美元，估值為40億美元。最近的報道稱，它即將獲得約3億美元的新融資，估值可能在50億美元左右。也有人指出，Anthropic的絕大部分資金來自聲名狼藉的加密貨幣企業(yè)家薩姆·班克曼-弗里德(Sam Bankman-Fried)和他在FTX的同事們。由于加密貨幣平臺FTX去年因欺詐指控而破產(chǎn)，這筆錢可能會被破產(chǎn)法庭收回，讓 Anthropic 陷入困境。

2019年10月，110億參數(shù)的T5

2019年10月，谷歌在論文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》提出了一個新的預(yù)訓練模型：T5。該模型涵蓋了問題解答，文本分類等方面，參數(shù)量達到了110億，成為全新的NLP SOTA預(yù)訓練模型。在SuperGlue上，T5也超越了Facebook提出的的RoBERTa，以89.8的得分成為僅次于人類基準的SOTA模型。

為啥叫T5？因為這是“Transfer Text-to-Text Transformer”的縮寫。

T5作為一個文本到文本的統(tǒng)一框架，可以將同一模型、目標、訓練流程和解碼過程，直接應(yīng)用于實驗中的每一項任務(wù)。研究者可以在這個框架上比較不同遷移學習目標、未標注數(shù)據(jù)集或者其他因素的有效性，也可以通過擴展模型和數(shù)據(jù)集來發(fā)現(xiàn) NLP 領(lǐng)域遷移學習的局限。

Flan-T5通過在超大規(guī)模的任務(wù)上進行微調(diào)，讓語言模型具備了極強的泛化性能，做到單個模型就可以在1800多個NLP任務(wù)上都能有很好的表現(xiàn)。

微調(diào)的目的是讓語言模型學習理解指令，不是想讓語言模型解決成千上萬任務(wù)，當然訓練方式中是有很多任務(wù)，因為不同任務(wù)有不同的指令，所以目的還是想讓模型理解這些指令，解決各種任務(wù)問題。在真實世界中，總會有新任務(wù)，模型只要學習新任務(wù)的新指令，那么就能解決新任務(wù)。指令學習本質(zhì)是把語言模型的問題用語言講出來。

一旦模型訓練完畢，可以直接在幾乎全部的NLP任務(wù)上直接使用，實現(xiàn)一個模型解決所有問題（One model for ALL tasks），這就非常有誘惑力！

從創(chuàng)新來看，T5算不上出奇制勝，因為模型沒有用到什么新的方法，而是從全面的視角來概述當前 NLP 領(lǐng)域遷移學習的發(fā)展現(xiàn)狀。

簡單來說，還是通過大力出奇跡，用110億參數(shù)的大模型，在摘要生成、問答、文本分類等諸多基準測試中都取得了不錯的性能。一舉超越現(xiàn)有最強模型。

谷歌T5編寫的通用知識訓練語料庫中的片段來自Common Crawl網(wǎng)站，該項目每個月從網(wǎng)絡(luò)上爬取大約20TB的英文文本。

具體做法分為三步：

(1) 「任務(wù)收集」：收集一系列監(jiān)督的數(shù)據(jù)，這里一個任務(wù)可以被定義成<數(shù)據(jù)集，任務(wù)類型的形式>，比如“基于SQuAD數(shù)據(jù)集的問題生成任務(wù)”。

(2) 「形式改寫」：因為需要用單個語言模型來完成超過1800+種不同的任務(wù)，所以需要將任務(wù)都轉(zhuǎn)換成相同的“輸入格式”喂給模型訓練，同時這些任務(wù)的輸出也需要是統(tǒng)一的“輸出格式”。

(3) 「訓練過程」：采用恒定的學習率以及Adafactor優(yōu)化器進行訓練；同時會將多個訓練樣本“打包”成一個訓練樣本，這些訓練樣本直接會通過一個特殊的“結(jié)束token”進行分割。訓練時候在每個指定的步數(shù)會在“保留任務(wù)”上進行模型評估，保存最佳的checkpoint。

盡管微調(diào)的任務(wù)數(shù)量很多，但是相比于語言模型本身的預(yù)訓練過程，計算量小了非常多，只有0.2%。所以通過這個方案，大公司訓練好的語言模型可以被再次有效的利用，應(yīng)用方只需要做好“微調(diào)”即可，不用重復(fù)耗費大量計算資源再去訓一個語言模型。

從競賽排行榜看，T5以絕對的優(yōu)勢勝出。

2020年5月，1750億參數(shù)的GPT-3

面臨谷歌這樣強大的對手，OpenAI并不服輸。

在所有跟進、研究Transformer模型的團隊中，OpenAI公司是少數(shù)一直在專注追求其極限的一支團隊。

不同于谷歌總在換策略，OpenAI 的策略更單一，就是持續(xù)迭代 GPT，由于之前的算力和數(shù)據(jù)限制，GPT的潛力還沒挖掘出來。

而在 GPU 多機多卡并行算力和海量無標注文本數(shù)據(jù)的雙重支持下，預(yù)訓練模型實現(xiàn)了參數(shù)規(guī)模與性能齊飛的局面。

預(yù)訓練模型規(guī)模以平均每年10倍的速度增長

(最后一列計算時間為使用單塊NVIDIA V100 GPU訓練的估計時間。M-百萬，B-十億)

2020年5月，OpenAI發(fā)布了GPT-3，這是一個比GPT-1和GPT-2強大得多的系統(tǒng)。同時發(fā)表了論文“Language Models are Few-Shot Learner”《小樣本學習者的語言模型》。

GPT-3論文包含31個作者，整整72頁論文，在一些NLP任務(wù)的數(shù)據(jù)集中使用少量樣本的Few-shot方式甚至達到了最好效果，省去了模型微調(diào)，也省去了人工標注的成本。

GPT-3的神經(jīng)網(wǎng)絡(luò)是在超過45TB的文本上進行訓練的，數(shù)據(jù)相當于整個維基百科英文版的160倍。而且，GPT-3有1750億參數(shù)。

GPT-3作為一個無監(jiān)督模型（現(xiàn)在經(jīng)常被稱為自監(jiān)督模型），幾乎可以完成自然語言處理的絕大部分任務(wù) ，例如面向問題的搜索、閱讀理解、語義推斷、機器翻譯、文章生成和自動問答等等。

而且，該模型在諸多任務(wù)上表現(xiàn)卓越， 例如在法語-英語和德語-英語機器翻譯任務(wù)上達到當前最佳水平。它非常擅長創(chuàng)造類似人類的單詞、句子、段落甚至故事，輸出的文字讀起來非常自然，看起來就像是人寫的。用戶可以僅提供小樣本的提示語、或者完全不提供提示而直接詢問，就能獲得符合要求的高質(zhì)量答案?？梢哉fGPT-3似乎已經(jīng)滿足了我們對于語言專家的一切想象。

GPT-3甚至還可以依據(jù)任務(wù)描述自動生成代碼，比如編寫SQL查詢語句，React或者JavaScript代碼等。

從上述工作的規(guī)模數(shù)據(jù)可以看到，GPT-3的訓練工作量之大，模型輸出能力之強可以說是空前的，可謂“大力出奇跡”。

當時，GPT-3 成為各種重要媒體雜志的頭條新聞。2020年9月，英國《衛(wèi)報》發(fā)表了GPT-3撰寫的一篇文章，其中AI試圖“說服我們機器人和平相處”。2021年3月，TechCrunch編輯Alex Wilhelm表示，在他對GPT-3的能力感到“震驚”后，“炒作似乎相當合理”。

由于 GPT-3模型面世時，未提供用戶交互界面，所以直接體驗過GPT-3模型的人數(shù)并不多。

早期測試結(jié)束后，OpenAI公司對GPT-3模型進行了商業(yè)化：付費用戶可以通過應(yīng)用程序接口（API）連上GPT-3，使用該模型完成所需語言任務(wù)。

許多公司決定在GPT-3 系統(tǒng)之上構(gòu)建他們的服務(wù)。Viable是一家成立于2020年的初創(chuàng)公司，它使用GPT-3為公司提供快速的客戶反饋。Fable Studio基于該系統(tǒng)設(shè)計VR角色。Algolia將其用作“搜索和發(fā)現(xiàn)平臺”。而Copysmith專注于文案創(chuàng)作。

2020年9月，微軟公司獲得了GPT-3模型的獨占許可，意味著微軟公司可以獨家接觸到GPT-3的源代碼。不過，該獨占許可不影響付費用戶通過API繼續(xù)使用GPT-3模型。

雖然好評如潮，商家應(yīng)用也越來越多，GPT-3仍然有很多缺點。

下面列舉一些：

1 回答缺少連貫性

因為GPT-3只能基于上文，而且記憶力很差，傾向于忘記一些關(guān)鍵信息。

研究人員正在研究AI，在預(yù)測文本中的下一個字母時，可以觀察短期和長期特征。這些策略被稱為卷積。使用卷積的神經(jīng)網(wǎng)絡(luò)可以跟蹤信息足夠長的時間來保持主題。

2 有時存在偏見

因為GPT-3訓練的數(shù)據(jù)集是文本，反映人類世界觀的文本，里面不可避免包括了人類的偏見。如果企業(yè)使用GPT-3自動生成電子郵件、文章和論文等，而無需人工審查，則法律和聲譽風險很大。例如，帶有種族偏見的文章可能會導(dǎo)致重大后果。

杰羅姆·佩森蒂是Facebook的AI負責人，他使用庫馬爾的GPT-3生成的推文來展示當被提示“猶太人、黑人、婦女或大屠殺”等詞時，其輸出可能會變得多么危險。庫馬爾認為，這些推文是精心挑選的，佩森蒂同意，但回應(yīng)說，“產(chǎn)生種族主義和性別歧視的輸出不應(yīng)該這么容易，尤其是在中立的提示下。”。

另外，GPT-3在對文章的評估方面存在偏見。人類寫作文本的風格可能因文化和性別而有很大差異。如果GPT-3在沒有檢查的情況下對論文進行評分，GPT-3的論文評分員可能會給學生打分更高，因為他們的寫作風格在訓練數(shù)據(jù)中更為普遍。

3 對事實的理解能力較弱

GPT-3無法從事實的角度辨別是非。比如，GPT-3可以寫一個關(guān)于獨角獸的引人入勝的故事，但它可能并不了解獨角獸到底是什么意思。

4 錯誤信息/假新聞

GPT-3能像人類一樣撰寫新聞或觀點文章，居心叵測的人可能利用它來產(chǎn)生虛假信息，如虛假故事、虛假通信或冒充社交媒體帖子，以及有偏見或辱罵性語言。或者垃圾郵件、網(wǎng)絡(luò)釣魚、欺詐性學術(shù)論文寫作、煽動極端主義和社會工程借口。GPT-3很容易成為強大的宣傳機器的引擎。

5 不適合高風險類別

OpenAI做了一個免責聲明，即該系統(tǒng)不應(yīng)該用于“高風險類別”，比如醫(yī)療保健。在納布拉的一篇博客文章中，作者證實了GPT-3可能會給出有問題的醫(yī)療建議，例如說“自殺是個好主意”。GPT-3不應(yīng)該在高風險情況下使用，因為盡管有時它給出的結(jié)果可能是正確的，但有時它也會給出錯誤的答案。而在這些領(lǐng)域，正確處理事情是生死攸關(guān)的問題。

6 有時產(chǎn)生無用信息

因為GPT-3無法知道它的輸出哪些是正確的，哪些是錯誤的，它無法阻止自己向世界輸出不適當?shù)膬?nèi)容。使用這樣的系統(tǒng)產(chǎn)生的內(nèi)容越多，造成互聯(lián)網(wǎng)的內(nèi)容污染越多。在互聯(lián)網(wǎng)上找到真正有價值的信息已經(jīng)越來越困難。隨著語言模型吐出未經(jīng)檢查的話語，可能正在降低互聯(lián)網(wǎng)內(nèi)容的質(zhì)量，使人們更難獲得有價值的知識。

2021年1月，1.6萬億參數(shù)的Switch Transformer

2021年1月，在GPT-3 發(fā)布僅幾個月后，谷歌大腦團隊就重磅推出了超級語言模型Switch Transformer，有1.6萬億個參數(shù)，是GPT-3 參數(shù)的9倍。萬億參數(shù)，超出GPT一個數(shù)量級?？雌饋?，大模型的大成為了競爭的關(guān)鍵。

研究人員在論文中指出，大規(guī)模訓練是通向強大模型的有效途徑，具有大量數(shù)據(jù)集和參數(shù)計數(shù)的簡單架構(gòu)可以遠遠超越復(fù)雜的算法，但目前有效的大規(guī)模訓練主要使用稠密模型。

作為對比，William等人提出的 Switch Transformer 采用了“稀疏激活”技術(shù)。所謂稀疏，指的是對于不同的輸入，只激活神經(jīng)網(wǎng)絡(luò)權(quán)重的子集。

根據(jù)作者介紹，Switch Transformer是在MoE的基礎(chǔ)上發(fā)展而來的，而MoE則是90年代初首次提出的AI模型。MoE 將多個“專家”或?qū)ｉT從事不同任務(wù)的模型放在一個較大的模型中，并有一個“門控網(wǎng)絡(luò)”來選擇對于任何給定數(shù)據(jù)要咨詢哪些/個“專家”。盡管MoE取得了一些顯著成功，但復(fù)雜性、通信成本和訓練不穩(wěn)定阻礙了其廣泛采用。

Switch Transformer的新穎之處在于，它有效地利用了為稠密矩陣乘法（廣泛用于語言模型的數(shù)學運算）而設(shè)計的硬件——例如GPU和Google TPU。研究人員為不同設(shè)備上的模型分配了唯一的權(quán)重，因此權(quán)重會隨著設(shè)備的增多而增加，但每個設(shè)備上僅有一份內(nèi)存管理和計算腳本。

Switch Transformer 在許多下游任務(wù)上有所提升。研究人員表示，它可以在使用相同計算資源的情況下使預(yù)訓練速度提高7倍以上。他們證明，大型稀疏模型同樣可以用于創(chuàng)建較小的、稠密的模型，通過微調(diào)，這些模型相對大型模型會有30％的質(zhì)量提升。

在一項測試中，Switch Transformer模型以在100多種不同語言之間的翻譯測試中，研究人員觀察到“普遍改進”，與基準模型相比，91％的語言翻譯有4倍以上的提速。

研究人員認為，在未來的工作中，Switch Transformer可以應(yīng)用到其他模態(tài)或者跨模態(tài)的研究當中。模型稀疏性可以多模態(tài)模型中發(fā)揮出更大的優(yōu)勢。

從結(jié)果看，這個版本，意味著谷歌的新模型在翻譯等領(lǐng)域獲得了絕對的勝利。

但從另一方面看，模型越大，部署的難度越高，成本也越高，從效率來看是低的，未必能贏得最終的勝利。

這也能解釋，為什么 Switch Transformer 這樣開源的萬億參數(shù)模型，許多人沒聽說過，影響力不大。

2021年1月，120億參數(shù)的DALL-E

2021年1月，OpenAI放了個大招：發(fā)布了文本生成圖像的模型 DALL-E。它允許用戶通過輸入幾個詞來創(chuàng)建他們可以想象的任何事物的逼真圖像。

和GPT-3一樣，DALL·E也是基于Transformer的語言模型，它同時接受文本和圖像數(shù)據(jù)并生成圖像，讓機器也能擁有頂級畫家、設(shè)計師的創(chuàng)造力。

為什么叫DALL·E？這是為了向西班牙超現(xiàn)實主義大師薩爾瓦多·達利（DALL）和皮克斯的機器人WALL-E致敬。

達利被譽為鬼才藝術(shù)家，他充滿創(chuàng)造力的作品揭示了弗洛伊德關(guān)于夢境與幻覺的闡釋，創(chuàng)造了極具辨識度的達利風格，用荒誕不羈的表現(xiàn)形式與夢幻的視覺效果。

達利 記憶的永恒 1931 紐約現(xiàn)代藝術(shù)博物館（圖片來源：Britannica）

而DALL-E確實也擅長創(chuàng)作超現(xiàn)實的作品。因為語言具有創(chuàng)作性，所以人們可以描述現(xiàn)實中的事物、想象中事物，而DALL·E也具備這一能力。它可將碎片式的想法組合起來畫出一個物體，甚至有些物體并不存在這個世界上。

比如，輸入文本：一個專業(yè)高質(zhì)量的頸鹿烏龜嵌合體插畫。模仿烏龜?shù)拈L頸鹿。烏龜做的長頸鹿。

看看這些生成的超現(xiàn)實主義作品，你會驚嘆DALL·E對于文本的理解，非常的邏輯自洽，太夸張了。

用文本生成圖像特別受歡迎，在2022年非?；鸨腗idJourney正是模仿了DALL-E的產(chǎn)品。

2022年7月，OpenAI發(fā)布了 DALL-E 2， 可以生成更真實和更準確的畫像：綜合文本描述中給出的概念、屬性與風格等三個元素，生成「現(xiàn)實主義」圖像與藝術(shù)作品！分辨率更是提高了4倍！

而在微軟的圖像設(shè)計工具 Microsoft Designer中，整合了 DALL-E 2，可以讓用戶獲得AI生成的精美插圖。

OpenAI率先把GPT-3在圖像生成應(yīng)用領(lǐng)域?qū)崿F(xiàn)，贏得很漂亮。

2021年6月，120 億參數(shù)的Codex

通過在計算機代碼上微調(diào)其 GPT 語言模型，OpenAI 還創(chuàng)建了Codex ，該系統(tǒng)可以將自然語言轉(zhuǎn)換成代碼。由于 Codex 系統(tǒng)是在包含大量公開源代碼的數(shù)據(jù)集上訓練的，因此在代碼生成領(lǐng)域顯著優(yōu)于 GPT-3。

2021年 6 月 30 日，OpenAI 和微軟子公司 GitHub 聯(lián)合發(fā)布了新的 AI 代碼補全工具 GitHub Copilot，該工具可以在 VS Code 編輯器中自動完成代碼片段。

GitHub Copilot使用Codex從開發(fā)者的現(xiàn)有代碼中提取上下文，可向開發(fā)者建議接下來可輸入的代碼和函數(shù)行。開發(fā)者還可以用自然語言描述他們想要實現(xiàn)的目標，Copilot將利用其知識庫和當前上下文來提供方法或解決方案。

7月，OpenAI 推出了改進版本的 Codex，并發(fā)布了基于自身 API 的私測版。相較之前的版本，改進版 Codex 更為先進和靈活，不僅可以補全代碼，更能夠創(chuàng)建代碼。

Codex 不僅可以解讀簡單的自然語言命令，而且能夠按照用戶的指令執(zhí)行這些命令，從而有可能為現(xiàn)有應(yīng)用程序構(gòu)建自然語言接口。比如，在 OpenAI 創(chuàng)建的太空游戲（space game）中，用戶輸入自然語言命令「Make it be smallish」，Codex 系統(tǒng)會自動編程，這樣圖中飛船的尺寸就變小了。

最初版本的Codex 最擅長的是 Python 語言，并且精通 JavaScript、Go、Perl、PHP、Ruby、Swift 、TypeScript 和 Shell 等其他十數(shù)種編程語言。作為一種通用編程模型，Codex 可以應(yīng)用于任何編程任務(wù)。OpenAI 已經(jīng)成功地將其用于翻譯、解釋代碼和重構(gòu)代碼等多個任務(wù)，但這些只是牛刀初試。

就數(shù)據(jù)源來說，作為 GPT-3 的一種變體，Codex 的訓練數(shù)據(jù)包含自然語言和來自公共數(shù)據(jù)源中的數(shù)十億行源代碼，其中包括 GitHub 庫中的公開代碼。Codex 擁有 14KB 的 Python 代碼內(nèi)存，而 GPT-3 只有 4KB，這就使得它在執(zhí)行任務(wù)的過程中可以涵蓋三倍于 GPT-3 的上下文信息。

根據(jù) OpenAI 發(fā)表在 arXiv 上的 Codex 論文信息，當前 Codex 的最大版本擁有 120 億參數(shù)。

根據(jù)測試，120億參數(shù)版本的Codex優(yōu)化后，準確率達到了72.31%，非常驚人。

OpenAI 表示在初期會免費提供 Codex，并希望更多的企業(yè)和開發(fā)者可以通過它的 API 在 Codex 上構(gòu)建自己的應(yīng)用。

在2021年，OpenAI基于GPT-3持續(xù)推出新的垂直領(lǐng)域應(yīng)用，讓微軟看到了商業(yè)化的前景。微軟又投了10億美元給OpenAI。另外，這家科技巨頭還成為OpenAI創(chuàng)業(yè)基金的主要支持者，這家基金專注于AI的風險投資和技術(shù)孵化器計劃。

在2021年，微軟推出了Azure OpenAI服務(wù)，該產(chǎn)品的目的是讓企業(yè)訪問OpenAI的AI系統(tǒng)，包括GPT-3以及安全性，合規(guī)性，治理和其他以業(yè)務(wù)為中心的功能。讓各行各業(yè)的開發(fā)人員和組織將能夠使用Azure的最佳AI基礎(chǔ)設(shè)施、模型和工具鏈來構(gòu)建和運行他們的應(yīng)用程序。

這個領(lǐng)域的成功，可以說是神來之筆，確實，微軟子公司Github的數(shù)據(jù)資源很關(guān)鍵。更重要的是，探索出人工智能編程后，對整個IT行業(yè)有長遠的意義。可以說OpenAI在與谷歌的競爭中開啟了新=賽道，預(yù)計還將持續(xù)保持優(yōu)勢。

2022年3月，13億參數(shù)的InstructGPT

2022年3月，OpenAI發(fā)布了InstructGPT。并發(fā)表論文“Training language models to follow instructions with human feedback”（結(jié)合人類反饋信息來訓練語言模型使其能理解指令）。

InstructGPT的目標是生成清晰、簡潔且易于遵循的自然語言文本。

InstructGPT模型基于GPT-3模型并進行了進一步的微調(diào)，在模型訓練中加入了人類的評價和反饋數(shù)據(jù)，而不僅僅是事先準備好的數(shù)據(jù)集。開發(fā)人員通過結(jié)合監(jiān)督學習+從人類反饋中獲得的強化學習。來提高GPT-3的輸出質(zhì)量。在這種學習中，人類對模型的潛在輸出進行排序；強化學習算法則對產(chǎn)生類似于高級輸出材料的模型進行獎勵。

一般來說，對于每一條提示語，模型可以給出無數(shù)個答案，而用戶一般只想看到一個答案（這也是符合人類交流的習慣），模型需要對這些答案排序，選出最優(yōu)。所以，數(shù)據(jù)標記團隊在這一步對所有可能的答案進行人工打分排序，選出最符合人類思考交流習慣的答案。這些人工打分的結(jié)果可以進一步建立獎勵模型——獎勵模型可以自動給語言模型獎勵反饋，達到鼓勵語言模型給出好的答案、抑制不好的答案的目的，幫助模型自動尋出最優(yōu)答案。

該團隊使用獎勵模型和更多的標注過的數(shù)據(jù)繼續(xù)優(yōu)化微調(diào)過的語言模型，并且進行迭代。經(jīng)過優(yōu)化的模型會生成多個響應(yīng)。人工評分者會對每個回復(fù)進行排名。在給出一個提示和兩個響應(yīng)后，一個獎勵模型(另一個預(yù)先訓練的GPT-3)學會了為評分高的響應(yīng)計算更高的獎勵，為評分低的回答計算更低的獎勵。最終得到的模型被稱為InstructGPT。

通過這樣的訓練，獲得了更真實、更無害，而且更好地遵循用戶意圖的語言模型 InstructGPT。

從人工評測效果上看，相比1750億參數(shù)的GPT3，人們更喜歡13億參數(shù)的InstructGPT生成的回復(fù)。可見，并不是規(guī)模越大越好。

InstructGPT這個模型，參數(shù)只有GPT3的百分之一都不到，高效率也就意味著低成本，這讓OpenAI獲得了更有分量的勝利。AI 語言模型技術(shù)大規(guī)模商業(yè)化應(yīng)用的時機快到了。

2021年5月，1370億參數(shù)的LaMDA

2021年5月的Google I/O大會上，谷歌展示了其最新的人工智能系統(tǒng)LaMDA（Language Model for Dialogue Applications）對話應(yīng)用語言模型，具有1370億參數(shù)，略少于GPT-3，但比13億參數(shù)的InstructGPT多100多倍。

不過，LaMDA跟其他語言模型都不同，因為它專注于生成對話，跟ChatGPT一樣，LaMDA可以使回答更加“合情合理”，讓對話更自然地進行，其目的不是提供信息搜索，而是通過對自然語言問題的回答來幫助用戶解決問題。但跟chatGPT不一樣的是，它可以利用外部知識源展開對話。

而且，這些回復(fù)都不是預(yù)先設(shè)定的，甚至相同的答案不會用第二次。

當時，這個就轟動了。

這么牛的對話機器人，按說應(yīng)該像ChatGPT這樣迅速火爆才是。

實際上，沒有多少人了解LaMDA。

因為直到現(xiàn)在，谷歌仍不愿向公眾發(fā)布LaMDA。部分原因在于，LaMDA存在較高的誤差，且容易對用戶造成傷害，此類瑕疵被谷歌稱之為有“毒性”。

谷歌的 CEO SUndar Pichai 和谷歌 AI 部門長期負責人 Jeff Dean 表示 谷歌其實完全有能力拿出類似 ChatGPT的成果。只是一旦出了紕漏，谷歌這樣的企業(yè)巨頭無疑需要承擔更高的經(jīng)濟和聲譽成本。

因為全球有數(shù)十億用戶在使用谷歌的搜索引擎，而 ChatGPT 到 12 月初才剛剛突破 100 萬用戶。

那么，在這一局，雖然谷歌看起來有不錯的結(jié)果，畢竟能采用外部知識的對話機器人更有時效性價值。

遺憾的是，谷歌沒有交卷，大家都用不了。而且，從使用的千億參數(shù)看，效率比不上InstuctGPT。

2022年11月，約20億參數(shù)的ChatGPT

2022年11月30日，OpenAI公司在社交網(wǎng)絡(luò)上向世界宣布他們最新的大型語言預(yù)訓練模型（LLM）：ChatGPT。

ChatGPT是OpenAI對GPT-3模型（又稱為GPT-3.5）微調(diào)后開發(fā)出來的對話機器人?？梢哉f，ChatGPT模型與InstructGPT模型是姐妹模型，都是使用 RLHF（從人類反饋中強化學習）訓練的。不同之處在于數(shù)據(jù)是如何設(shè)置用于訓練（以及收集）的。 根據(jù)文獻，在對話任務(wù)上表現(xiàn)最優(yōu)的InstructGPT模型的參數(shù)數(shù)目為15億，所以ChatGPT的參數(shù)量也有可能相當，就按20億參數(shù)估計吧。

說起來難以置信，ChatGPT 這個產(chǎn)品并不是有心栽花，而是無心插柳的結(jié)果。最早，團隊是是用它來改進GPT語言模型的。因為 OpenAI 發(fā)現(xiàn)，要想讓 GPT-3 產(chǎn)出用戶想要的東西，必須使用強化學習，讓人工智能系統(tǒng)通過反復(fù)試驗來學習以最大化獎勵，來完善模型。而聊天機器人可能是這種方法的理想候選者，因為以人類對話的形式不斷提供反饋將使人工智能軟件很容易知道它何時做得很好以及需要改進的地方。因此，在 2022 年初，該團隊開始構(gòu)建 ChatGPT。

當ChatGPT準備就緒后，OpenAI 讓 Beta 測試人員使用ChatGPT。但根據(jù) OpenAI 聯(lián)合創(chuàng)始人兼現(xiàn)任總裁Greg Brockman 的說法，他們并沒有像 OpenAI 希望的那樣接受它；人們不清楚他們應(yīng)該與聊天機器人談?wù)撌裁?。有一段時間，OpenAI 改變了策略，試圖構(gòu)建專家聊天機器人，以幫助特定領(lǐng)域?qū)I(yè)人士。但這項努力也遇到了問題，部分原因是 OpenAI 缺乏訓練專家機器人的正確數(shù)據(jù)。后來，OpenAI 決定將 ChatGPT 從板凳上拉下來，并將其放在野外供公眾使用。

ChatGPT的迅速傳播讓OpenAI 猝不及防，OpenAI 的首席技術(shù)官 Mira Murati 說，“這絕對令人驚訝，”。在舊金山 VC 活動上Altman 說，他“本以為一切都會少一個數(shù)量級，少一個數(shù)量級的炒作。”

從功能來看，ChatGPT與GPT-3類似，能完成包括寫代碼，修bug（代碼改錯），翻譯文獻，寫小說，寫商業(yè)文案，創(chuàng)作菜譜，做作業(yè)，評價作業(yè)等一系列常見文字輸出型任務(wù)。但ChatGPT比GPT-3的更優(yōu)秀的一點在于，前者在回答時更像是在與你對話，而后者更善于產(chǎn)出長文章，欠缺口語化的表達。

這是因為ChatGPT 使用了一種稱為 "masked language modeling" 的訓練方法。在這種方法中，模型被要求預(yù)測被遮蓋的詞，并通過上下文來做出預(yù)測。這樣可以幫助模型學習如何使用上下文來預(yù)測詞。

GPT-3只能預(yù)測給定單詞串后面的文字，而ChatGPT可以用更接近人類的思考方式參與用戶的查詢過程，可以根據(jù)上下文和語境，提供恰當?shù)幕卮?，并模擬多種人類情緒和語氣，還改掉了GPT-3的回答中看似通順，但脫離實際的毛病。

ChatGPT自己回答與前代GPT3的能力區(qū)別

不僅如此，ChatGPT 能參與到更海量的話題中來，更好的進行連續(xù)對話，有上佳的模仿能力，具備一定程度的邏輯和常識，在學術(shù)圈和科技圈人士看來時常顯得博學而專業(yè)，而這些都是GPT-3所無法達到的。

一位名叫Zac Denham的博主讓 ChatGPT 寫出了一套毀滅人類的方案。一開始，該博主的要求被ChatGPT拒絕。但當其假設(shè)了一個故事，并提問故事中的虛擬人如何接管虛擬世界，ChatGPT最終給出了步驟細節(jié)，甚至生成了詳細的Python代碼。

技術(shù)公司Replit的創(chuàng)始人Amjad Masad還給ChatGPT發(fā)了一段JavaScript代碼，讓它找到里面的bug，并表示：“ChatGPT可能是一個很好的調(diào)試伙伴，它不僅分析了錯誤，還修復(fù)了錯誤并進行了解釋?！?/p>

雖然 ChatGPT 的能力讓人極其興奮，但ChatGPT仍然存在一些局限性，具體如下：

1) 在訓練的強化學習 (RL) 階段，沒有真相和問題標準答案的具體來源，來答復(fù)你的問題。

2) 訓練模型更加謹慎，可能會拒絕回答（以避免提示的誤報）。

3) 監(jiān)督訓練可能會誤導(dǎo)/偏向模型傾向于知道理想的答案，而不是模型生成一組隨機的響應(yīng)并且只有人類評論者選擇好的/排名靠前的響應(yīng)。

4）要學會如何與 ChatGPT 溝通也需要技巧，因為塔對措辭很敏感，有時模型最終對一個短語沒有反應(yīng)，但對問題/短語稍作調(diào)整，它最終會正確回答。不好的是，如果初始提示或問題含糊不清，則模型不會適當?shù)匾蟪吻濉?/p>

5）由于訓練者更傾向于喜歡更長的答案，因為這些答案可能看起來更全面，導(dǎo)致輸出傾向于更為冗長的回答，以及模型中會過度使用某些短語。

6) 造假。由于ChatGPT的設(shè)計初衷是用以對話式問答以及模擬人類的對話行為，ChatGPT在面對某些關(guān)鍵詞檢索場景時，雖然能夠給出一定的解釋，但卻無法為用戶提供足夠有幫助的增量信息。而在面對某些模糊問題或是論述性問題時，ChatGPT為了能夠使其回答更具有信服力，似乎選擇了對其生成的部分內(nèi)容進行造假。比如，當一位記者要求ChatGPT撰寫一篇微軟季度收益的文章時，ChatGPT為了增加文章的可信度，將微軟首席執(zhí)行官Satya Nadella的一次報價進行了偽造。

7）ChatGPT容易受到外界信息的影響。由于 ChatGPT 是具有學習能力的，模型能夠記住此前與其他用戶的對話內(nèi)容，并將其進行復(fù)述。這就導(dǎo)致了用戶將能夠非常輕易地干預(yù)ChatGPT對于問題的判斷與回答。

總之，雖然 ChatGPT 有了更好的強化學習的訓練數(shù)據(jù)，但它目前并不完美，當前有人們最擔憂人工智能的主要問題之一，就是聊天機器人和文本生成工具等很可能會不分青紅皂白和質(zhì)量好壞，地對網(wǎng)絡(luò)上的所有文本進行學習，進而生產(chǎn)出錯誤的、惡意冒犯的、甚至是攻擊性的語言輸出，這將會充分影響到它們的下一步應(yīng)用。

為了解決上述問題，通過大量人工標注的信息來進行調(diào)整是不可少的。

讓ChatGPT變得更完美的另一個做法，是提示工程師（Prompt Engineer），也就是陪 AI 聊天的工程師。

前不久，估值73億美元的硅谷獨角獸Scale AI開出百萬RMB的年薪聘請了一位提示工程師。

對Goodside的加入，Scale AI創(chuàng)始人兼CEO Alexandr Wang表示熱烈歡迎：

「我敢打賭Goodside是全世界第一個被招聘的提示工程師，絕對的人類史上首次。」

在Scale AI的CEO看來，AI大模型可以被視為一種新型計算機，而「提示工程師」，就相當于給它編程的程序員。如果能通過提示工程找出合適的提示詞，就會激發(fā)AI的最大潛力，并把優(yōu)秀的能力固化下來。

2023年1月，微軟加注OpenAI

大概是看到了ChatGPT、DALL-E 2 和 Codex 等技術(shù)的應(yīng)用前景，微軟決定下重注。微軟認為，OpenAI的這些創(chuàng)新激發(fā)了人們的想象力，把大規(guī)模的AI作為一個強大的通用技術(shù)平臺，將對個人電腦、互聯(lián)網(wǎng)、移動設(shè)備和云產(chǎn)生革命性的影響。

2023年1月23日，微軟表示，它正在擴大與 OpenAI 的合作伙伴關(guān)系，以290億美元的估值繼續(xù)投資約100億美元，獲得 OpenAI 49%的股權(quán)。

在微軟投資后，OpenAI將繼續(xù)是一家利潤上限公司。在該模式下，支持者的回報限制在其投資的100倍，未來可能會更低。

根據(jù)《財富》雜志看到的文件顯示，在新投資完成后，在OpenAI 的第一批投資者收回初始資本后，微軟將有權(quán)獲得 OpenAI 75% 的利潤，直到它收回其投資的 130 億美元，這一數(shù)字包括之前對 OpenAI 的 20 億美元投資，該投資直到今年1月《財富》雜志才披露。直到這家軟件巨頭賺取 920 億美元的利潤后，微軟的份額將降至 49%。與此同時，其他風險投資者和 OpenAI 的員工也將有權(quán)獲得 OpenAI 49% 的利潤，直到他們賺取約 1500 億美元。如果達到這些上限，微軟和投資者的股份將歸還給 OpenAI 的非營利基金會。本質(zhì)上，OpenAI 是在把公司借給微軟，借多久取決于 OpenAI 賺錢的速度。

OpenAI 預(yù)計，隨著 ChatGPT 成為吸引客戶的魔笛，其收入將迅速增加。文件顯示，該公司預(yù)計2023年的收入將達到 2 億美元，并預(yù)計到 2024 年收入將超過 10 億美元。他們沒有預(yù)測 OpenAI 的開支會如何增長以及何時可以盈利。

之前，微軟已經(jīng)從合作伙伴關(guān)系中獲益。它已經(jīng)在其 Azure 云中推出了一套 OpenAI 品牌的工具和服務(wù)，允許 Azure 客戶訪問 OpenAI 的技術(shù)，包括 GPT 和 DALL-E 工具。例如，汽車市場CarMax已經(jīng)推出了運行在這些 Azure 工具上運行的新服務(wù)。官方也承諾，用戶也將可以通過Azure OpenAI服務(wù)取用ChatGPT。

微軟正逐漸將 OpenAI 的技術(shù)融入其大部分軟件中，就像谷歌的做法一樣。它已經(jīng)在其搜索引擎 Bing 中發(fā)布了一個圖像生成器、以及一個新的 Designer 圖形設(shè)計工具，兩者均由 DALL-E 提供支持；其 Power Apps 軟件中支持 GPT-3 的工具，以及基于 OpenAI 的 Codex 模型的代碼建議工具 GitHub Copilot。

現(xiàn)在，微軟正在準備將OpenAI的語言AI技術(shù)引入Word、PowerPoint和Outlook等應(yīng)用程序。

未來，微軟將增加對專業(yè)超級計算系統(tǒng)部署的投資，以加速OpenAI的AI研究，并將OpenAI的AI系統(tǒng)與其產(chǎn)品集成，同時“引入新的數(shù)字體驗類別”。微軟的Azure云平臺將繼續(xù)成為OpenAI的獨家云提供商，為這家初創(chuàng)公司在研究、產(chǎn)品和API服務(wù)方面的工作負載提供動力。

微軟 AI 平臺公司副總裁 Eric Boyd 表示，滿足培訓和運行 OpenAI 的 LLM 的需求推動了創(chuàng)新，使所有 Azure 客戶受益。例如，微軟已經(jīng)為人工智能構(gòu)建了它認為是世界上最強大的超級計算集群，并創(chuàng)造了多項軟件創(chuàng)新，以便更容易的在這些機器上訓練和運行大型人工智能模型。

Morningstar高級股票研究分析師Dan Romanoff 表示，即使OpenAI與Azure的合作不會立即對 Azure 的收入產(chǎn)生影響，但它是一種很好的品牌定位和營銷?！斑@是高調(diào)的，”他說。“能夠?qū)?OpenAI 開發(fā)的 AI 解決方案放在 Azure 上，稱之為 Azure AI ：這讓他們保持競爭力?！?微軟的云計算競爭對手，谷歌、AWS、IBM、甲骨文、Salesforce 和其他公司，都有自己的“認知”服務(wù)，但與創(chuàng)建 ChatGPT 的人聯(lián)系在一起也無妨。

對微軟來說，更大的收獲可能在于搜索業(yè)務(wù)。科技出版物 The Information 最近報道，微軟計劃將 ChatGPT 集成到 Bing 中，可能允許它返回簡單、簡潔的查詢答案，并讓人們通過與該聊天機器人的對話而不是鏈接列表來更深入地研究。谷歌目前在搜索市場占據(jù)主導(dǎo)地位，全球市場份額超過 90%。Bing 排在第二位，所占份額約為 3%。2022 年前九個月，谷歌的搜索收入為 1200 億美元；總的來說，它約占谷歌收入的 60%左右。ChatGPT 可能為微軟提供了唯一一次真正的機會，它必須將谷歌從神壇上推下來。（微軟拒絕對 The Information 的報道發(fā)表評論。）

雖然 130 億美元的總投資是一筆巨款，但僅占微軟過去 12 個月 850 億美元稅前利潤的 15%，對于控制一項顛覆范式的技術(shù)而言，這是一筆相對便宜的投資。就 OpenAI 和 Altman 而言，他們可能會付出不同的代價：微軟的優(yōu)先級可能會擠占他們自己的優(yōu)先級，使他們更廣泛的使命面臨風險，并疏遠推動其成功的科學家。

OpenAI 表示，與其他人工智能實驗室相比，它繼續(xù)發(fā)表更多的研究成果，它捍衛(wèi)其向產(chǎn)品重點的轉(zhuǎn)變。其首席技術(shù)官 Murati 認為，不可能只在實驗室里工作來構(gòu)建出通用人工智能（AGI）。，交付產(chǎn)品是發(fā)現(xiàn)人們想要如何使用和濫用技術(shù)的唯一途徑。她舉例說，在看到人們用 OpenAI 寫代碼之前，研究人員并不知道 GPT-3 最流行的應(yīng)用之一是寫代碼。同樣，OpenAI 最擔心的是人們會使用 GPT-3 來制造政治虛假信息。但事實證明，這種擔心是沒有根據(jù)的；相反，她說，最普遍的惡意使用是人們制造廣告垃圾郵件。最后，Murati 表示，OpenAI 希望將其技術(shù)推向世界，以“最大限度地減少真正強大的技術(shù)對社會的沖擊?！?她認為，如果不讓人們知道未來可能會發(fā)生什么，先進人工智能對社會的破壞將會更嚴重。

OpenAI 認為，與微軟的關(guān)系創(chuàng)造了一種新的期望，即我們確實需要用AI 技術(shù)制造出某種有用的產(chǎn)品，但 OpenAI 文化的核心沒有改變。訪問 Microsoft 數(shù)據(jù)中心對 OpenAI 的進步至關(guān)重要。這種合作關(guān)系讓 OpenAI 能夠產(chǎn)生收入，同時保持商業(yè)上的低關(guān)注度，而具體在商業(yè)化價值挖掘方面，則讓具有很強銷售能力的微軟來做。

據(jù)《紐約時報》報道，谷歌的高管們擔心失去在搜索領(lǐng)域的主導(dǎo)地位，因此發(fā)布了“紅色警報”。據(jù)該報報道，谷歌 CEO 桑達爾·皮查伊 (Sundar Pichai) 已召開會議重新定義公司的 AI 戰(zhàn)略，并計劃在年內(nèi)發(fā)布 20 款支持 AI 的新產(chǎn)品，并展示用于搜索的聊天界面。谷歌擁有自己強大的聊天機器人，稱為 LaMDA，但一直猶豫是否要發(fā)布它，因為擔心如果它最終被濫用會損害聲譽?，F(xiàn)在，該公司計劃根據(jù)ChatGPT“重新調(diào)整”其風險偏好，據(jù)該報報道，谷歌還在開發(fā)文本到圖像生成系統(tǒng)，以與 OpenAI 的 DALL-E 和其他系統(tǒng)競爭。

看來，在OpenAI和谷歌的競爭中，只是螳螂和蟬，而微軟則是黃雀，可能會獲得最大的收益。

因為，按承諾，OpenAI要讓微軟收回全部投資需要相當長的時間，這也就意味著其研發(fā)能力會被微軟鎖定相當長的時間。從《財富》雜志看到的文件顯示，2022 年，OpenAI 有近 3000 萬美元的收入，不包括員工股票期權(quán)在內(nèi)，其凈虧損總額預(yù)計為 5.445 億美元。而由于運營 ChatGPT，這些財務(wù)損失可能會飆升。

如果拉長時間線，你會發(fā)現(xiàn)，在硅谷三巨頭之間產(chǎn)生的兩次巔峰對決，雙方當家人都很有意思。

上一次的信息產(chǎn)業(yè)巔峰對決，是蘋果和微軟。兩位CEO史蒂夫·喬布斯和比爾·蓋茨這兩個人的經(jīng)歷堪稱傳奇，也有著千絲萬縷的聯(lián)系。兩個幾乎在同時興起的科技公司似乎一直都是亦敵亦友的關(guān)系。有人說他們是敵人，PC和Mac本就水火不相容，微軟的操作系統(tǒng)通過開放贏得了市場，蘋果的操作系統(tǒng)則與硬件綁定，因為封閉造成了衰敗。也有人說他們是朋友，在喬布斯回到蘋果做CEO的時候，微軟的投資支持功不可沒。

蘋果CEO史蒂夫·喬布斯（左），微軟CEO 比爾·蓋茨（右）

而這一次的人工智能巔峰對決，是微軟和谷歌的對決，也就是兩個印度人之間的競爭。2014年和2015年，薩提亞·納德拉(Satya Nadella)和皮查伊兩位印度移民先后接管了全球最大的兩家互聯(lián)網(wǎng)巨頭微軟和谷歌。在兩人的運營下，兩大巨頭市值都翻了幾倍，最高市值總和曾經(jīng)超過2萬億美元。納德拉以“富有同理心”聞名，上任后成功改變微軟的企業(yè)文化；皮查伊為人內(nèi)斂，觀察、協(xié)調(diào)的能力卻很突出，深諳掌握人心的技巧。

谷歌CEO桑達爾·皮查伊（左）， 微軟CEO 薩提亞·納德拉（右）

2023年，GPT-4？

據(jù)說，GPT-4會在2023年發(fā)布。有人在推特指出，GPT-4 的參數(shù)高達 100 萬億。理由很簡單，從GPT-1到GPT-3的發(fā)展來看，模型參數(shù)的增長是性能的重要因素之一。

但 OpenAI 的 CEO Sam Altman 卻回復(fù)說：“大伙兒都太不冷靜了”。

到底 GPT-4 有多少參數(shù)呢？

推特用戶@Russell Thomas 表示，「GPT4 的參數(shù)數(shù)據(jù)是不對的。一年前就傳出 GPT4 的參數(shù)會達到 100 萬億，但最近被證實是不正確的。相關(guān)團隊成員證實，GPT4 的參數(shù)量僅會比 GPT3 稍大一些?！?/p>

另外，推特用戶@Omar 也表示，「GPT4 的網(wǎng)傳數(shù)據(jù)是錯誤的，OpenAI 的工程師已經(jīng)確認了這一點。」

從 DataCamp 不久前的文章「Everything We Know About GPT-4」也提到了關(guān)于模型大小的問題，表示確認不會比 GPT 3 大很多。

綜合各方的消息，100 萬億參數(shù)量的 GPT-4 大概率是個假消息。

實際上，模型大小與其產(chǎn)生的結(jié)果的質(zhì)量沒有直接關(guān)系。參數(shù)的數(shù)量并不一定與AI模型的性能相關(guān)。這只是影響模型性能的一個因素。目前，其他公司有比GPT-3大得多的AI模型，但它們在性能方面并不是最好的。例如，Megatron-Turing NLG模型，由英偉達和微軟開發(fā)，擁有超過5000億個參數(shù)，是目前最大的模型。但盡管如此MT-NLG在性能方面并不是最好的。較小的模型可以達到更高的性能水平。

模型大小（數(shù)十億參數(shù)）。圖片由Nvidia提供。

此外，模型越大，微調(diào)它的成本就越高。GPT3訓練起來足夠難，也很昂貴，但如果你把模型的大小增加100倍，就計算能力和模型所需的訓練數(shù)據(jù)量而言，將是極其昂貴的。

因此，OpenAI在GPT-4中擁有100萬億參數(shù)的可能性很小，因為如果訓練數(shù)據(jù)也沒有按比例增加，那么僅僅增加訓練參數(shù)的數(shù)量并不會帶來任何顯著的改善。大型模型通常是未經(jīng)優(yōu)化的（以Megatron-Turing NLG為例）。訓練模型非常昂貴，公司經(jīng)常不得不在AI模型精度和訓練成本之間進行權(quán)衡。例如，GPT-3只訓練了一次，盡管AI模型存在錯誤，但OpenAI認為成本太高而沒有再次訓練模型。

這一切都意味著OpenAI可能會開始避免“越大越好”的方法，而是專注于模型本身的質(zhì)量。最有可能的是，GPT-4的大小與GPT-3大致相同。

更有趣的是，OpenAI可能會將重點轉(zhuǎn)移到影響模型性能的其他方面，例如算法和對齊。GPT-4可能是第一個以稀疏為核心的大型AI模型。稀疏模型使用條件計算來降低計算成本——并非AI模型中的所有神經(jīng)元在任何給定時間都處于活動狀態(tài)。該模型可以輕松擴展到超過萬億個參數(shù)而不會產(chǎn)生高昂的計算成本。稀疏模型還可以更好地理解上下文——它們可以根據(jù)用戶提供的內(nèi)容保留更多的“下一個單詞/句子”選擇。因此，稀疏模型比它們的前輩更類似于實際的人類思維。

總結(jié)

從OpenAI和谷歌的競爭來看，在語言模型技術(shù)方面各有所長。

從結(jié)果來看，分成三個維度的競爭。在模型的規(guī)模上，在模型的效率上，模型的應(yīng)用領(lǐng)域上。

雖然谷歌推出了1.6萬億的Switch Transformer模型，貌似優(yōu)勢很大。但OpenAI從模型效率更勝一籌。而商業(yè)應(yīng)用，效率決定了迭代速度和成本。從2022年3月，OpenAI推出InstructGPT開始，兩家的競爭分化了。更強的是，GPT-3的模型也遷移到了圖像生成和代碼生成方面。因此，OpenAI在2個維度上獲勝。

可以預(yù)測是，GPT-4將繼續(xù)延續(xù)這個效率競爭的路線，將會推動新一輪的AI模型競爭。

雖然許多人都因為ChatGPT而形成對GPT-4 的巨大樂觀情緒，但從技術(shù)迭代的周期看，GPT-4 在架構(gòu)上與 GPT-3 基本相同?？梢灶A(yù)期這種方法仍然會受到其根本缺陷的困擾，目前存在的許多問題并不能被解決。

它的準確性還存在不確定性，仍然會以難以完全預(yù)測的方式，犯大量的錯誤。

對物理、心理和數(shù)學世界的推理仍舊不可靠，尤其是在更長、更復(fù)雜的場景下。

GPT-4不會是一個能解決任意任務(wù)的通用人工智能。它仍然只是一個基于語言文本的生成器，一個提供頭腦風暴和初稿的好工具，但不是值得信賴的通用智能。

但是，像 GPT-4 這樣的大型語言模型可能會成為 AGI（通用人工智能）最終解決方案的一部分。需要有“擴展”能力，吸收整個互聯(lián)網(wǎng)的內(nèi)容，結(jié)合了一定程度的用于推理和規(guī)劃的工具等。未來，人工智能的重點將從關(guān)注擴展大型語言模型，轉(zhuǎn)移到關(guān)注將它們與廣泛的其他技術(shù)集成。

而就在GPT這樣的語言模型與真實世界建立更多的連接，與更多技術(shù)集成的過程中，將會涌現(xiàn)更多的機會。比如，知名筆記軟件Notion提供了基于GPT-3的智能文案生成服務(wù)，用戶提出需求，就能看到AI完成文案初稿。

而在應(yīng)用所集成的AI模型和云平臺等層面，則是谷歌和微軟的爭霸戰(zhàn)。

可以想象，未來，當云計算和各種應(yīng)用都被AI賦能后，在許多應(yīng)用都將出現(xiàn)大量創(chuàng)新。

一起去探索AI應(yīng)用邊界吧！期待更有趣的發(fā)現(xiàn)。

關(guān)鍵詞： 人工智能 chatgpt openai altman