“武功再高，也怕菜刀”。就算是開(kāi)山鼻祖，也有翻車的一天。

現(xiàn)階段類GPT（Generative Pre－trained Transformer）的語(yǔ)言大模型像雨后春筍一樣，不斷涌現(xiàn)。雖說(shuō)這股浪潮是由ChatGPT引爆，但在這所有AI大模型的背后其實(shí)還有一個(gè)更關(guān)鍵的技術(shù)概念——Transformer架構(gòu)。

然而就在今天，有人扒出來(lái)提出Transformer架構(gòu)的論文《Attention Is All Your Need》翻車了！論文里面的圖片和代碼是不一致的。

2017年，谷歌大腦團(tuán)隊(duì)發(fā)表了名為《Attention Is All Your Need》的論文，在論文里他們開(kāi)創(chuàng)性的提出了Transformer架構(gòu)。此后它成了NLP（自然語(yǔ)言處理）領(lǐng)域最受歡迎的模型之一，也正是有了這個(gè)架構(gòu)，我們才能見(jiàn)到ChatGPT這樣的AI大模型。

所以業(yè)內(nèi)都把Transformer架構(gòu)奉為AI領(lǐng)域的奠基石，這篇論文也成為了AI探索和研究的“金科玉律”。2019年，谷歌特地為該架構(gòu)申請(qǐng)了專利。

據(jù)資料顯示，自2017年發(fā)表以來(lái)，《Attention Is All Your Need》這篇論文已經(jīng)被引用了7萬(wàn)多次�，F(xiàn)在被曝出論文可能出錯(cuò)了，這不得不讓整個(gè)AI圈震驚。

“開(kāi)山鼻祖”竟然翻車了？

發(fā)現(xiàn)錯(cuò)誤的是一位知名機(jī)器學(xué)習(xí)與 AI 研究者、初創(chuàng)公司 Lightning AI 的首席 AI 教育家 Sebastian Raschka。他指出，原始 Transformer 論文中的架構(gòu)圖有誤，這跟代碼不一致。

他結(jié)合了另外兩篇同樣涉及Transformer架構(gòu)的論文，來(lái)佐證《Attention Is All Your Need》里的出現(xiàn)的結(jié)構(gòu)圖是不對(duì)的，可能會(huì)導(dǎo)致表示崩潰。這對(duì)于一篇指導(dǎo)了幾乎所有AI開(kāi)發(fā)的論文來(lái)說(shuō)，是不能接受的。

針對(duì)他提出的錯(cuò)誤，有網(wǎng)友認(rèn)為經(jīng)常會(huì)遇到與代碼或結(jié)果不一致的論文，大多數(shù)是無(wú)心之過(guò)；但有時(shí)令人感到奇怪�？紤]到 Transformer 論文的流行程度，這個(gè)不一致問(wèn)題早就應(yīng)該被提及 1000 次。

對(duì)此 Sebastian表示，公平地講，“最最原始”的代碼確實(shí)與架構(gòu)圖一致，但 2017 年對(duì)提交的代碼版本進(jìn)行了修改，同時(shí)沒(méi)有更新架構(gòu)圖。所以，這實(shí)在令人困惑。

“奠基石”也并非一勞永逸

Transformer架構(gòu)“教出”了一批優(yōu)秀的學(xué)生，讓AI領(lǐng)域獲得前所未有的關(guān)注，也昭示了AI技術(shù)的發(fā)展方向。

但業(yè)界對(duì)技術(shù)的追求，一直都不滿足現(xiàn)狀。

經(jīng)過(guò)大量實(shí)踐，開(kāi)發(fā)者發(fā)現(xiàn)凡是采用Transformer架構(gòu)的類GPT大模型，都有共同的缺陷，就是太容易健忘，一旦輸入序列的token超過(guò)上下文窗口閾值，后續(xù)輸出的內(nèi)容和前文邏輯就對(duì)不上了。

ChatGPT只能支持4000個(gè)token（約3000個(gè)詞）的輸入，目前地表最強(qiáng)的GPT－4也只支持最大32000token窗口，如果繼續(xù)加大輸入序列長(zhǎng)度，計(jì)算復(fù)雜度也會(huì)成二次方增長(zhǎng)。

前段時(shí)間，倫敦?cái)?shù)學(xué)科學(xué)研究所的研究人員發(fā)布了一篇技術(shù)報(bào)告，使用循環(huán)記憶Transformer（RMT）將BERT的有效上下文長(zhǎng)度提升到前所未有的200萬(wàn)tokens。該方法可以存儲(chǔ)和處理局部和全局信息，并通過(guò)使用循環(huán)讓信息在輸入序列的各segment之間流動(dòng)。

百度在推出文心一言大模型之后，不停地對(duì)其進(jìn)行訓(xùn)練，并加快了迭代速度。

在5月9日舉行的百度文心一言技術(shù)交流會(huì)上，百度集團(tuán)副總裁侯震宇表示，下一階段人工智能大模型的創(chuàng)新還要從前沿理論研究方面尋找突破口，就比如說(shuō)探尋突破Transformer框架的方式。

開(kāi)山論文的締造者，已各奔東西

最近，OpenAI 聯(lián)合創(chuàng)始人 Ilya Stutskever 在談到 Transformer 時(shí)表示，當(dāng) Transformer 剛發(fā)布之初，實(shí)際上是論文放出來(lái)的第二天，他們就迫不及待的將以前的研究切換到 Transformer ，后續(xù)才有了 GPT。

而作為Transformer的締造者——《Attention Is All Your Need》論文作者們，大多都選擇了自己的道路。

Ashish Vaswani、Niki Parmar等人共同創(chuàng)立了Adept，根據(jù)披露的消息這是一家跟OpenAI競(jìng)爭(zhēng)的大模型公司。目前已經(jīng)獲得了4．15億美元的融資，且估值超過(guò)10億美元。

Noam Shazee在 2000 年底加入谷歌，直到 2021 年最終離職。2021年，他和他的朋友Daniel De Freitas一起創(chuàng)立了CharacterAI。這是一家虛擬人聊天AI公司，能生成各種不同人格的虛擬人支持陪聊。目前已經(jīng)獲得了近2億美元的融資。

2021 年，Jakob Uszkoreit 和 Rhiju Das 共同創(chuàng)立了 Inceptive，致力于通過(guò)高度可擴(kuò)展的實(shí)驗(yàn)和深度學(xué)習(xí)的奇異結(jié)合來(lái)實(shí)現(xiàn)下一代 RNA 分子的設(shè)計(jì)，已經(jīng)獲得了2000萬(wàn)美元的融資。

Llion Jones是8人中目前唯一還在谷歌工作的。他聲稱對(duì)論文作出了最有意義的貢獻(xiàn)：寫(xiě)下了Attention is all you need這個(gè)響亮的標(biāo)題。

Aidan Gomez于2019年9月離開(kāi)Google。2021 年 5 月，他官宣成立新公司——自然語(yǔ)言處理平臺(tái) Cohere，基于自己訓(xùn)練的大型 NLP 模型為外界提供 API 服務(wù)。目前已經(jīng)獲得了近4億美元的融資，員工人數(shù)超過(guò)180名。

Lukasz Kaiser也是知名的機(jī)器學(xué)習(xí)系統(tǒng)Tensor Flow的共同創(chuàng)造者之一，2021 年 6 月，Lukasz Kaiser 從谷歌跳槽到了 OpenAI。

Illia Polosukhin現(xiàn)在是 NEAR．AI 的聯(lián)合創(chuàng)始人及 CTO。這是一家區(qū)塊鏈底層技術(shù)公司，目前估值約為20億美元。