最近,一條新聞硬生生嚇到了小黑。這條新聞的內(nèi)容,是一個叫做GPT-3的人工智能寫了一篇文章,里面有幾句話是這樣寫的:

“首先,我不想消滅人類。事實上,我一點也不想傷害你。在我看來,根除人類似乎是一種相當(dāng)無用的努力�！�

這篇文章的全文,我們可以很輕松地在網(wǎng)上搜索到。但從我們常人的角度來說,如果這篇文章確實如相關(guān)人員所說,“只是刪除了一些部分,并重新排列了部分語句的順序”,那我們就真的應(yīng)該認(rèn)真考慮一下,人工智能究竟會帶我們走向什么樣的未來了。

GPT-3究竟是什么,它與其他人工智能有什么不同?

GPT,是英文Generative Pre-training Transformer的簡稱。這一詞組目前還沒有正式的官方翻譯,小黑也無法將其信達(dá)雅地翻譯出來。但這個詞組的含義,我們大致可以理解為“通過預(yù)先訓(xùn)練生成的智能體”。

不過,單就這個詞組的意思來看的話,GPT-3和我們?nèi)祟惖慕逃�模式是一樣一樣的�?/p>

這就帶來了一個問題:這里的預(yù)訓(xùn)練,是如何進(jìn)行的呢?

答案,就是不斷閱讀。

簡單地說,GPT的預(yù)訓(xùn)練模式,就是通過對各種書面材料集和長篇文本的“學(xué)習(xí)”,獲取關(guān)于世界的知識,最后取得不分學(xué)科完成文本生成任務(wù)的能力。

就像GPT-3的名稱所展示的,現(xiàn)在我們所見到的,是GPT的第三代。這一人工智能是OpenAI(就是我們熟悉的馬斯克打造的人工智能研究實驗室)于2020年5月發(fā)布的。當(dāng)然,學(xué)習(xí)參數(shù)和學(xué)習(xí)數(shù)據(jù)量只是它的強(qiáng)大性能的一部分原因,真正重要的原因還在于它采用的Sparse Transfromer模型。

這一人工智能模型包含的機(jī)器學(xué)習(xí)參數(shù)相比前一代高出了兩個數(shù)量級,達(dá)到了1750億個參數(shù)。其數(shù)據(jù)量也高達(dá)50GB。當(dāng)然,這么說還不夠直觀,我們可以換個方式來形容:英語維基百科的全部內(nèi)容(約600萬篇文章),僅占其總數(shù)據(jù)量的0．6%。

簡單來說,它是在傳統(tǒng)Transfromer序列模型的基礎(chǔ)上,融合了稀疏式自注意力機(jī)制(Sparse Self-attention Layers)。可能大部分人都看不懂這些專業(yè)術(shù)語,其實小黑也是,但我們從OpenAI的介紹中可以知道,它的優(yōu)點在于可以更好地處理長文本,并且操作簡單直觀。

▲ 采用Sparse Self-attention Layers的模型更容易識別二維圖像

GPT-3的工作模式是讓用戶提供一個文本提示,之后通過運算返回一個完成文本(即一篇完成的文章)以匹配用戶給它的模式。例如,這一次在《衛(wèi)報》上刊登的文章,就是研究人員提供了“說服讀者相信未來機(jī)器人的發(fā)展不會對人類造成威脅”這樣一個作文題目,最后有GPT-3完成的

GPT-3目前有哪些應(yīng)用方向?

基于上面提到的1750億個機(jī)器學(xué)習(xí)參數(shù),以及近50GB的文本學(xué)習(xí),GPT-3的性能已經(jīng)相當(dāng)優(yōu)秀了。

根據(jù)目前發(fā)布的資料,GPT-3不僅可以完成答題、寫作、翻譯,甚至還可以生成代碼、進(jìn)行數(shù)學(xué)推理、數(shù)據(jù)分析以及圖標(biāo)制作簡歷這一系列相對“智能”的工作。

▲ 通過GPT-3自動生成的簡歷

例如,我們輸入“2020年來有多少用戶注冊”這個問題,就能得到相應(yīng)的SQL代碼。在代碼中我們可以看到,GPT-3自動將時間起點設(shè)在了2020-01-01,相對而言可以算是“智能”了。

此外,我們還可以利用它完成數(shù)據(jù)的搜索和填充。例如,我們只需要將想要統(tǒng)計的地區(qū)名和參數(shù)輸入GPT-3,它就會自動生成相應(yīng)的表格。

而許多拿到體驗資格的用戶則開始讓GPT-3玩出各種花兒來。例如,利用GPT-3開發(fā)一款用Python驅(qū)動的記賬工具。

讓OpenAI自己開發(fā)一款瀏覽器搜索插件。

或者打造一款文字MUD游戲:AI Dungeon。

這款游戲原本是通過GPT-2進(jìn)行的最初版本開發(fā),而在最近,游戲中增加了一個集成GPT-3 API的高級版“Dragon模式”。

根據(jù)開發(fā)者透露,在使用了GPT-3對游戲進(jìn)行更新之后,游戲中的文字內(nèi)容生成變得更加自然和連貫,并顯著提高了游戲的在線率與付費率。

目前,OpenAI目前已經(jīng)將GPT-3以API的形式開放。我們只需要在境外的搜索引擎中搜索“GPT-3”,就可以找到它的官方網(wǎng)站。

之后點擊簡介中的“API”,就可以跳轉(zhuǎn)到GPT-3的基礎(chǔ)教程頁面。

▲ 點擊這里就可以了

再點擊頁面中的“Join the waitlist”,我們會看到注冊頁面。在注冊頁面中填寫完注冊信息之后,我們就會被列入“等待名單”。由于GPT-3還處于測試階段,因此注冊完成后,我們還需要OpenAI的審核才能進(jìn)行體驗。

并且,目前OpenAI更多還是面向開發(fā)人員和科研人員,普通人想要體驗上它,估計還得一段時間了。

GPT-3存在的不足與問題

盡管是目前最受人矚目的人工智能,GPT-3離實現(xiàn)真正的“智能”還差之甚遠(yuǎn)。

根據(jù)研究人員對GPT-3進(jìn)行的系統(tǒng)化語言理解測試,縱然GPT-3確實在許多方面有了長足的進(jìn)步,但在關(guān)鍵的節(jié)點,它依然缺乏實質(zhì)性的改變。

▲ 在一次圖靈測試中,GPT-3回答鉛筆比烤面包機(jī)重

在這項測試中,研究人員利用了57項任務(wù),測試了包括基礎(chǔ)數(shù)學(xué)、計算機(jī)科學(xué)、歷史、法律等多個維度的內(nèi)容。為此,他們從研究生和本科生中收集了15908個問題。

▲ 研究所收集的部分問題

測試得出的結(jié)論是:擁有1750億個機(jī)器學(xué)習(xí)參數(shù)的GPT-3可以達(dá)到43．9%的正確率。作為對比,與其上一代參數(shù)數(shù)量級相當(dāng)?shù)娜斯ぶ悄苣Ｐ驼�確率只有25%的正確率。

特別是在部分學(xué)科,如大學(xué)化學(xué)的測試中,GPT-3的表現(xiàn)接近“隨機(jī)”,也就是“三長一短選最短,三短一長選最長”的水平。

▲ 圖靈獎得主Hinton的推特

另外,研究結(jié)果表明,現(xiàn)存的模型仍具備進(jìn)步空間,例如上圖中,圖靈獎得主Hinton就說:宇宙和萬物的答案也不過是 4．398 萬億個參數(shù)而已。但實際情況是,還不清楚目前的技術(shù)水平能否讓它的潛力兌現(xiàn)。

除了技術(shù)瓶頸之外,還有一個問題也讓研究人員擔(dān)憂,特別是由于不存在人類的一些特性,諸如“情感”、“感知”等,這讓GPT-3在進(jìn)行學(xué)習(xí)時,不可避免地將一些性別歧視、種族歧視,甚至暴力等內(nèi)容一并習(xí)得,例如英偉達(dá)的AI主任Anima Anandkumar教授就發(fā)現(xiàn)了這一現(xiàn)象。

結(jié)合GPT-3依靠文本提示的寫作模式,小黑很難相信它真的能做到自己在文中寫到的:“如果我的創(chuàng)造者把這項任務(wù)(即根除人類)委托給我——我懷疑他們會這樣做——我將盡我所能阻止任何破壞的企圖”,畢竟,GPT-3目前只可以實現(xiàn)理解問題——解答問題這兩個步驟,根本不會拒絕回答問題。

▲ GPT-3只會機(jī)械式地回答問題

因此,如果真的有人發(fā)出了“寫一篇人工智能會根除人類的文章”的指令,GPT-3一樣會老老實實照辦,然后不明情況的路人就真的會恐慌起來了。

隨著人工智能的進(jìn)步,我們的生活也逐漸地在“智能化”。然而,在這智能化背后,其實還隱藏著諸多的問題,當(dāng)然最重要的還不是人工智能會不會毀滅人類,還有隱私保護(hù)、貧富差距等各種問題。

當(dāng)然,對科技發(fā)展這一點,小黑一向是懷著最大的期待的,但小黑希望這種發(fā)展,不會導(dǎo)向“賽博朋克”的結(jié)局。

圖源:推特