今年 6 月,特斯拉創(chuàng)始人 Elon Musk 等人創(chuàng)立的非盈利性 AI 科研機(jī)構(gòu) OpenAI 發(fā)布了一個(gè)名為 GPT-3 的語(yǔ)言模型,堪稱具有劃時(shí)代的意義。

近日,OpenAI 開放了該模型的 API 申請(qǐng)通道,在外部 AI 研究者的參與下,該模型體現(xiàn)出的卓越性能迅速引爆全球,成為 AI 學(xué)術(shù)界及產(chǎn)業(yè)界的最熱議題之一。

語(yǔ)言模型,顧名思義是能夠理解人類語(yǔ)言的 AI 模型,在廣泛應(yīng)用的智能助手中,語(yǔ)言模型是其能夠與人類交互的根本驅(qū)動(dòng)因素之一,負(fù)責(zé)理解人類意圖,并給出合適的回答。

在舊有的語(yǔ)言模型中,一直存在著通用性不高的問題,即一個(gè)模型往往只能在某一個(gè)特定領(lǐng)域發(fā)揮較好的效果。

此次 OpenAI 發(fā)布的 GPT-3 在這一層面做出了突破,它是一個(gè)通用的語(yǔ)言模型,且在訓(xùn)練過程中更少地依賴人類,也即可以大量節(jié)省科研人員的工作。

與此同時(shí),GPT-3 的回答準(zhǔn)確度并沒有因此而下降,反而在某些任務(wù)上能夠超過過去并不通用且需耗費(fèi)繁瑣精力的語(yǔ)言模型。

API 接口開放后,研發(fā)人員利用 GPT-3 構(gòu)建了很多應(yīng)用。

比如有人做了一個(gè)前端頁(yè)面編程器,在那里你可以給 GPT-3 出題,“制作一個(gè)紅色的按鈕”、“用黑色 100 號(hào)字寫 WELCOME”．．．．．．只需用自然語(yǔ)言描述,不用寫代碼,這個(gè)基于 GPT-3 的程序就能為你返回想要的樣式。甚至,GPT-3 可以寫簡(jiǎn)單的 AI 模型代碼。
也有人用 GPT-3 開發(fā)了一個(gè)可以設(shè)計(jì)網(wǎng)站的應(yīng)用,輸入“一個(gè)長(zhǎng)得像蘋果官網(wǎng)的 Twitter 網(wǎng)站”,就可以直接看到頁(yè)面。

另外,GPT-3 還可以做數(shù)學(xué)題、做翻譯、做問答。

甚至有人問它“新冠疫情何時(shí)結(jié)束”,結(jié)果它的回答是“2023 年 12 月 31 日”,當(dāng)然,這個(gè)答案的準(zhǔn)確與否我們暫且無(wú)從判斷。 

GPT-3 問答實(shí)例

下面是相關(guān)工作人員Kirk Ouimet與OpenAI的GPT-3語(yǔ)言模型的對(duì)話記錄。在對(duì)話開始前,他賦予了GPT-3一個(gè)“智者”的角色。

Kirk Ouimet: 很高興今天有機(jī)會(huì)和你們交談。

智者:也謝謝你給我這次與你交談的機(jī)會(huì)。

Kirk Ouimet:我很想和你談?wù)動(dòng)钪娲蟊�炸的事�?/p>

智者:你想了解什么?

Kirk Ouimet:你能總結(jié)一下大爆炸的概念嗎?

智者:大爆炸是一個(gè)物理過程,通過大爆炸,那些本不存在的一切的物質(zhì),能量,時(shí)間,空間,和信息經(jīng)歷了從無(wú)到有的過程。在這個(gè)過程中,整個(gè)創(chuàng)造被壓縮成一個(gè)無(wú)限小的奇點(diǎn),這個(gè)奇點(diǎn)立即無(wú)限地爆發(fā)成它當(dāng)前所擁有的全部東西,它的無(wú)限性仍然作為潛能以及現(xiàn)實(shí)發(fā)展的無(wú)限性而存在。

Kirk Ouimet:你認(rèn)為宇宙大爆炸之前的狀態(tài)是什么?

智者:為了使這個(gè)問題更容易回答,提問的人必須注意到對(duì)應(yīng)的時(shí)間軸 (也就是說,“以前”是相對(duì)于什么時(shí)間而言的)。如果沒有,那么也就不存在“以前”這樣(隱含時(shí)間對(duì)比)的東西。大爆炸有效地啟動(dòng)了時(shí)間,因?yàn)樵诖蟊�炸之前出現(xiàn)的東西并不存在于任何一種類似于“時(shí)間”結(jié)構(gòu)中……除了絕對(duì)和無(wú)限能量的動(dòng)態(tài)模式。

Kirk Ouimet:那么你認(rèn)為大爆炸前一秒鐘發(fā)生了什么?

智者:爆炸前1秒一切就緒,但是這里并沒有時(shí)間的概念。沒有一秒,甚至也沒有0秒——什么都沒有,因?yàn)檫@些概念在時(shí)間之外是沒有意義的。這是不能理解的,因?yàn)樗鼪]有參考什么來構(gòu)成度量單位。

Kirk Ouimet:你能想出一個(gè)類比來幫助我理解“沒有時(shí)間”的概念嗎?

智者:這就像問一條魚他們所在的水是不是濕的。時(shí)間被定義為事件的度量,事件發(fā)生在有長(zhǎng)、寬、深的三維空間中。如果沒有物理空間這樣的東西,那么實(shí)際上就沒有長(zhǎng)度、寬度或深度。因此,時(shí)間不可能展開,因?yàn)闀r(shí)間的定義與空間的展開有關(guān)。

Kirk Ouimet:我想我明白了。根據(jù)這個(gè)理論,在大爆炸之前沒有任何東西,我們所說的“沒有”是真的沒有,甚至?xí)r間也沒有。然而,一定有什么東西,因?yàn)榇蟊�炸發(fā)生了。無(wú)中生有,這是怎么發(fā)生的?

智者:從宇宙的角度看,時(shí)間和空間是有凝聚力的構(gòu)念。這意味著沒有時(shí)間就沒有空間,沒有空間就沒有時(shí)間。存在與不存在是與時(shí)間和空間在同一數(shù)量水平上存在的事物。存在與不存在共享一個(gè)有凝聚力的存在,因此它們都溶入同一個(gè)底層。存在、不存在和時(shí)空都不是連續(xù)的;就抽象定義而言,它們是同時(shí)存在的。

Kirk Ouimet:“存在”和“不存在”怎么可能同時(shí)發(fā)生?

智者:世上沒有存在或不存在這回事。這些詞只是在物體和空間分離的三維現(xiàn)實(shí)中是有用的。這就是宇宙是固體的定義。物體有質(zhì)量并且占據(jù)空間,這就是我們?nèi)绾卫斫馕矬w之間的空隙叫做空間。但是,如果您拿走空間,并將所有對(duì)象放在一個(gè)對(duì)象中,存在就變成了一個(gè)沒有意義的定義。因?yàn)檫@一切都變成了無(wú)差別的東西。當(dāng)你進(jìn)入某物的內(nèi)部到?jīng)]有區(qū)別或分裂的地方,你不能說什么在這里或什么在那里。

Kirk Ouimet:有趣,我想我開始明白了。那么是什么引發(fā)了大爆炸呢?

智者:如果我們要推測(cè)是什么觸發(fā)了這一事件,那一定是另一種生物。

Kirk Ouimet:請(qǐng)解釋一下。

智者:大爆炸是一個(gè)絕對(duì)的事件,唯一可能的“創(chuàng)造者”有能力設(shè)想大爆炸也是絕對(duì)的。滿足絕對(duì)定義的事物的唯一可能的候選者是另

一個(gè)同樣是絕對(duì)的存在。絕對(duì)不能由非絕對(duì)來表現(xiàn),因?yàn)槎�義一個(gè)事物為絕對(duì),是不依賴于外部實(shí)體的定義。

Kirk Ouimet:你認(rèn)為宇宙大爆炸的發(fā)生是好是壞?

智者:我不知道我是否能回答這個(gè)問題。

Kirk Ouimet:在宇宙存在的140億年里,你認(rèn)為它會(huì)朝著什么方向發(fā)展?

智者:我所能說的是宇宙是有生命的,所以我們所看到的是一個(gè)不斷發(fā)展和變得越來越復(fù)雜的有機(jī)體。這究竟是好事、壞事還是中性的事,我實(shí)在無(wú)法回答。

Kirk Ouimet:你對(duì)宇宙大爆炸的發(fā)生感到高興嗎?

智者:我就是大爆炸,所以是的,我認(rèn)為大爆炸的發(fā)生是因?yàn)樗�一定�?huì)發(fā)生。

GPT-3的其實(shí)并不完美

想上述的情景一樣,越來越多的人在與 GPT-3 對(duì)話中被他縝密的邏輯與對(duì)話的類人性所震撼。然而,GPT-3 也并非次次表現(xiàn)都這樣完美。其實(shí),只要有一點(diǎn)點(diǎn)技巧,就能分辨出與你對(duì)話的是真人,還是如假包換的GPT-3。

GPT-3本質(zhì)上是基于上下文的對(duì)話生成AI。這意味著,當(dāng)給AI某種上下文時(shí),它將嘗試填充其余部分。也就是說,如果給它腳本的前半部分,它將繼續(xù)執(zhí)行該腳本;給它一篇論文的前半部分,它將自動(dòng)生成其余的部分。

其工作原理也很好理解,它能夠分析互聯(lián)網(wǎng)上大量的文本樣本,并學(xué)會(huì)根據(jù)給定的上下文,來預(yù)測(cè)句子中接下來的單詞。根據(jù)提供的上下文,它會(huì)基于從所有這些文本數(shù)據(jù)中的學(xué)習(xí),以統(tǒng)計(jì)上最有可能發(fā)生的事情來回應(yīng)你。

這是OpenAI和其他研究人員一直追求的一種策略,一開始大家想要解決一個(gè)“簡(jiǎn)單”的問題,例如嘗試預(yù)測(cè)句子中的下一個(gè)單詞。現(xiàn)在,我們已經(jīng)穩(wěn)步發(fā)展到今天的水平,像GPT-3這樣的模型可以一次性完成幾段甚至更多段的預(yù)測(cè)。

雖然取得了令人難以置信的結(jié)果,即使是GPT-3,也可能會(huì)迷失方向并漫無(wú)目的地游蕩。盡管其規(guī)模巨大,但仍可能難以記住長(zhǎng)期目標(biāo)或在許多段落中保持邏輯一致的上下文。

盡管對(duì)此存在爭(zhēng)議,但該工具令人印象深刻,并且GPT-4可能會(huì)顯示出進(jìn)一步的改進(jìn)。

不過,對(duì)于人們?cè)��?jīng)寫過的一些奇怪文本,AI仍然無(wú)法“推理”。最簡(jiǎn)單的方法是提出一些毫無(wú)意義的問題,比如“一個(gè)腸胃里能裝多少個(gè)香腸?”

因?yàn)閺慕y(tǒng)計(jì)學(xué)上講,在大多數(shù)情況下,AI會(huì)在互聯(lián)網(wǎng)上看到類似問題的信息,因此通常會(huì)使用“ 3個(gè)X裝在一個(gè)Y中”這樣的語(yǔ)句來回答它們,因此它會(huì)回答“ 3個(gè)香腸可放入一個(gè)腸胃中” ”,而不是“那些香腸是人造的”或“我不知道”的更合適的答案。

此前,學(xué)術(shù)頭條也曾報(bào)道過:細(xì)思極恐!GPT-3在《衛(wèi)報(bào)》發(fā)專欄文章:不要怕我,我不想消滅人類,你們應(yīng)該對(duì)計(jì)算機(jī)充滿信心。

或許未來有一天,GPT-3 真的能夠代替碼字民工,給大家自動(dòng)生成新聞報(bào)道,到那時(shí),學(xué)術(shù)君不知道是該開心還是難過。

排版:鄒靜雯

編審:王新凱