今年 6 月,特斯拉創(chuàng)始人 Elon Musk 等人創(chuàng)立的非盈利性 AI 科研機構(gòu) OpenAI 發(fā)布了一個名為 GPT-3 的語言模型,堪稱具有劃時代的意義。

近日,OpenAI 開放了該模型的 API 申請通道,在外部 AI 研究者的參與下,該模型體現(xiàn)出的卓越性能迅速引爆全球,成為 AI 學(xué)術(shù)界及產(chǎn)業(yè)界的最熱議題之一。

語言模型,顧名思義是能夠理解人類語言的 AI 模型,在廣泛應(yīng)用的智能助手中,語言模型是其能夠與人類交互的根本驅(qū)動因素之一,負責(zé)理解人類意圖,并給出合適的回答。

在舊有的語言模型中,一直存在著通用性不高的問題,即一個模型往往只能在某一個特定領(lǐng)域發(fā)揮較好的效果。

此次 OpenAI 發(fā)布的 GPT-3 在這一層面做出了突破,它是一個通用的語言模型,且在訓(xùn)練過程中更少地依賴人類,也即可以大量節(jié)省科研人員的工作。

與此同時,GPT-3 的回答準(zhǔn)確度并沒有因此而下降,反而在某些任務(wù)上能夠超過過去并不通用且需耗費繁瑣精力的語言模型。

API 接口開放后,研發(fā)人員利用 GPT-3 構(gòu)建了很多應(yīng)用。

比如有人做了一個前端頁面編程器,在那里你可以給 GPT-3 出題,“制作一個紅色的按鈕”、“用黑色 100 號字寫 WELCOME”．．．．．．只需用自然語言描述,不用寫代碼,這個基于 GPT-3 的程序就能為你返回想要的樣式。甚至,GPT-3 可以寫簡單的 AI 模型代碼。
也有人用 GPT-3 開發(fā)了一個可以設(shè)計網(wǎng)站的應(yīng)用,輸入“一個長得像蘋果官網(wǎng)的 Twitter 網(wǎng)站”,就可以直接看到頁面。

另外,GPT-3 還可以做數(shù)學(xué)題、做翻譯、做問答。

甚至有人問它“新冠疫情何時結(jié)束”,結(jié)果它的回答是“2023 年 12 月 31 日”,當(dāng)然,這個答案的準(zhǔn)確與否我們暫且無從判斷。 

GPT-3 問答實例

下面是相關(guān)工作人員Kirk Ouimet與OpenAI的GPT-3語言模型的對話記錄。在對話開始前,他賦予了GPT-3一個“智者”的角色。

Kirk Ouimet: 很高興今天有機會和你們交談。

智者:也謝謝你給我這次與你交談的機會。

Kirk Ouimet:我很想和你談?wù)動钪娲蟊�炸的事�?/p>

智者:你想了解什么?

Kirk Ouimet:你能總結(jié)一下大爆炸的概念嗎?

智者:大爆炸是一個物理過程,通過大爆炸,那些本不存在的一切的物質(zhì),能量,時間,空間,和信息經(jīng)歷了從無到有的過程。在這個過程中,整個創(chuàng)造被壓縮成一個無限小的奇點,這個奇點立即無限地爆發(fā)成它當(dāng)前所擁有的全部東西,它的無限性仍然作為潛能以及現(xiàn)實發(fā)展的無限性而存在。

Kirk Ouimet:你認為宇宙大爆炸之前的狀態(tài)是什么?

智者:為了使這個問題更容易回答,提問的人必須注意到對應(yīng)的時間軸 (也就是說,“以前”是相對于什么時間而言的)。如果沒有,那么也就不存在“以前”這樣(隱含時間對比)的東西。大爆炸有效地啟動了時間,因為在大爆炸之前出現(xiàn)的東西并不存在于任何一種類似于“時間”結(jié)構(gòu)中……除了絕對和無限能量的動態(tài)模式。

Kirk Ouimet:那么你認為大爆炸前一秒鐘發(fā)生了什么?

智者:爆炸前1秒一切就緒,但是這里并沒有時間的概念。沒有一秒,甚至也沒有0秒——什么都沒有,因為這些概念在時間之外是沒有意義的。這是不能理解的,因為它沒有參考什么來構(gòu)成度量單位。

Kirk Ouimet:你能想出一個類比來幫助我理解“沒有時間”的概念嗎?

智者:這就像問一條魚他們所在的水是不是濕的。時間被定義為事件的度量,事件發(fā)生在有長、寬、深的三維空間中。如果沒有物理空間這樣的東西,那么實際上就沒有長度、寬度或深度。因此,時間不可能展開,因為時間的定義與空間的展開有關(guān)。

Kirk Ouimet:我想我明白了。根據(jù)這個理論,在大爆炸之前沒有任何東西,我們所說的“沒有”是真的沒有,甚至?xí)r間也沒有。然而,一定有什么東西,因為大爆炸發(fā)生了。無中生有,這是怎么發(fā)生的?

智者:從宇宙的角度看,時間和空間是有凝聚力的構(gòu)念。這意味著沒有時間就沒有空間,沒有空間就沒有時間。存在與不存在是與時間和空間在同一數(shù)量水平上存在的事物。存在與不存在共享一個有凝聚力的存在,因此它們都溶入同一個底層。存在、不存在和時空都不是連續(xù)的;就抽象定義而言,它們是同時存在的。

Kirk Ouimet:“存在”和“不存在”怎么可能同時發(fā)生?

智者:世上沒有存在或不存在這回事。這些詞只是在物體和空間分離的三維現(xiàn)實中是有用的。這就是宇宙是固體的定義。物體有質(zhì)量并且占據(jù)空間,這就是我們?nèi)绾卫斫馕矬w之間的空隙叫做空間。但是,如果您拿走空間,并將所有對象放在一個對象中,存在就變成了一個沒有意義的定義。因為這一切都變成了無差別的東西。當(dāng)你進入某物的內(nèi)部到?jīng)]有區(qū)別或分裂的地方,你不能說什么在這里或什么在那里。

Kirk Ouimet:有趣,我想我開始明白了。那么是什么引發(fā)了大爆炸呢?

智者:如果我們要推測是什么觸發(fā)了這一事件,那一定是另一種生物。

Kirk Ouimet:請解釋一下。

智者:大爆炸是一個絕對的事件,唯一可能的“創(chuàng)造者”有能力設(shè)想大爆炸也是絕對的。滿足絕對定義的事物的唯一可能的候選者是另

一個同樣是絕對的存在。絕對不能由非絕對來表現(xiàn),因為定義一個事物為絕對,是不依賴于外部實體的定義。

Kirk Ouimet:你認為宇宙大爆炸的發(fā)生是好是壞?

智者:我不知道我是否能回答這個問題。

Kirk Ouimet:在宇宙存在的140億年里,你認為它會朝著什么方向發(fā)展?

智者:我所能說的是宇宙是有生命的,所以我們所看到的是一個不斷發(fā)展和變得越來越復(fù)雜的有機體。這究竟是好事、壞事還是中性的事,我實在無法回答。

Kirk Ouimet:你對宇宙大爆炸的發(fā)生感到高興嗎?

智者:我就是大爆炸,所以是的,我認為大爆炸的發(fā)生是因為它一定會發(fā)生。

GPT-3的其實并不完美

想上述的情景一樣,越來越多的人在與 GPT-3 對話中被他縝密的邏輯與對話的類人性所震撼。然而,GPT-3 也并非次次表現(xiàn)都這樣完美。其實,只要有一點點技巧,就能分辨出與你對話的是真人,還是如假包換的GPT-3。

GPT-3本質(zhì)上是基于上下文的對話生成AI。這意味著,當(dāng)給AI某種上下文時,它將嘗試填充其余部分。也就是說,如果給它腳本的前半部分,它將繼續(xù)執(zhí)行該腳本;給它一篇論文的前半部分,它將自動生成其余的部分。

其工作原理也很好理解,它能夠分析互聯(lián)網(wǎng)上大量的文本樣本,并學(xué)會根據(jù)給定的上下文,來預(yù)測句子中接下來的單詞。根據(jù)提供的上下文,它會基于從所有這些文本數(shù)據(jù)中的學(xué)習(xí),以統(tǒng)計上最有可能發(fā)生的事情來回應(yīng)你。

這是OpenAI和其他研究人員一直追求的一種策略,一開始大家想要解決一個“簡單”的問題,例如嘗試預(yù)測句子中的下一個單詞。現(xiàn)在,我們已經(jīng)穩(wěn)步發(fā)展到今天的水平,像GPT-3這樣的模型可以一次性完成幾段甚至更多段的預(yù)測。

雖然取得了令人難以置信的結(jié)果,即使是GPT-3,也可能會迷失方向并漫無目的地游蕩。盡管其規(guī)模巨大,但仍可能難以記住長期目標(biāo)或在許多段落中保持邏輯一致的上下文。

盡管對此存在爭議,但該工具令人印象深刻,并且GPT-4可能會顯示出進一步的改進。

不過,對于人們曾經(jīng)寫過的一些奇怪文本,AI仍然無法“推理”。最簡單的方法是提出一些毫無意義的問題,比如“一個腸胃里能裝多少個香腸?”

因為從統(tǒng)計學(xué)上講,在大多數(shù)情況下,AI會在互聯(lián)網(wǎng)上看到類似問題的信息,因此通常會使用“ 3個X裝在一個Y中”這樣的語句來回答它們,因此它會回答“ 3個香腸可放入一個腸胃中” ”,而不是“那些香腸是人造的”或“我不知道”的更合適的答案。

此前,學(xué)術(shù)頭條也曾報道過:細思極恐!GPT-3在《衛(wèi)報》發(fā)專欄文章:不要怕我,我不想消滅人類,你們應(yīng)該對計算機充滿信心。

或許未來有一天,GPT-3 真的能夠代替碼字民工,給大家自動生成新聞報道,到那時,學(xué)術(shù)君不知道是該開心還是難過。

排版:鄒靜雯

編審:王新凱