知情郎·眼|

科技那些事兒

OpenAI用一場(chǎng)低調(diào)而華麗的“GPT-4”發(fā)布會(huì)震撼了世界，低調(diào)的是“公關(guān)聲量”，華麗的則是技術(shù)與應(yīng)用。

在這場(chǎng)發(fā)布會(huì)上，人們驚訝的發(fā)現(xiàn)，人工智能不僅能自由的編寫代碼，能承擔(dān)文本、音頻、圖像的生成任務(wù)，甚至還聽(tīng)得懂“梗”，擁有人類般的幽默感。

無(wú)數(shù)人震撼失語(yǔ)，看完這場(chǎng)發(fā)布會(huì)，推想科技CEO陳寬稱“人工智能領(lǐng)域的奇點(diǎn)在敲門”，著名經(jīng)濟(jì)學(xué)家朱嘉明表示，OpenAI又創(chuàng)造出了一個(gè)重大科技事件，AI由此達(dá)到了前所未有的“新歷史高度”。但實(shí)際上，OpenAI GPT-4的應(yīng)用能力比它在發(fā)布會(huì)上展現(xiàn)的還要強(qiáng)大。

GPT-4 強(qiáng)在哪里

和外界此前的猜測(cè)一樣，GPT-4是一個(gè)多模態(tài)大型語(yǔ)言模型，不再僅僅處理文本數(shù)據(jù)，對(duì)圖片也有了理解能力。但相比于此前各大科技公司推出的多模態(tài)模型，GPT-4可以說(shuō)是遙遙領(lǐng)先。雖然官方表示，GPT-4現(xiàn)在只開(kāi)放了文字輸入的功能，圖片輸入功能還在加緊開(kāi)發(fā)中。但在官方的文章中，OpenAI給出了幾個(gè)使用范例，如說(shuō)明圖片的內(nèi)容、分析圖表、解答圖片內(nèi)的考題、找出圖片不尋常的原因等，已經(jīng)讓人大開(kāi)眼界。

在OpenAI官方發(fā)布的視頻中，GPT-4通過(guò)識(shí)別上圖中隨便畫出的草圖，就識(shí)別出了這是一個(gè)關(guān)于網(wǎng)站的草圖，然后“順手”生成了建成這個(gè)網(wǎng)頁(yè)的全部代碼，再然后...一個(gè)網(wǎng)站就這樣建成了。

一直以來(lái)，人工智能雖然表現(xiàn)出了強(qiáng)大的能力，但邏輯推理依然是人類區(qū)別于AI的最顯著特征，而GPT-4表現(xiàn)出的邏輯和推理能力，需要所有人開(kāi)始重新思考人類區(qū)別于AI的本質(zhì)到底是什么。

相比GPT-3.5，GPT-4更可靠、更有創(chuàng)意，對(duì)于更細(xì)微的指令的處理能力更強(qiáng)。在各種專業(yè)測(cè)試和學(xué)術(shù)基準(zhǔn)上，GPT-4與人類水平相當(dāng)。它通過(guò)了模擬律師考試，且分?jǐn)?shù)在應(yīng)試者的前10%左右（GPT-3.5的得分在倒數(shù)10%左右）。此外，對(duì)于英語(yǔ)以外的語(yǔ)種支持，GPT-4也得到了更多優(yōu)化。

GPT-4是如何訓(xùn)練出來(lái)的

遵循GPT、GPT-2和GPT-3的研究路徑，OpenAI的深度學(xué)習(xí)方法利用更多數(shù)據(jù)和更多計(jì)算來(lái)創(chuàng)建越來(lái)越復(fù)雜和強(qiáng)大的語(yǔ)言模型。

OpenAI花了6個(gè)月的時(shí)間使用對(duì)抗性測(cè)試程序和ChatGPT的經(jīng)驗(yàn)教訓(xùn)迭代調(diào)整 GPT-4，從而在真實(shí)性、可操縱性以及拒絕越界和敏感問(wèn)題方面獲得了有史以來(lái)最好的結(jié)果。

在OpenAI的內(nèi)部評(píng)估中，與GPT-3.5相比，GPT-4響應(yīng)被禁止內(nèi)容請(qǐng)求的可能性低82%，產(chǎn)生事實(shí)響應(yīng)的可能性高40%。

與以前的GPT模型一樣，GPT-4基礎(chǔ)模型經(jīng)過(guò)訓(xùn)練可以預(yù)測(cè)文檔中的下一個(gè)單詞，并且使用公開(kāi)可用的數(shù)據(jù)（例如互聯(lián)網(wǎng)數(shù)據(jù)）以及已獲得許可的數(shù)據(jù)進(jìn)行訓(xùn)練。

盡管功能強(qiáng)大，但GPT-4與早期的GPT模型具有相似的局限。最重要的是，它仍然不完全可靠，會(huì)“幻覺(jué)”事實(shí)并出現(xiàn)推理錯(cuò)誤。

GPT-4的訓(xùn)練數(shù)據(jù)截止到2021年9月，因此對(duì)之后發(fā)生的事件缺乏了解，并且不會(huì)從自己的經(jīng)驗(yàn)中學(xué)習(xí)。它有時(shí)會(huì)犯一些簡(jiǎn)單的推理錯(cuò)誤，這些錯(cuò)誤似乎與其強(qiáng)大的跨領(lǐng)域功能不符，有時(shí)也會(huì)過(guò)于輕信用戶明顯錯(cuò)誤的陳述；有時(shí)，它也會(huì)像人類一樣在解決難題時(shí)失敗，例如在生成的代碼中引入安全漏洞。

OpenAI提醒，在使用語(yǔ)言模型輸出時(shí)應(yīng)格外小心，特別是在高風(fēng)險(xiǎn)上下文中，使用符合特定用例需求的確切協(xié)議。

GPT的下一站

關(guān)于GPT-4的下一次革命會(huì)往哪去眾說(shuō)紛紜。但GPT-4自己的回答是：

更廣泛的知識(shí)覆蓋；

更多語(yǔ)言支持；

更好的創(chuàng)造性；

更好的可解釋性和透明度以及結(jié)構(gòu)化數(shù)據(jù)和知識(shí)圖譜。

 圖為GPT-4對(duì)自己優(yōu)化方向的預(yù)測(cè)

OpenAI自己認(rèn)為GPT-4仍然有誤差，并有一定的風(fēng)險(xiǎn)。其工作人員在推特上發(fā)帖稱：“GPT4和GPT3.5之間的差異可能不會(huì)像普通用戶所宣傳的那樣夸大。”

OpenAI納入了更多的人工反饋，包括ChatGPT用戶提交的反饋——這其中可能也包括你與ChatGPT的對(duì)話數(shù)據(jù)。OpenAI還與50多位專家合作，在AI安全和保障等領(lǐng)域獲得早期反饋。

雖然生成內(nèi)容的可靠性仍是一個(gè)真問(wèn)題，但GPT-4相對(duì)于以前的模型顯著減少了胡說(shuō)八道。在OpenAI的內(nèi)部對(duì)抗性真實(shí)性評(píng)估中，GPT-4的得分比OpenAI最新的GPT-3.5高 40%：

GPT-4項(xiàng)目的主要焦點(diǎn)之一是構(gòu)建可預(yù)測(cè)擴(kuò)展的深度學(xué)習(xí)框架，主要原因是對(duì)于像GPT-4這樣非常大的訓(xùn)練任務(wù)，進(jìn)行大量的模型特定調(diào)整是不可行的。

OpenAI開(kāi)發(fā)了基礎(chǔ)設(shè)施和優(yōu)化方法，能夠在多個(gè)規(guī)模下表現(xiàn)出非常可預(yù)測(cè)的行為。為了驗(yàn)證這種可擴(kuò)展性，OpenAI通過(guò)對(duì)使用相同方法進(jìn)行訓(xùn)練但計(jì)算量少10000倍的模型進(jìn)行推斷，在內(nèi)部代碼庫(kù)（不是訓(xùn)練集的一部分）上準(zhǔn)確預(yù)測(cè)了GPT-4的最終損失。

OpenAI正在加大力度開(kāi)發(fā)方法，為社會(huì)提供更好的未來(lái)系統(tǒng)預(yù)期指導(dǎo)，希望這成為該領(lǐng)域的共同目標(biāo)。

德高行知情郎認(rèn)為，GPT-4的突然發(fā)布，讓復(fù)現(xiàn)GPT-3.5和ChatGPT的各類工作都在瞬間黯然失色。在這個(gè)時(shí)候，不僅谷歌等科技大廠需要思考為什么會(huì)落后于僅有三百多名員工的OpenAI，每個(gè)人也都需要思考未來(lái)的創(chuàng)新到底是什么樣子。

【轉(zhuǎn)載請(qǐng)注明德高行·知情郎】

       原文標(biāo)題 : ChatGPT-4震撼發(fā)布，OpenAI的斷崖式領(lǐng)先，人類的專屬技能不多了