李志飛將AIGC看得很透，他可能是行業(yè)里“最不著急”的人。

@數(shù)科星球原創(chuàng)

作者丨苑晶編輯丨大兔

“幾乎每一個(gè)行業(yè)，從業(yè)者都是國外的2倍，利潤又是同行的1/5，讓中國的創(chuàng)業(yè)難度提升了10倍”。李志飛的這句話適用于廣大行業(yè)，也可看成AIGC行業(yè)所面臨的現(xiàn)狀。

在2023年，AIGC行業(yè)開局即炸裂。“被離職”、泛互聯(lián)網(wǎng)從業(yè)者及創(chuàng)業(yè)者扎根其中，保守估計(jì)已逾百萬之眾。熱鬧中裹挾著焦慮，熙熙攘攘的人群中到處可聽見“chat、chat”。

第二季度，國內(nèi)企業(yè)動(dòng)作頻出，百度、360、阿里、商湯相繼發(fā)布自研大模型，創(chuàng)業(yè)圈也熱情不減，王慧文、李開復(fù)、賈揚(yáng)清、王小川相繼下場宣布入局大模型，當(dāng)大家的關(guān)注點(diǎn)都聚焦在5000萬美元能買多少張卡，可以支持幾次訓(xùn)練的時(shí)候，李志飛和出門問問卻走出了另外一條路。自研大模型+AIGC產(chǎn)品矩陣，底層技術(shù)和應(yīng)用落地并行是這家公司的特色，他可能是這個(gè)行業(yè)“最不著急”的人。

01

什么是大模型

在李志飛看來，大模型本質(zhì)上是序列模型。

以GPT為代表的大模型起源于文本，?本是簡單線性序列，從這個(gè)角度看，大模型本質(zhì)上是一個(gè)序列模型。

他認(rèn)為，序列本身是很通用的，語言是一種序列，天氣溫度、股票價(jià)格也是序列。任何一個(gè)序列都有所謂的Prefix（前綴）、中綴（Infix）和 Suffix（后綴），這些元素構(gòu)成短語后就能形成具有遞歸能力的層次式表示，就像語言的語法樹一樣。大模型現(xiàn)在已經(jīng)學(xué)會(huì)快速表達(dá)序列，這一能力是以前的AI在機(jī)器翻譯、語音識(shí)別等序列任務(wù)里都不具備的。而且語言序列只是一種非常簡單的序列，因?yàn)樗�是線性的。

這似乎并不難理解，在數(shù)科星球（ID：digital-planet）多方印證下，找到了序列模型的一些解釋：（GPT、BERT等）之所以被稱為序列模型，是因?yàn)樗鼈兪窃谛蛄袛?shù)據(jù)上進(jìn)行預(yù)訓(xùn)練的。在自然語言處理領(lǐng)域，大模型的輸入通常是一句話或一篇文章，這些輸入可以被看作是一個(gè)序列。因此，在訓(xùn)練這些模型時(shí)，它們通常會(huì)以序列方式處理輸入，并使用一系列技術(shù)來建立記憶和理解上下文之間的關(guān)系，以提供更好的預(yù)測能力。

在數(shù)科星球（ID：digital-planet）的研究中發(fā)現(xiàn)，如今，序列模型在業(yè)界已被廣泛采用。例如，Google的BERT模型可以通過在大量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，理解單詞和短語之間的關(guān)系，從而實(shí)現(xiàn)對(duì)復(fù)雜自然語言處理任務(wù)的卓越表現(xiàn)。同樣，OpenAI的GPT-3模型是基于序列到序列的轉(zhuǎn)換模型，以多種方式訓(xùn)練，使用Transformer架構(gòu)來學(xué)習(xí)計(jì)算機(jī)生成的文本與真實(shí)的人類生成的文本之間的關(guān)系。

值得注意的是，大模型較之以往AI產(chǎn)品的好處是顯而易見的。以往，問題在通過AI生成結(jié)果之前，需要定義語義模板，而這通常是指一種用于描述和表示語言語義信息的結(jié)構(gòu)化模板。這些模板描述了一些常見的語言結(jié)構(gòu)和句式，在生成文本時(shí)可以根據(jù)這些模板來指引生成過程。但缺點(diǎn)是，當(dāng)問題發(fā)生變化，AI的程序也需變化，這讓模型本身變得“不那么通用”。

“而大模型訓(xùn)練過程中并不會(huì)預(yù)設(shè)問題，只在最后Fine Tuning階段給模型一些范例數(shù)據(jù)（而非按照格式去標(biāo)注數(shù)據(jù)），然后就可以直接提問模型并得出答案。”這意味著，大模型產(chǎn)品不需要特意標(biāo)注數(shù)據(jù)和重新訓(xùn)練系統(tǒng)，在通用性角度上，是一種極大的進(jìn)步。

02

參數(shù)不是越多越好

隨著ChatGPT在全球越來越火爆，大模型的基本原理已逐漸被世人熟知。在一個(gè)個(gè)大模型推向市場的同時(shí)，數(shù)科星球（ID：digital-planet）看到，大模型的參數(shù)量變成了人們關(guān)注的焦點(diǎn)。對(duì)此，人工智能科班出身的李志飛認(rèn)為，大模型不只是”大“。

他提到，參數(shù)量超千億的語言模型并非近年才發(fā)展起來，早在2007年，Google Translate的語言模型就已在2萬億文本token里進(jìn)行學(xué)習(xí)，并達(dá)到3000億參數(shù)。但那時(shí)的大模型都是基于文本里的n-grams構(gòu)建，只是對(duì)互聯(lián)網(wǎng)文本的表層建模，至多只能往前看六個(gè)詞，主要用于在翻譯過程中判斷哪些句子更加符合目標(biāo)語言習(xí)慣，并不具備泛化任務(wù)的能力。

所以大模型不只是「大」，更多是需要對(duì)互聯(lián)網(wǎng)文本深度地建模。

在數(shù)科星球（ID：digital-planet）對(duì)話相關(guān)業(yè)內(nèi)人士后，也得出了相似結(jié)論：即大模型并不是參數(shù)越多越好——大模型確實(shí)需要參數(shù)到達(dá)一定的量級(jí)才會(huì)出現(xiàn)“涌現(xiàn)“能力，增加參數(shù)量也的確可以提升模型表現(xiàn)，但也會(huì)帶來以下一些潛在問題：

訓(xùn)練時(shí)間和計(jì)算資源：參數(shù)越多，訓(xùn)練模型所需的時(shí)間和計(jì)算資源就越多。這可能導(dǎo)致開發(fā)周期變長，并需要更強(qiáng)大的硬件設(shè)備才能支持。

過擬合：較多參數(shù)的大模型可能面臨過擬合問題。當(dāng)一個(gè)模型具有太多參數(shù)時(shí)，它可能過于復(fù)雜，以至于對(duì)訓(xùn)練數(shù)據(jù)捕捉過多細(xì)節(jié)，而無法很好地泛化到新的、未見過的數(shù)據(jù)。

優(yōu)化挑戰(zhàn)：參數(shù)較多的模型在尋找最優(yōu)解時(shí)具有更大的搜索空間，從而使優(yōu)化過程更為復(fù)雜和困難。

易用性和部署：大模型可能導(dǎo)致較大的存儲(chǔ)和內(nèi)存需求，這可能影響模型的易用性和部署。在資源受限的設(shè)備上（如移動(dòng)設(shè)備），部署大模型可能存在挑戰(zhàn)。

因此，在設(shè)計(jì)和選擇模型時(shí)，應(yīng)該根據(jù)任務(wù)需求和資源限制來平衡模型的大小和復(fù)雜度。在實(shí)際應(yīng)用中，往往需要找到模型大小和性能之間的最佳平衡點(diǎn)。有時(shí)候，使用更小的模型加上合適的正則化方法、數(shù)據(jù)增強(qiáng)等技術(shù)，也能達(dá)到不錯(cuò)的效果。

03

關(guān)鍵在于把如何大模型用起來

4月20日，出門問問在2023AIGC戰(zhàn)略發(fā)布會(huì)上內(nèi)測自研大模型“序列猴子”，展示了其在知識(shí)儲(chǔ)備、多步推理等方面的能力，李志飛本人甚至做了一場“人機(jī)交互”的live demo。

此外，出門問問還推出了四款A(yù)IGC產(chǎn)品形成產(chǎn)品矩陣，分別為AI寫作平臺(tái)“奇妙文”、AI繪畫平臺(tái)“言之畫”、AI配音平臺(tái)“魔音工坊”、數(shù)字人視頻與直播平臺(tái)“奇妙元”，涵蓋了劇本生成、解說講稿、文本工具、創(chuàng)意想法、視頻制作和制圖配圖等多個(gè)使用場景。

自2012年成立，出門問問這家公司在語音識(shí)別、TTS和NLP等領(lǐng)域均有嘗試。2020年6月，GPT-3出現(xiàn)之后其強(qiáng)大的通用能力讓人李志飛非常震撼，一個(gè)單一的模型便可以完成多種特定任務(wù)，甚至能夠完成從來沒有接觸過的任務(wù)。驚艷于GPT-3的表現(xiàn)，出門問問開始探索中國GPT-3之路，并于2021年發(fā)布大模型「UCLAI」，但由于其商業(yè)化落地過于艱難，出門問問便停止了對(duì)大模型的投入。

隨后的一年多時(shí)間里，出門問問開始布局生成式AI，做出了一系列AIGC產(chǎn)品，如「魔音工坊」和「奇妙元」。同時(shí)在美國，以Jasper為代表的AIGC產(chǎn)品迎來爆發(fā)式發(fā)展，成為GPT落地應(yīng)用的最佳場景之一。

2022年10月，出門問問重啟大模型業(yè)務(wù)。歷經(jīng)6個(gè)月，出門問問在發(fā)布會(huì)中連發(fā)4款A(yù)IGC產(chǎn)品，涵蓋劇本生成、解說講稿、文本工具、創(chuàng)意想法、視頻制作和制圖配圖等多個(gè)使用場景形成覆蓋創(chuàng)作者全流程的生成式產(chǎn)品矩陣。

厚積薄發(fā)之下，大模型技術(shù)以及AIGC落地場景和產(chǎn)品應(yīng)用的積累徹底打通了出門問問的“任督二脈”，讓產(chǎn)品-數(shù)據(jù)和用戶之間形成了飛輪效應(yīng)。

客觀地說，出門問問的模式可以成為大模型和AIGC企業(yè)的成長樣板，在可預(yù)期的未來，AIGC產(chǎn)品之間也將在進(jìn)一步提升語義語境理解、垂直模型和個(gè)性化之間展開。在數(shù)科星球（ID：digital-planet）看來這場技術(shù)革命才剛剛開始，遠(yuǎn)沒到終局之時(shí)。

不過面對(duì)OpenAI引發(fā)的這場技術(shù)浪潮，相比于年初的滿腔熱血，李志飛理性了很多。

“跟ChatGPT差距是16個(gè)月 ”是李志飛對(duì)國內(nèi)大模型技術(shù)水平的判斷，他認(rèn)為，目前國內(nèi)各家大模型的平均水平大概處于谷歌FLAN階段（FLAN開啟了大模型的指令學(xué)習(xí)Instruction Tuning范式），

做大模型不能太著急，它是個(gè)長期主義的事情。

如今，在琳瑯滿目的AIGC類產(chǎn)品推向市場的同時(shí)，數(shù)科星球（ID：digital-planet）認(rèn)為，創(chuàng)業(yè)企業(yè)在構(gòu)建技術(shù)底座的同時(shí)，還應(yīng)該明確落地場景和商業(yè)模式。畢竟目前，國內(nèi)外差距展現(xiàn)出來的只是技術(shù)問題，而中國擁有全球難以企及的應(yīng)用優(yōu)勢。技術(shù)和商業(yè)并行，兩條腿走路或許是最適合國內(nèi)大模型企業(yè)的發(fā)展路線，就像李志飛所說，發(fā)展大模型的關(guān)鍵在于把如何大模型用起來。

結(jié)尾：在對(duì)話多家AIGC企業(yè)后，數(shù)科星球（ID：digital-planet）覺得，李志飛和出門問問可能是行業(yè)中“最不著急”的人。他本人對(duì)AIGC的態(tài)度是長期看好，但并不焦慮。

現(xiàn)在，AIGC的子彈飛翔兩個(gè)多月，并攪得行業(yè)“天下大亂”。在未來，數(shù)科星球（ID：digital-planet）希望看到更多更扎實(shí)、更能沉得住氣的企業(yè)加入AIGC大潮。有理由相信，倘若再給行業(yè)多些時(shí)間，那么將會(huì)有更多的企業(yè)給大眾帶來更多驚喜。

       原文標(biāo)題 : 出門問問把AIGC看得很透徹