寫在「文心一言」發(fā)布前夕
比當然可以比,有什么不能比的。
文 / 書航 2023.3.15
這篇寫得非常急,因為過了 12 點還不推送,這些預測就發(fā)不出去了。但此前我一直打聽多方消息,到了這個時候,感覺把它們整理出來還是對大家有點用處。
百度從官宣有「文心一言」這么個東西到發(fā)布成品用了一個月多一點,這件事本身并不稀奇。因為文心一言和文心大模型的關系就是 ChatGPT 和 GPT-3 的關系。
百度的大模型已經(jīng)訓練很久了,做個前端應用出來沒那么難。相信這一個月的時間里,絕大部分都是用在談商務合作,找人宣傳,內(nèi)部測試各種刁鉆古怪的用例,以及找 bug 上面。
百度的工具箱里不只有文心大模型,還有支撐它的底層技術,包括它使用自研芯片來訓練。BAT 均宣布了自研芯片用于內(nèi)部訓練,百度對外宣布的「昆侖」已經(jīng)到第二代,采用 7nm 制程,同時也強調(diào)通用性。而第三代會在明年部署。
盡管百度也會將自己的各個模塊比如芯片層、框架層和模型層等分別拓展其對外兼容性和開發(fā)者生態(tài),但它依然認為,都是自己家的東西協(xié)同起來,效果肯定好于一堆通用的方案拼起來的(我們倒是可以將華為的5G技術和OpenRAN陣營,或者x86、ARM陣營和RISC-V陣營之間的比較,作為這個觀點的證據(jù))。
今天 GPT-4 就發(fā)布了,但非常值得注意的是 OpenAI 這一次公布的技術細節(jié)少之又少,跟以前作為慷慨的服務于全人類的非盈利研究機構的感覺大不一樣。這也說明如果某個東西真的是好東西,制作它的人不可能太慷慨。
所有人都在注視「中國的 ChatGPT」,放眼全球似乎也只有中國有機會在現(xiàn)在的時間點做出美國公司之外開發(fā)的競品。能做出來有這個東西,跟這東西是不是一樣的品質(zhì),是兩個不同的問題。
復旦做的 MOSS 發(fā)布倒是最早,但被罵的很慘。當然作為學術實驗項目,口碑不與未來的應用前景關聯(lián),所以可能不是最重要的東西。真正要出產(chǎn)品的公司,其實都在猛打預防針,不斷降低國內(nèi)外關注者的心理預期。具體地說,就是先肯定自己現(xiàn)在一定是做不出 ChatGPT 這么好的效果,會出更多問題,會更笨拙。
比如,小冰前陣子說的「小冰鏈」的說辭是,在全功能但高成本、低效率的大模型中,拆出一部分可以快速商用的做成產(chǎn)品,可能加上一些人工調(diào)優(yōu),會比當前的小冰模型更勝任聊天機器人等角色。即使不考慮類 GPT 的技術,小冰此前也自主實現(xiàn)了其中一些用例,比如文章、圖片、視頻的生成,以及盡可能的多輪對話。這些已經(jīng)做出來的東西,其實也沒必要扔掉,反正外面看來都是在同一個黑箱里面。
那么,百度可能會怎樣說呢?如果我們?yōu)g覽百度的工具箱,可以發(fā)現(xiàn)除了芯片和全技術棧之外,還有一個東西很可能被忽略:知識圖譜。
目前我們知道的百度知識圖譜最新數(shù)據(jù)來自 2020 年,具體表述是「百度打造了世界上最大的多源異構知識圖譜,擁有超過 50 億實體和 5500 億事實,并在不斷演進和更新,每天的調(diào)用次數(shù)超過 400 億次」。
在深度學習突飛猛進的同時,知識圖譜似乎已經(jīng)被人遺忘,也長久沒有進展。然而此前一直有很多 AI 研究人員相信直接建立實體與事件的對應關系,是讓「黑箱」變白,讓 AI 決策過程透明化的關鍵。當然我們知道,截至目前這并沒有發(fā)生。
主要問題是建立知識圖譜的過程太讓人抓狂了。如果部分采用機器生成,那就可能產(chǎn)生錯誤的對應關系——就像百度有時候會在搜索框下面提取出的讓人啼笑皆非的「答案」。(谷歌也這樣。一個著名的例子是它把研究殺滅 WannaCry 勒索病毒的科學家標注為了該病毒的作者。)
如果用人工來梳理——開什么玩笑,是吧?
但是現(xiàn)在,假設 GPT 及同類技術可以產(chǎn)出符合倫理規(guī)范,符合邏輯,而且正確率高于商業(yè)應用所需要的閾值的答案,那么這部分人類打標簽的工作,包括標記知識圖譜,以及清洗深度學習語料等工作,如果可以讓成熟的 GPT 自己內(nèi)循環(huán)的話,就不再是看起來不可能的任務了。
所以,即使中文的優(yōu)質(zhì)語料沒有英文那么多,也有可能通過成熟的 GPT 們代替人工清理過往的素材,核對和搭建知識圖譜,再喂進去實現(xiàn)自我增強。當然,這只是一種理論上的假設。
實際上,不論是否將知識圖譜,或其它現(xiàn)有資源融入文心大模型,現(xiàn)在我們已知它的問題就不算少了。在「文心一格」也就是畫圖應用中,經(jīng)常出現(xiàn) prompt 不能正確認知的情況,我或許可以在明天摸到「文心一言」的時候一起舉例說明。
但是,一個可能證明了他們將知識圖譜引入大模型的例子,是文心一格可以正確了解「米線」「佛跳墻」這些中國菜肴,它們翻譯過后可能產(chǎn)生歧義。相信百度會特別用力宣傳這方面的例子,因為它們剛成立時侯的宣傳語就是「更懂中文」。
為了揚長避短,避免在算力上正面交鋒,以上各種說法都是為了挽救一部分需要訓練才能涌現(xiàn)的能力。涌現(xiàn)能力是 all or nothing,跟 ChatGPT 比了不行是意料之中的,如果有地方勝出,那就是意外收獲嘛。
國產(chǎn)目前就是從 me too 到 me better 的階段,比當然可以比,MOSS 都可以比,有什么不能比的。這就是明天我們面對「文心一言」時候應有的正確預期。
原文標題 : 寫在「文心一言」發(fā)布前夕

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關稅,能否乘機器人東風翻身?