訂閱
糾錯
加入自媒體

知識增強千億大模型發(fā)布,AI產業(yè)步入大模型時代

2021-12-10 09:58
腦極體
關注

幾年來,預訓練大模型逐漸從一個AI領域內的技術語言,變成了強勢出圈的產業(yè)熱點與社會關注話題。但如果大家關注這一話題,會很容易注意到越來越多的聲音開始反思大模型的發(fā)展之路。比如,大模型是不是應該一味追求龐大的訓練參數?在發(fā)展路徑上我們是不是只能嚴格對標GPT-3等國際著名大模型產品?

當中國科技企業(yè)與研究機構紛紛投入大模型競爭時,是不是有可能探索出一條屬于自己的道路?

在科技自立的需求愈發(fā)嚴峻與明確時,透過大模型競賽,我們可以看到更多關于AI的產業(yè)啟示與戰(zhàn)略思考。

透過全球首個知識增強千億大模型,看到中國AI差異化發(fā)展之路

12月8日,鵬城實驗室與百度聯合召開發(fā)布會,正式發(fā)布雙方共同研發(fā)的全球首個知識增強千億大模型——鵬城-百度·文心。這一大模型參數規(guī)模達到2600億,并且在全球60多項NLP任務中取得了最佳效果。同時,百度產業(yè)級知識增強大模型“文心”家族也首次亮相。

早在2019年,百度就開始布局文心預訓練模型,如今它也率先走向了差異化拐點。當大眾對知識增強這一概念的熟稔遠不如大模型本身時,百度文心選擇了這條聽上去陌生,但卻至關重要的產業(yè)新徑。

大模型為什么重要?為什么我們應該在大模型上探索出新的方向?透過百度文心大模型,我們看到的是科技自立的遠方,看到的是中國AI的飛翔之地。

大模型不是軍備競賽,而是教育競賽

首先來看大模型本身的行業(yè)意義與發(fā)展背景。

如今,似乎每家AI企業(yè)和研究機構都在做大模型。這種火熱局面經常被稱為“大模型的軍備競賽”。但如果我們要理解的是,大模型本身是一種產業(yè)基礎設施和輔助工具,并不是企業(yè)與機構的“不傳之秘”。

AI產業(yè)發(fā)展大模型,就像是國家發(fā)展教育事業(yè),本身是為了培養(yǎng)更多人才和創(chuàng)新能力,增強整個社會的能動性。

通過海量數據的預訓練集成,大模型可以有效降低個體企業(yè)與具體行業(yè)的AI應用門檻,解決數據標注與行業(yè)差異化適配的問題。大模型就像一間間學校,培養(yǎng)了具有通識能力與高素質的人才,從而避免了企業(yè)需要從小學知識開始重新培養(yǎng)人才。

透過全球首個知識增強千億大模型,看到中國AI差異化發(fā)展之路

這也就將引出一個關鍵問題:既然大模型是一種“教育系統(tǒng)”,那么教育就應該貼合社會的實際需求。學?隙ú皇且杂玫袅硕嗌贂緛碓u價質量,就像大模型不能僅以訓練參數定優(yōu)劣,更重要的是教育方法是不是與社會適配,能否培育出具有強大能力的人才。

從這個維度上思考,中國AI產業(yè)要一直跟隨GPT-3等大模型的腳步,一味在訓練參數上標榜自身嗎?

中國的產業(yè)底座、應用需求、技術領導力,是否有可能培育出自己的差異化大模型之路?

此次百度發(fā)布的鵬城-百度·文心,以及亮相的百度文心大模型,或許就是答案的方向。

跳出藩籬:知識增強大模型的差異化之路

2019年3月,在全球大模型的剛剛開始起步的時候,百度就發(fā)布了ERNIE 1.0版本,提出了知識增強的語義表示模型。2019年7月,ERNIE 2.0 則構建了持續(xù)學習語義理解框架,在中英文 16 個任務上取得了業(yè)界最佳效果。

面向NLP領域AI的探索,文心大模型跳出了以往大模型的窠臼,采用了知識增強這一全新技術路徑。知識增強將百度在知識圖譜、跨模態(tài)學習等領域的技術能力,與模型訓練學習方面的產業(yè)積累結合,實現了更高效率的學習,令模型的理解與生成能力顯著增強。

透過全球首個知識增強千億大模型,看到中國AI差異化發(fā)展之路

這也很像人類學習的過程,具體信息的學習固然重要,同時知識與邏輯的學習也必不可少。知識既構成了人的通識能力基礎,也可以顯著提升具體能力的學習與應用。在大模型領域,知識與深度學習的結合起到了事半功倍的效果。

與此同時,文心大模型還強化了跨語言、跨模態(tài)的學習能力。在技術的不斷迭代之下,文心大模型的泛化能力更強,可以適應更具體真實的任務應用,尤其是處理小樣本學習任務的能力。

透過全球首個知識增強千億大模型,看到中國AI差異化發(fā)展之路

(鵬城-百度·文心模型結構圖)

這條差異化之路,讓鵬城-百度·文心千億大模型可以實現更高效率的學習,并在同等參數空間下實現效果更優(yōu),并且符合真實場景的應用需求。而能夠實現知識增強這條新路的開拓,得益于百度在知識、深度學習、以及模型開發(fā)訓練并行且長期的布局積累,也得益于鵬城云腦Ⅱ提供的強大算力。

中國AI的積累、實力與需求,共同構成了差異化之路的起點。從這個意義上來看,知識增強大模型的價值并不僅僅在大模型本身。

走向通用:百度文心的應用拓展空間

BERT、GPT-3等大模型確實取得了驚人的效果,但大模型也經常因為應用上的滯后性引發(fā)質疑。其原因主要來自兩方面:一是大模型的算力需求過大,成本高昂;二是大模型的泛化能力欠佳,經常難以解決應用場景中復雜多變的實際問題。

面對這些問題,鵬城-百度·文心實現了更強的應用能力。在場景化應用方案中,鵬城-百度·文心可以實現多尺寸的模型蒸餾,甚至以極小尺寸適配具體需求,降低大模型使用門檻與成本。

在通用能力上,通過與知識的結合加上跨語言、跨模態(tài)能力的融入,文心大模型可以適配更加多樣化、通用化的任務,在通信、金融、醫(yī)療等領域具備廣泛的應用前景與想象空間。

鵬城-百度·文心在60多項國際著名任務上取得了領先優(yōu)勢,其中有30多項是小樣本、零樣本學習的任務,表明了鵬城-百度·文心的泛化應用能力更強,可以低門檻適配行業(yè)需求與行業(yè)能力。

透過全球首個知識增強千億大模型,看到中國AI差異化發(fā)展之路

(鵬城-百度·文心小樣本學習效果)

透過全球首個知識增強千億大模型,看到中國AI差異化發(fā)展之路

(鵬城-百度·文心零樣本學習效果)

在金融領域,文心大模型賦能可以結合百度全流程AI開發(fā)平臺BML提供的模型再訓練能力,基于定制的保險合同條款“智能解析模型”,完成一份合同內近40個類目條款的智能分類,讓業(yè)務員處理單份合同文本的時長縮短到1分鐘,速度提升幾十倍。在智能客服領域,文心大模型可以有效提升服務的精準性。這一能力目前已經在浦發(fā)銀行、中國聯通等國內眾多企業(yè)中得到應用。

整體而言,文心大模型在相對復雜、有考驗性的應用場景具備更加強大的表現。比如媒體創(chuàng)作、醫(yī)療文本分析、金融信息研判、合同分析等等,這些應用空間非常廣闊,并且能夠適配的AI技術凈值很高,具有明確的商業(yè)化動力。

AI正在走向工業(yè)大生產,其中核心就是讓實驗室中的強大AI能力,走入產業(yè),擁抱真實需求。而這就需要大模型具備更強的通用化能力,鵬城-百度·文心正是踏出了這樣的關鍵一步。

文心之路,自立之路:中國AI的飛翔之地

從技術差異和應用場景出發(fā),我們其實可以從鵬城-百度·文心和百度文心大模型里看到更遠。如今,科技自立成為了時代潮流與企業(yè)責任,而到底什么是真正的科技自立呢?從鵬城-百度·文心中,我們或許能找到一些新的經驗與標準。

在全球矚目的大模型領域中,知識增強大模型成功打破了固有邊界,跳出了“質變沒有就拼量變”的傳統(tǒng)邏輯?萍甲粤⒉皇悄阌惺裁次乙惨肇埉嫽,你有千億參數我有萬億參數,而是結合自己的特點與需求,走出能夠引領潮流,有獨特發(fā)展空間的差異化之路。

此次百度的大模型最新發(fā)布亮相,可以看到中國AI厚積薄發(fā),學中能變的時代腳步。

在前沿探索上,百度文心大模型在知識增強這個關鍵點上打破了大模型的產業(yè)壁壘,探索全新的技術可能與應用特性,并且將跨語言、跨模態(tài)等前沿技術融入其中,構筑更具領導力的技術創(chuàng)新,讓中國AI不再僅僅成為模仿者。

透過全球首個知識增強千億大模型,看到中國AI差異化發(fā)展之路

在產業(yè)協(xié)作,百度與鵬城云腦Ⅱ的合作,可以說是集合了中國AI的“最強實力組合”。“鵬城云腦Ⅱ”是自主研發(fā)的E級AI算力平臺,曾在多個國際性能測試比賽中奪冠。鵬城-百度·文心將基礎設施與前沿產業(yè)探索進行了有效適配。這種產學一體,軟硬件協(xié)作,有效利用鵬城云腦Ⅱ作為創(chuàng)新底座的方式可以說是中國AI所獨有,在未來很長一段時間將是中國AI產業(yè)的特殊優(yōu)勢。

在戰(zhàn)略協(xié)同中,鵬城-百度·文心可以有效融入百度云智一體的戰(zhàn)略架構,大模型通過飛槳的技術創(chuàng)新特性帶來高效的訓練結果,同時大模型也天然與百度智能云結合,構成了開發(fā)者和企業(yè)選擇百度的動力。云智一體,指向泛化應用與產業(yè)需求的AI發(fā)展策略,也是中國AI的獨特一面。

從源頭技術創(chuàng)新,到大模型的知識增強之路;從飛槳核心技術的有效利用,到與鵬城云腦的軟硬件合作,鵬城-百度·文心千億大模型的每一步都根基于自主,每一個選擇都趨向于自立。這種既能破壁求變,也能務實協(xié)同的發(fā)展方法,就是中國AI的飛翔之地。

最近有個話題頻頻登上熱搜,叫做“中國有偉大的知識寶庫”。在知識增強的創(chuàng)新之路中,鵬城-百度·文心指向的,就是中國AI這樣一個偉大的知識寶庫.

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關注公眾號
    OFweek人工智能網
    獲取更多精彩內容
    文章糾錯
    x
    *文字標題:
    *糾錯內容:
    聯系郵箱:
    *驗 證 碼:

    粵公網安備 44030502002758號