幾年來，預訓練大模型逐漸從一個AI領域內的技術語言，變成了強勢出圈的產業(yè)熱點與社會關注話題。但如果大家關注這一話題，會很容易注意到越來越多的聲音開始反思大模型的發(fā)展之路。比如，大模型是不是應該一味追求龐大的訓練參數？在發(fā)展路徑上我們是不是只能嚴格對標GPT－3等國際著名大模型產品？

當中國科技企業(yè)與研究機構紛紛投入大模型競爭時，是不是有可能探索出一條屬于自己的道路？

在科技自立的需求愈發(fā)嚴峻與明確時，透過大模型競賽，我們可以看到更多關于AI的產業(yè)啟示與戰(zhàn)略思考。

12月8日，鵬城實驗室與百度聯合召開發(fā)布會，正式發(fā)布雙方共同研發(fā)的全球首個知識增強千億大模型——鵬城－百度·文心。這一大模型參數規(guī)模達到2600億，并且在全球60多項NLP任務中取得了最佳效果。同時，百度產業(yè)級知識增強大模型“文心”家族也首次亮相。

早在2019年，百度就開始布局文心預訓練模型，如今它也率先走向了差異化拐點。當大眾對知識增強這一概念的熟稔遠不如大模型本身時，百度文心選擇了這條聽上去陌生，但卻至關重要的產業(yè)新徑。

大模型為什么重要？為什么我們應該在大模型上探索出新的方向？透過百度文心大模型，我們看到的是科技自立的遠方，看到的是中國AI的飛翔之地。

大模型不是軍備競賽，而是教育競賽

首先來看大模型本身的行業(yè)意義與發(fā)展背景。

如今，似乎每家AI企業(yè)和研究機構都在做大模型。這種火熱局面經常被稱為“大模型的軍備競賽”。但如果我們要理解的是，大模型本身是一種產業(yè)基礎設施和輔助工具，并不是企業(yè)與機構的“不傳之秘”。

AI產業(yè)發(fā)展大模型，就像是國家發(fā)展教育事業(yè)，本身是為了培養(yǎng)更多人才和創(chuàng)新能力，增強整個社會的能動性。

通過海量數據的預訓練集成，大模型可以有效降低個體企業(yè)與具體行業(yè)的AI應用門檻，解決數據標注與行業(yè)差異化適配的問題。大模型就像一間間學校，培養(yǎng)了具有通識能力與高素質的人才，從而避免了企業(yè)需要從小學知識開始重新培養(yǎng)人才。

這也就將引出一個關鍵問題：既然大模型是一種“教育系統(tǒng)”，那么教育就應該貼合社會的實際需求。學�？隙ú皇且杂玫袅硕嗌贂�本來評價質量，就像大模型不能僅以訓練參數定優(yōu)劣，更重要的是教育方法是不是與社會適配，能否培育出具有強大能力的人才。

從這個維度上思考，中國AI產業(yè)要一直跟隨GPT－3等大模型的腳步，一味在訓練參數上標榜自身嗎？

中國的產業(yè)底座、應用需求、技術領導力，是否有可能培育出自己的差異化大模型之路？

此次百度發(fā)布的鵬城－百度·文心，以及亮相的百度文心大模型，或許就是答案的方向。

跳出藩籬：知識增強大模型的差異化之路

2019年3月，在全球大模型的剛剛開始起步的時候，百度就發(fā)布了ERNIE 1．0版本，提出了知識增強的語義表示模型。2019年7月，ERNIE 2．0 則構建了持續(xù)學習語義理解框架，在中英文 16 個任務上取得了業(yè)界最佳效果。

面向NLP領域AI的探索，文心大模型跳出了以往大模型的窠臼，采用了知識增強這一全新技術路徑。知識增強將百度在知識圖譜、跨模態(tài)學習等領域的技術能力，與模型訓練學習方面的產業(yè)積累結合，實現了更高效率的學習，令模型的理解與生成能力顯著增強。

這也很像人類學習的過程，具體信息的學習固然重要，同時知識與邏輯的學習也必不可少。知識既構成了人的通識能力基礎，也可以顯著提升具體能力的學習與應用。在大模型領域，知識與深度學習的結合起到了事半功倍的效果。

與此同時，文心大模型還強化了跨語言、跨模態(tài)的學習能力。在技術的不斷迭代之下，文心大模型的泛化能力更強，可以適應更具體真實的任務應用，尤其是處理小樣本學習任務的能力。

（鵬城－百度·文心模型結構圖）

這條差異化之路，讓鵬城－百度·文心千億大模型可以實現更高效率的學習，并在同等參數空間下實現效果更優(yōu)，并且符合真實場景的應用需求。而能夠實現知識增強這條新路的開拓，得益于百度在知識、深度學習、以及模型開發(fā)訓練并行且長期的布局積累，也得益于鵬城云腦Ⅱ提供的強大算力。

中國AI的積累、實力與需求，共同構成了差異化之路的起點。從這個意義上來看，知識增強大模型的價值并不僅僅在大模型本身。

走向通用：百度文心的應用拓展空間

BERT、GPT－3等大模型確實取得了驚人的效果，但大模型也經常因為應用上的滯后性引發(fā)質疑。其原因主要來自兩方面：一是大模型的算力需求過大，成本高昂；二是大模型的泛化能力欠佳，經常難以解決應用場景中復雜多變的實際問題。

面對這些問題，鵬城－百度·文心實現了更強的應用能力。在場景化應用方案中，鵬城－百度·文心可以實現多尺寸的模型蒸餾，甚至以極小尺寸適配具體需求，降低大模型使用門檻與成本。

在通用能力上，通過與知識的結合加上跨語言、跨模態(tài)能力的融入，文心大模型可以適配更加多樣化、通用化的任務，在通信、金融、醫(yī)療等領域具備廣泛的應用前景與想象空間。

鵬城－百度·文心在60多項國際著名任務上取得了領先優(yōu)勢，其中有30多項是小樣本、零樣本學習的任務，表明了鵬城－百度·文心的泛化應用能力更強，可以低門檻適配行業(yè)需求與行業(yè)能力。

（鵬城－百度·文心小樣本學習效果）

（鵬城－百度·文心零樣本學習效果）

在金融領域，文心大模型賦能可以結合百度全流程AI開發(fā)平臺BML提供的模型再訓練能力，基于定制的保險合同條款“智能解析模型”，完成一份合同內近40個類目條款的智能分類，讓業(yè)務員處理單份合同文本的時長縮短到1分鐘，速度提升幾十倍。在智能客服領域，文心大模型可以有效提升服務的精準性。這一能力目前已經在浦發(fā)銀行、中國聯通等國內眾多企業(yè)中得到應用。

整體而言，文心大模型在相對復雜、有考驗性的應用場景具備更加強大的表現。比如媒體創(chuàng)作、醫(yī)療文本分析、金融信息研判、合同分析等等，這些應用空間非常廣闊，并且能夠適配的AI技術凈值很高，具有明確的商業(yè)化動力。

AI正在走向工業(yè)大生產，其中核心就是讓實驗室中的強大AI能力，走入產業(yè)，擁抱真實需求。而這就需要大模型具備更強的通用化能力，鵬城－百度·文心正是踏出了這樣的關鍵一步。

文心之路，自立之路：中國AI的飛翔之地

從技術差異和應用場景出發(fā)，我們其實可以從鵬城－百度·文心和百度文心大模型里看到更遠。如今，科技自立成為了時代潮流與企業(yè)責任，而到底什么是真正的科技自立呢？從鵬城－百度·文心中，我們或許能找到一些新的經驗與標準。

在全球矚目的大模型領域中，知識增強大模型成功打破了固有邊界，跳出了“質變沒有就拼量變”的傳統(tǒng)邏輯�？萍甲粤⒉皇悄阌惺裁次乙惨�照貓畫虎，你有千億參數我有萬億參數，而是結合自己的特點與需求，走出能夠引領潮流，有獨特發(fā)展空間的差異化之路。

此次百度的大模型最新發(fā)布亮相，可以看到中國AI厚積薄發(fā)，學中能變的時代腳步。

在前沿探索上，百度文心大模型在知識增強這個關鍵點上打破了大模型的產業(yè)壁壘，探索全新的技術可能與應用特性，并且將跨語言、跨模態(tài)等前沿技術融入其中，構筑更具領導力的技術創(chuàng)新，讓中國AI不再僅僅成為模仿者。

在產業(yè)協(xié)作，百度與鵬城云腦Ⅱ的合作，可以說是集合了中國AI的“最強實力組合”。“鵬城云腦Ⅱ”是自主研發(fā)的E級AI算力平臺，曾在多個國際性能測試比賽中奪冠。鵬城－百度·文心將基礎設施與前沿產業(yè)探索進行了有效適配。這種產學一體，軟硬件協(xié)作，有效利用鵬城云腦Ⅱ作為創(chuàng)新底座的方式可以說是中國AI所獨有，在未來很長一段時間將是中國AI產業(yè)的特殊優(yōu)勢。

在戰(zhàn)略協(xié)同中，鵬城－百度·文心可以有效融入百度云智一體的戰(zhàn)略架構，大模型通過飛槳的技術創(chuàng)新特性帶來高效的訓練結果，同時大模型也天然與百度智能云結合，構成了開發(fā)者和企業(yè)選擇百度的動力。云智一體，指向泛化應用與產業(yè)需求的AI發(fā)展策略，也是中國AI的獨特一面。

從源頭技術創(chuàng)新，到大模型的知識增強之路；從飛槳核心技術的有效利用，到與鵬城云腦的軟硬件合作，鵬城－百度·文心千億大模型的每一步都根基于自主，每一個選擇都趨向于自立。這種既能破壁求變，也能務實協(xié)同的發(fā)展方法，就是中國AI的飛翔之地。

最近有個話題頻頻登上熱搜，叫做“中國有偉大的知識寶庫”。在知識增強的創(chuàng)新之路中，鵬城－百度·文心指向的，就是中國AI這樣一個偉大的知識寶庫．