深度學習的歷史并不算長,卻呈現(xiàn)出了清晰的代際變遷。

在深度學習框架出現(xiàn)前,開發(fā)者需要進行很多繁重的工作,包括算法、算力和數(shù)據(jù),基本處于石器時代的階段;

深度學習框架在2012年萌芽后,陸續(xù)出現(xiàn)了 Caffe、Chainer 、Theano等框架,深度學習開始進入到青銅時代;

谷歌、百度、Facebook等互聯(lián)網(wǎng)巨頭進場后,憑借強大的應用場景和底層能力,深度學習正式邁入了鐵器時代。

之后深度學習框架越來越多,訓練能力和可用性也越來越強,特別是TensorFlow、PyTorch、飛槳幾乎占據(jù)深度學習框架95%以上市場份額的局面下,業(yè)界陸續(xù)出現(xiàn)了這樣一種聲音:人工智能何時進入大規(guī)模產(chǎn)業(yè)化應用的工業(yè)大生產(chǎn)時代?

日前結(jié)束的Wave Summit 2021深度學習開發(fā)者峰會上,持續(xù)進化的飛槳已經(jīng)給出了確切的答案。

01 逼近產(chǎn)業(yè)爆發(fā)的臨界點

百度的AI布局始于2010年,但2016年是個特殊的時間節(jié)點,這一年百度正式開源了自家的深度學習框架飛槳,不僅填補了國內(nèi)深度學習框架的市場空白,也為中國開源力量的崛起埋下了伏筆。

有別于一些學術(shù)性質(zhì)的開源框架,飛槳身上有著典型的產(chǎn)業(yè)標簽,為了讓深度學習從一門技術(shù)走進千行萬業(yè)的產(chǎn)業(yè)世界,飛槳的每一次進化都在嘗試降低深度學習的開發(fā)門檻,讓技術(shù)可以順暢的轉(zhuǎn)化為社會生產(chǎn)力。而每年兩次的Wave Summit深度學習開發(fā)者峰會,可以說是洞察飛槳產(chǎn)業(yè)化進程的風向標。

2019年冬天,飛槳一口氣帶來了21項全新發(fā)布和重要升級,其中端到端開發(fā)套件成為開發(fā)者們討論的核心焦點。涵蓋語義理解、目標檢測、圖像分割和點擊率預估的四大端到端開發(fā)套件,旨在通過模塊化的設計和端到端的體驗,滿足企業(yè)低成本開發(fā)和快速集成需求,進一步推動深度學習的產(chǎn)業(yè)落地。

2021年的Wave Summit 深度學習開發(fā)者峰會期間,飛槳在穩(wěn)定性、兼容性和成熟度的基礎上,再次為產(chǎn)業(yè)智能化開足馬力,不斷逼近AI在產(chǎn)業(yè)深處爆發(fā)的臨界點:

全新發(fā)布飛槳開源框架V2．1,對自動混合精度、動態(tài)圖、高層API等進行了優(yōu)化和增強。尤其是自定義算子功能的全面升級,進一步降低了開發(fā)者自定義算子的學習與開發(fā)成本,并大幅提升了開發(fā)的靈活性;

分布式訓練方面,發(fā)布大規(guī)模圖檢索引擎,支持萬億邊的圖存儲和檢索,大規(guī)模圖模型訓練架構(gòu)支持網(wǎng)易云音樂等企業(yè)大規(guī)模應用落地。

模型套件方面,文心ERNIE全新開源發(fā)布 4大預訓練模型,知識與深度學習相結(jié)合實現(xiàn)知識增強的語義理解,不僅僅能理解語言,還可以理解圖像,實現(xiàn)統(tǒng)一的跨模態(tài)語義理解。

部署方面,飛槳提供全面的推理部署工具鏈,重磅發(fā)布推理部署導航圖,其中已驗證300多條部署通路,助力開發(fā)者打通AI應用的“最后一公里”。

飛槳企業(yè)版在EasyDL、BML“兩翼”升級的同時,還開放了飛槳企業(yè)版的“核”——PaddleFlow,以云原生、高性能、輕量易用的特色,專為AI平臺開發(fā)者提供核心能力并賦能更多細分場景和深度定制的AI平臺。

飛槳的進化歷程無疑印證了百度CTO王海峰對于人工智能技術(shù)和產(chǎn)業(yè)發(fā)展的思考:一是融合創(chuàng)新,多技術(shù)融合創(chuàng)新、深度學習平臺與芯片軟硬一體優(yōu)化、人工智能技術(shù)與應用場景融合創(chuàng)新發(fā)展的趨勢愈加明顯;二是降低門檻,隨著人工智能技術(shù)在各行業(yè)的滲透,面向不同應用場景,高效滿足不同的開發(fā)者需求,持續(xù)降低門檻非常關鍵。

門檻的大幅降低,加快了人工智能應用的多樣化和規(guī)�；�,也加快了產(chǎn)業(yè)智能化進程。

02 抹平算法和算力的鴻溝

對于深度學習框架的價值,百度CTO王海峰曾經(jīng)有過一個恰當?shù)谋扔?“深度學習框架起到承上啟下的作用,下接芯片和大型計算機系統(tǒng),上承各種業(yè)務模型與行業(yè)應用,是智能時代的操作系統(tǒng)”。

單單只有開源深度學習框架的進化,恐怕還不足以將百萬計的開發(fā)者們“擺渡”到工業(yè)大生產(chǎn)的彼岸。畢竟人工智能的三要素包括算法、算力和數(shù)據(jù),僅僅是跨越算法和算力之間的鴻溝,就足以將不少開發(fā)者拒之門外。

目前英偉達主導的GPU在神經(jīng)網(wǎng)絡訓練中有著舉足輕重的地位,可英偉達等硬件廠商并沒有能力對所有的框架進行適配,只能選擇TensorFlow、PyTorch和飛槳三個最成熟的框架進行優(yōu)化。

結(jié)果就是,倘若深度學習框架不對芯片進行適配優(yōu)化,再好的芯片也只是一堆廢鐵;假如芯片和深度學習框架間的橋梁不打通,“智能時代操作系統(tǒng)”的實用價值無疑要大打折扣。

飛槳給出的答案是主動擔當起打造硬件生態(tài)的重任。

根據(jù)百度集團副總裁吳甜在Wave Summit 2021上披露的數(shù)據(jù),飛槳已經(jīng)和22家硬件廠商合作,完成和正在適配的芯片或IP達到31款,名單包括百度昆侖、英特爾、英偉達、華為、曙光、瑞芯微、安霸等等。

目前飛槳在硬件生態(tài)方面已經(jīng)處于業(yè)界領先地位,不僅涵蓋了從訓練到部署、從通用型計算硬件到專用的AI加速硬件、從服務端到移動端的硬件適配和優(yōu)化,還和一些企業(yè)達成了深度合作。比如飛槳通過和英特爾OneAPI的合作,為開發(fā)者提供了跨平臺集成的開發(fā)路徑;通過集成TensorRT的加速能力,協(xié)助英偉達在GPU領域?qū)崿F(xiàn)了高效推理。

值得一提的是,身為深度學習國產(chǎn)之光的飛槳,和飛騰、海光、鯤鵬等國內(nèi)芯片廠商進行了深入合作,僅在海光DCU上適配的模型就已經(jīng)超過50個,中國自主可控的“操作系統(tǒng)+芯片”生態(tài)已逐步成型。

其實個中原因并不難理解,人工智能的大規(guī)模落地已經(jīng)步入快車道,而飛槳恰恰是各行各業(yè)走向智能化的重要驅(qū)動力。

躬身構(gòu)建軟硬件生態(tài),抹平算法和算力之間的鴻溝,進一步打破深度學習的應用壁壘,既是百度作為人工智能頭雁的應有之義,也是飛槳重塑生產(chǎn)力與生產(chǎn)關系的初心。