“在曠視科技的技術(shù)開放日（MegTech）上，這家人工智能企業(yè)就業(yè)界最關(guān)注的大模型、算法量產(chǎn)落地和算法定義硬件的最新進(jìn)展進(jìn)行了展示與回應(yīng)�！�

技術(shù)開放日，是每一家科技公司展現(xiàn)技術(shù)價(jià)值、回應(yīng)業(yè)界前沿探知的重要時(shí)刻。

7月15日，曠視科技的技術(shù)開放日（MegTech）如期而至。一群相信技術(shù)能改變世界的人聚到一起，將其在AIoT領(lǐng)域的思考和實(shí)踐和盤托出。

去年曠視科技十周年舉辦的首屆技術(shù)開放日，得到的熱情反饋，讓曠視決定將其固定下來�！拔覀兿Ｍ�每年都能舉辦一屆MegTech，而且越辦越好，讓它能夠真正成為每位曠視人和曠視朋友的技術(shù)節(jié)日。”曠視科技聯(lián)合創(chuàng)始人、CEO印奇說。

曠視聯(lián)合創(chuàng)始人、CEO印奇

今年技術(shù)開放日上展示了20個(gè)人工智能的DEMO，其中包括了VR的裸手交互、自然語(yǔ)言直接生成3D人物、瞬時(shí)相機(jī)等熱點(diǎn)科技。不僅如此，對(duì)當(dāng)下人工智能大模型、落地中的一些關(guān)鍵問題，曠視科技的人士也給出了他們的思考和實(shí)踐。

如今，曠視的技術(shù)核心能力都在圍繞AI和IoT構(gòu)建，AI層面包含了兩個(gè)核心要素：基礎(chǔ)算法科研和規(guī)模算法量產(chǎn)，IoT的核心要素則是算法定義硬件，而不僅僅是讓硬件設(shè)備灌入AI算法能力。

‘2＋1’的AIoT核心技術(shù)科研體系是支撐曠視未來不斷走向新的AIoT商業(yè)成功的最重要的基石�！庇∑嬲f。

01

大模型的“悖論”

過去這些年，熱鬧的AI領(lǐng)域一直面臨著這樣一個(gè)窘境：聽起來很美好，但實(shí)際落地很難。

影響落地的一個(gè)關(guān)鍵是算法模型的訓(xùn)練。以前是家家戶戶都在針對(duì)不同的業(yè)務(wù)場(chǎng)景訓(xùn)練AI模型，但因?yàn)閳?chǎng)景的多樣性、復(fù)雜性，導(dǎo)致很多人工智能模型要么不經(jīng)濟(jì)，要么太單一、泛化性差。

預(yù)訓(xùn)練大模型應(yīng)運(yùn)而生。它相當(dāng)于先自動(dòng)學(xué)習(xí)大量語(yǔ)言文字和圖像數(shù)據(jù)，形成先驗(yàn)知識(shí)。后續(xù)的開發(fā)者都可以站在巨人的肩膀上，不需要針對(duì)每一個(gè)場(chǎng)景都建立一套模型。

“大模型的泛化能力強(qiáng)、模型效果更優(yōu)等特征，助力其成為AI開發(fā)新范式，也是現(xiàn)階段AI市場(chǎng)發(fā)展的必然趨勢(shì)�！盜DC中國(guó)助理研究總監(jiān)盧言霞說。

曠視2022年技術(shù)開放日DEMO：VR裸手交互

預(yù)訓(xùn)練大模型也降低了AI的使用門檻。它可以在不使用大量標(biāo)記的訓(xùn)練數(shù)據(jù)，僅僅只給出任務(wù)描述，并給出幾個(gè)從輸入到輸出示例，便能自動(dòng)執(zhí)行任務(wù)。

“大模型是提高AI系統(tǒng)性能的最重要的捷徑之一�！睍缫曆芯吭夯�礎(chǔ)科研負(fù)責(zé)人張祥雨說，面對(duì)復(fù)雜的應(yīng)用場(chǎng)景和多種任務(wù)，提高模型性能的最直接途徑，就是提高模型本身的表達(dá)能力。

而谷歌點(diǎn)燃了大模型的第一把火，隨后人工智能研究組織OpenAI將大模型的參數(shù)規(guī)模推到了1750億的高度。而到了2021年，大模型的“軍備競(jìng)賽”演繹得最為激烈。

當(dāng)年1 月，谷歌推出的Switch Transformer模型參數(shù)量已經(jīng)高達(dá)1．6 萬億，打破了Open AI保持的紀(jì)錄。

國(guó)內(nèi)的巨頭也投入到大模型的競(jìng)賽中。2021年4月，華為云的超大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型的參數(shù)規(guī)模達(dá)1000億；10月，浪潮發(fā)布約2500億的超大規(guī)模預(yù)訓(xùn)練模型“源1．0”。12月，百度推出的ERNIE 3．0 Titan模型，參數(shù)規(guī)模達(dá)2600億。而阿里達(dá)摩院的M6模型參數(shù)達(dá)到10萬億，成為全球最大的 AI 預(yù)訓(xùn)練模型。

從百億到千億，甚至到十萬億規(guī)模。這很容易給人一種錯(cuò)覺：參數(shù)越大，大模型的效果就越好。

但事實(shí)并非如此�！拔覀儼l(fā)現(xiàn)隨著模型的參數(shù)量和數(shù)據(jù)量的增多，我們的收益在逐漸地變少�！睆埾橛暾f。

片面地追求大參數(shù)量，不一定能夠達(dá)到更強(qiáng)大的模型，反而會(huì)帶來更大的計(jì)算開銷。像OpenAI的GPT－3大模型，耗資超過1200萬美元，非一般企業(yè)所能承受。

在技術(shù)開放日上，曠視對(duì)外表示，他們認(rèn)為的“大”有三個(gè)方面：大模型、大算法和大應(yīng)用。不僅模型要大，更關(guān)鍵的是如何與算法整合，如何在應(yīng)用中提高性能。

比如曠視在做大模型上找到一種新方法，傳統(tǒng)增大模型的方法主要靠增加深度、寬度，或者增加輸入分辨率。曠視提出了一種基于可逆、多column神經(jīng)網(wǎng)絡(luò)范式，通過增加可逆column的數(shù)量，來擴(kuò)大化神經(jīng)網(wǎng)絡(luò)的參數(shù)和計(jì)算量。它帶來的額外顯存消耗非常小，有利于模型的訓(xùn)練和優(yōu)化。

曠視2022年技術(shù)開放日DEMO：自然語(yǔ)言生成3D人物

“‘大’和’統(tǒng)一’是當(dāng)今視覺AI基礎(chǔ)研究的新趨勢(shì)�！睆埾橛昱袛�。除了大，曠視還提到一個(gè)基礎(chǔ)研究的關(guān)鍵詞“統(tǒng)一”。

“這兩年我們發(fā)現(xiàn)這些算法在底層正在走向統(tǒng)一�！睆埾橛暾f，包括基礎(chǔ)模型架構(gòu)的統(tǒng)一，算法的統(tǒng)一和認(rèn)知的統(tǒng)一。比如在自動(dòng)駕駛感知領(lǐng)域，曠視構(gòu)造了一個(gè)新的網(wǎng)絡(luò)PETR。它的特點(diǎn)就是幾乎沒有人工設(shè)計(jì)的成分，而是完全基于相同的架構(gòu)處理多視角、多時(shí)刻、多任務(wù)，以及多模態(tài)的輸入。

底層統(tǒng)一的好處在于，如果各種數(shù)據(jù)和任務(wù)能用統(tǒng)一的算法和模型，就可以構(gòu)建簡(jiǎn)單、強(qiáng)大且通用的視覺AI系統(tǒng)。比如，一旦模型統(tǒng)一，AI加速器的設(shè)計(jì)就會(huì)非常簡(jiǎn)單，一個(gè)模型可以適用于各種設(shè)備和各種任務(wù)。

如今，在“大”和“統(tǒng)一”的指引下，曠視在通用圖像大模型、視頻理解大模型、計(jì)算攝影大模型和自動(dòng)駕駛感知大模型四個(gè)方向上，已經(jīng)有了不小進(jìn)展。

02

算法量產(chǎn)的難言之隱

對(duì)于AI而言，算法模型還是萬里長(zhǎng)征的第一步，如何結(jié)合具體場(chǎng)景實(shí)現(xiàn)量產(chǎn)落地才是最終目標(biāo)。

早期的算法比較簡(jiǎn)單，單點(diǎn)突破。但實(shí)際的應(yīng)用場(chǎng)景卻非常復(fù)雜，單點(diǎn)的算法無法解決實(shí)際需求，往往需要把幾個(gè)算法串在一起，才能完成一個(gè)具體需求的落地。

比如在工業(yè)園區(qū)里的安全生產(chǎn)監(jiān)測(cè)，除了防范火災(zāi)，還有人員安全、著裝規(guī)范、員工操作規(guī)范等一系列長(zhǎng)尾且碎片化的需求，光讓算法識(shí)別出是否有火焰，顯然是不夠的。需要有一個(gè)強(qiáng)大的算法生產(chǎn)能力和體系。

這就導(dǎo)致了現(xiàn)在的算法量產(chǎn)越來越復(fù)雜。而通常，一個(gè)完整的算法生產(chǎn)過程，包含了需求分析、數(shù)據(jù)處理、模型訓(xùn)練、上線部署，到最后的應(yīng)用落地。這是一個(gè)相當(dāng)復(fù)雜且繁瑣的事情。

這個(gè)過程存在了三個(gè)難點(diǎn)：

一是數(shù)據(jù)生產(chǎn)的復(fù)雜性。

算法是數(shù)據(jù)喂出來的，數(shù)據(jù)的質(zhì)量決定了算法的效果�，F(xiàn)實(shí)場(chǎng)景的復(fù)雜性是一個(gè)非常大的挑戰(zhàn)。比如檢測(cè)火焰，火焰的特征非常鮮明，聽起來并不難。但現(xiàn)實(shí)中很容易把一些高光的物體標(biāo)注為火焰，例如車尾燈的投影、遠(yuǎn)處的太陽(yáng)。而且小火苗和山火也是完全不同的形態(tài)，也容易引起歧義。另外，還要剔除大量重復(fù)的數(shù)據(jù)以及破損的圖片。這些都是要克服的干擾因素。

二是算法模型的不確定性。

關(guān)于算法的模型和文獻(xiàn)浩如煙海，選哪個(gè)最合適，對(duì)于從業(yè)者而言是一個(gè)非常大的挑戰(zhàn)。到底選擇何種模型，如何與硬件平臺(tái)高效匹配，而且在算法落地時(shí)，也大概率會(huì)遇到漏檢、誤檢的情況。這種技術(shù)科研和工程落地之間的巨大鴻溝，是算法領(lǐng)域需要彌合的地方。

三是硬件多樣性帶來的高成本。

算法需要依賴硬件的算力來實(shí)現(xiàn)，AI火熱這幾年，各種AI板卡非常多，但不同芯片平臺(tái)往往都有不同的體系結(jié)構(gòu)，導(dǎo)致同樣一個(gè)功能，還需要先去深入了解芯片平臺(tái)的結(jié)構(gòu)，才能寫出高效的代碼，增加了AI生產(chǎn)人員的部署成本。

看起來，每一個(gè)問題都很棘手。

但曠視在技術(shù)開放日上對(duì)外表達(dá)了他們解決算法生產(chǎn)難題的根本：標(biāo)準(zhǔn)化。AI算法只有標(biāo)準(zhǔn)化才能實(shí)現(xiàn)自動(dòng)化，才能普惠易用。這里包括數(shù)據(jù)生產(chǎn)的標(biāo)準(zhǔn)化、算法模型的標(biāo)準(zhǔn)化和整個(gè)推理框架的標(biāo)準(zhǔn)化。

標(biāo)準(zhǔn)化聽起來非常簡(jiǎn)單，但每一步都要考慮到位，一個(gè)細(xì)小的差別，最終都可能給最終結(jié)果帶來偏差。就像開車一樣，有些國(guó)家靠左，有些國(guó)家靠右，有些國(guó)家限速，有些國(guó)家不限速，紅綠燈的設(shè)置和表達(dá)又有不同。如果規(guī)則都統(tǒng)一，底層架構(gòu)也統(tǒng)一，這些困擾就能迎刃而解。

為此，曠視搭建了統(tǒng)一的算法生產(chǎn)平臺(tái)AIS（AI Service）。它基于曠視的Brain＋＋體系，提供了從數(shù)據(jù)清洗、智能標(biāo)注、數(shù)據(jù)管理、數(shù)據(jù)質(zhì)檢、算法自動(dòng)生產(chǎn)、模型多維能力評(píng)測(cè)、pipeline部署等全流程能力。

曠視2022年技術(shù)開放日DEMO：AIS算法生產(chǎn)平臺(tái)

“標(biāo)準(zhǔn)化是我們?cè)谒惴ㄉ�產(chǎn)流程中的核心優(yōu)勢(shì)，這也是算法生產(chǎn)平臺(tái)AIS為大家提供的能力。”曠視研究院算法量產(chǎn)負(fù)責(zé)人周而進(jìn)說。目前，AIS平臺(tái)已經(jīng)能夠支持100多種業(yè)務(wù)模型訓(xùn)練，最快2小時(shí)即可完成，而且模型產(chǎn)出精度指標(biāo)遠(yuǎn)高于業(yè)界平均水平。經(jīng)驗(yàn)證，算法研發(fā)人員使用Brain＋＋和AIS平臺(tái)，可以實(shí)現(xiàn)智能標(biāo)注平均加速30倍，自動(dòng)學(xué)習(xí)訓(xùn)練加速4至20倍。

其實(shí)，曠視在2020年發(fā)布Brain＋＋時(shí)，就將其中最核心組件深度學(xué)習(xí)框架天元（MegEngine）開源，讓更多企業(yè)與開發(fā)者實(shí)現(xiàn)更簡(jiǎn)單的開發(fā)。

“我們希望去降低算法生產(chǎn)的門檻，從而鼓勵(lì)更多的行業(yè)技術(shù)人員參與到算法生產(chǎn)的過程中，打通各行各業(yè)的Know－h(huán)ow，一起去建設(shè)一個(gè)開放的算法生產(chǎn)生態(tài)�！敝芏�進(jìn)說。

03

算法如何定義硬件

硬件在AI落地上扮演著非常重要的角色。

“在每個(gè)AI真正能夠規(guī)�；�落地的場(chǎng)景里面，我們需要找到一個(gè)特別的硬件載體，一個(gè)非常好的IoT設(shè)備。在這樣的載體當(dāng)中，才可以真正讓AI發(fā)揮巨大作用。”印奇說。

也正是基于此判斷，曠視在硬件道路上的探索比較堅(jiān)持。作為AI算法起家的公司，曠視沒有硬件工程的天然基因。其實(shí)，不僅是曠視科技，像百度這些主打AI的公司，都在強(qiáng)調(diào)軟硬一體的戰(zhàn)略，加強(qiáng)對(duì)硬件的重視。行業(yè)普遍意識(shí)到，AI算法不是空中樓閣，需要生長(zhǎng)在硬件設(shè)備上。

所以，我們也看到，像�？低�視、大華這些傳統(tǒng)的硬件廠商已提出AIoT的戰(zhàn)略。對(duì)于這些企業(yè)而言，他們有著足夠大的硬件出貨量，給AI提供了天然的應(yīng)用場(chǎng)景。

但是，以前都是先有硬件，然后將AI算法的能力導(dǎo)入。這一點(diǎn)有點(diǎn)類似于早年的電動(dòng)車，基本是燃油車改裝，把油箱和發(fā)動(dòng)機(jī)換成了電池和電機(jī)，無論是駕駛體驗(yàn)還是整體性能，與現(xiàn)在的電動(dòng)車相差甚遠(yuǎn)。

現(xiàn)在，AI算法反過來在影響硬件的形態(tài)和生態(tài)。

“算法對(duì)傳感器到底需要提供什么樣的信息和輸入，提出了要求，甚至本質(zhì)性地改造了傳感器的形態(tài)和樣式。”曠視研究院計(jì)算攝影負(fù)責(zé)人范浩強(qiáng)說，曠視在今年提出了“算法定義硬件”的理念，AI傳感器是這個(gè)理念的核心單元。

比如，以前要拍出一張高清照片，不僅需要專業(yè)設(shè)備，還得選個(gè)好天氣。現(xiàn)在智能手機(jī)的發(fā)展讓夜間拍照也變得非常清晰自然。而背后其實(shí)就有AI算法的功勞，也就是說每一次按下快門，其實(shí)都是經(jīng)過了大量的運(yùn)算。

曠視2022年技術(shù)開放日DEMO：探囊取物

但要實(shí)現(xiàn)AI的能力，需要根據(jù)算法對(duì)鏡頭的防抖、對(duì)焦以及光線傳感等組件進(jìn)行定制，才能實(shí)現(xiàn)影像能力的提升。這就是AI對(duì)硬件的反向輸出。

再比如，大家每天使用的手機(jī)指紋識(shí)別，以前用的是電容屏，其原理是讓指紋形成不同的電容值。而這幾年為了追求更高的屏占比，開始用屏下光學(xué)指紋，相當(dāng)于給指紋拍個(gè)照，難度明顯更大。

但AI算法在快速推動(dòng)屏幕指紋技術(shù)的演進(jìn)。以前的屏幕指紋，需要一個(gè)非常完整的圖像，而最新的AI指紋識(shí)別技術(shù)，甚至只需要兩根脊線就可以完成對(duì)身份的確認(rèn)。“這就是當(dāng)我們打通了傳感器、算法以及整個(gè)成像技術(shù)之后，能夠給大家?guī)�來的奇跡�！狈逗茝�(qiáng)說。

而從應(yīng)用到算法到傳感器的全鏈路整合能力，被認(rèn)為是曠視算法定義硬件的核心。

曠視是業(yè)界極少數(shù)能將傳感器的光學(xué)、模組、電子學(xué)的設(shè)計(jì)能力，傳感器的物理建模和算法能力，以及傳感器的應(yīng)用能力融為一體的公司。“曠視非常有幸能夠成為其中一員，這也是我們進(jìn)一步參與AI定義傳感器這件事情的最大信心和底氣�！狈逗茝�(qiáng)說。

而通過技術(shù)開放日，我們看到了一個(gè)AI公司相對(duì)完整的演進(jìn)路徑：既要有基礎(chǔ)科研保證技術(shù)和算法模型的先進(jìn)性，也要能讓算法量產(chǎn)變成產(chǎn)品，反向定義硬件，最終讓人工智能發(fā)揮出它的商業(yè)和社會(huì)價(jià)值。

       原文標(biāo)題 : 曠視技術(shù)開放日，拋出了三個(gè)論斷