前特斯拉工程師,把類腦計(jì)算帶進(jìn)自動(dòng)駕駛
作者 | 褚萬(wàn)博
編輯 | 章漣漪
一種很新的自動(dòng)駕駛技術(shù)路徑,出現(xiàn)了。同樣是端到端,但在感知層面引入包括視覺(jué)、聲音、文本等不同類型的信息,通過(guò)多形態(tài)的感知元素token化輸入,形成多模態(tài)感知的的端到端自動(dòng)駕駛大模型。類似的想法馬斯克在此前也表達(dá)過(guò),即將聲音納入自動(dòng)駕駛的感知,但至今并未實(shí)現(xiàn)。最外層保證安全底線的技術(shù),則是引入一個(gè)對(duì)自動(dòng)駕駛行業(yè)非常陌生的技術(shù)——類腦科學(xué),通過(guò)模擬生物大腦運(yùn)行機(jī)制和對(duì)危險(xiǎn)感知規(guī)避的天性,代替以規(guī)則代碼為主的安全保障層。類腦科學(xué)+多模態(tài)端到端大模型,當(dāng)下算是行業(yè)內(nèi)一種少有,或者是沒(méi)有過(guò)的嘗試。技術(shù)方案被叫做Nullmax Intelligence(NI),來(lái)自一家此前聲量并不算大的漸進(jìn)式自動(dòng)駕駛公司:Nullmax(紐勱)。一個(gè)在業(yè)內(nèi)不太顯眼的團(tuán)隊(duì),做出的沒(méi)人見(jiàn)過(guò)的方案。這家公司從何而來(lái),有何獨(dú)到之處?
01從特斯拉到Nullmax
長(zhǎng)久以來(lái),業(yè)內(nèi)關(guān)于Nullmax的信息并不多見(jiàn),這家公司上一次敞開向外界展示技術(shù)方案,還是在2019年,等到最近Nullmax Intelligence自動(dòng)駕駛方案發(fā)布,已經(jīng)過(guò)去5年時(shí)間。
Nullmax融資情況
融資方面放在同時(shí)期的自動(dòng)駕駛公司中間也并不算出彩,企查查結(jié)果顯示,自成立至今,Nullmax經(jīng)歷5輪融資,累計(jì)披露融資金額不到10億元。行事確實(shí)低調(diào),但背后團(tuán)隊(duì)履歷相當(dāng)亮眼。公開信息顯示,Nullmax在2016年成立于美國(guó)硅谷,其創(chuàng)始人徐雷,本科畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)計(jì)算機(jī)科學(xué)專業(yè),之后前往美國(guó)深造,并取得紐約州立大學(xué)布法羅分校計(jì)算機(jī)科學(xué)博士學(xué)位。在創(chuàng)立Nullmax前,徐雷曾在高通有過(guò)3年的工作經(jīng)歷,后來(lái)加入特斯拉,擔(dān)任特斯拉自動(dòng)駕駛高級(jí)計(jì)算機(jī)視覺(jué)工程師。
Nullmax創(chuàng)始人徐雷在特斯拉履職期間,徐雷主要負(fù)責(zé)的,就是Autopilot視覺(jué)研發(fā),擔(dān)任Tesla Vision深度學(xué)習(xí)負(fù)責(zé)人,曾從零開始組織研發(fā)Tesla Vision深度學(xué)習(xí)網(wǎng)絡(luò)。最終在2016年,Autopilot 2.0成功取代Mobileye的視覺(jué)系統(tǒng),在Model X上量產(chǎn)。另一位核心團(tuán)隊(duì)成員宋新雨,同樣來(lái)自特斯拉,曾在特斯拉任職研發(fā)質(zhì)量和供應(yīng)鏈部門高級(jí)經(jīng)理,期間曾是Autopilot及娛樂(lè)系統(tǒng)開發(fā)團(tuán)隊(duì)核心骨干成員。Autopilot 1.0和Autopilot 2.0系統(tǒng)的研發(fā)和產(chǎn)品化之路,宋新雨也有過(guò)深度參與。
2016年,正值A(chǔ)utopilot結(jié)果之時(shí),在特斯拉相識(shí)的徐雷與宋新雨出走特斯拉,成立Nullmax。由徐雷擔(dān)任CEO兼CTO職位,主導(dǎo)技術(shù)研發(fā)工作,宋新雨則出任COO一職,負(fù)責(zé)公司運(yùn)營(yíng)。在這個(gè)關(guān)鍵時(shí)刻離開特斯拉選擇創(chuàng)業(yè),徐雷告訴《賽博汽車》,一是在特斯拉看到了傳統(tǒng)車企以及Tier 1在智能化轉(zhuǎn)型過(guò)程中,一些以AI驅(qū)動(dòng)應(yīng)用能力的缺失,比如智能駕駛;二則是特斯拉作為一家車企,其本身的愿景是可持續(xù)能源的發(fā)展。而Nullmax,最終的目標(biāo)是自動(dòng)駕駛乃至之后完全的無(wú)人駕駛。不過(guò),特斯拉的經(jīng)歷也對(duì)Nullmax最初選擇自動(dòng)駕駛實(shí)現(xiàn)路線產(chǎn)生了重要的影響,即純視覺(jué)、漸進(jìn)式的自動(dòng)駕駛路線。
Nullmax在2019年發(fā)布MAX 1.02019年,Nullmax發(fā)布其自動(dòng)駕駛解決方案(現(xiàn)在來(lái)看要?dú)w類于L3以下的智能駕駛)MAX 1.0,方案基于英偉達(dá)Xavier 平臺(tái),感知套件采用12個(gè)攝像頭+5個(gè)毫米波雷達(dá)+12個(gè)超聲波雷達(dá),可以實(shí)現(xiàn)包括泊車、高速上的高階智能駕駛功能。同時(shí),需要注意的是,這套方案并沒(méi)有高精地圖。去(激光)雷達(dá),去(高精)地圖這類近兩年?duì)幾h才收斂起來(lái)的議題,Nullmax確實(shí)在2019年的時(shí)候就有了前瞻的判斷。等到業(yè)內(nèi)意見(jiàn)基本統(tǒng)一后,時(shí)隔5年,Nullmax又帶著一套沒(méi)人見(jiàn)過(guò)(至少是準(zhǔn)量產(chǎn)心態(tài))的方案走來(lái)了。依舊是前瞻?
02類腦計(jì)算?一種很新的自動(dòng)駕駛
至少?gòu)膬蓚(gè)方面來(lái)說(shuō),Nullmax此次帶來(lái)的自動(dòng)駕駛方案Nullmax Intelligence,是截止到目前業(yè)內(nèi)發(fā)布的方案中的唯一。按照當(dāng)前端到端大模型的理解,相比此前感知、規(guī)控、執(zhí)行等等模塊化的環(huán)節(jié),自動(dòng)駕駛大模型可以從感知到?jīng)Q策一個(gè)模型通路解決,但當(dāng)下各家除了特斯拉,基本是在感知層面,或者是從傳感器數(shù)據(jù)輸入到感知結(jié)果輸出一個(gè)模塊大模型,規(guī)控、決策仍然處于小模塊(層層遞進(jìn))階段。
Nullmax Intelligence大概邏輯但根據(jù)Nullmax現(xiàn)場(chǎng)展示的方案來(lái)看,NI是從感知到執(zhí)行一個(gè)大模型解決,并且在此之外,聲音、文本等等環(huán)境信息,通過(guò)token化可以一起為大模型提供感知。類似的想法馬斯克此前有過(guò)發(fā)聲,比如將路面環(huán)境聲音信息作為感知輸入自動(dòng)駕駛系統(tǒng),不過(guò)目前來(lái)看還停留在想法階段。大模型的輸出端,則包含3個(gè)部分:即時(shí)的駕駛動(dòng)作、可視化結(jié)果以及延時(shí)0.2秒的場(chǎng)景描述(文本)。駕駛動(dòng)作即執(zhí)行層面,而場(chǎng)景描述,按照我們的理解,是作為一種模型驗(yàn)證以及問(wèn)題回溯的工具出現(xiàn),也就是解釋修正大模型的作用。這里的一個(gè)問(wèn)題是,多模態(tài)感知意味著感知信息的類型增加、數(shù)據(jù)量提升,這對(duì)模型的計(jì)算提出了更大的要求,最后落到一個(gè)問(wèn)題上就是,車端計(jì)算芯片算力是否足夠。這里需要注意的是,根據(jù)Nullmax的說(shuō)法,這套方案稀疏算力100 TOPS就夠用。對(duì)于這個(gè)問(wèn)題,Nullmax表示,其大模型是一個(gè)非attention機(jī)制的一種語(yǔ)言模型,不同感知信息token化之后進(jìn)入大模型,對(duì)算力的要求是非常低的。
安全類腦概念除了多模態(tài)的感知輸入,Nullmax還在最新的自動(dòng)駕駛方案中引入了一個(gè)“安全類腦”的概念。這個(gè)概念對(duì)于自動(dòng)駕駛大模型來(lái)說(shuō)可能比較陌生,但類腦計(jì)算本身在全世界范圍內(nèi)的前沿科學(xué)中比較火熱。這里簡(jiǎn)單介紹一下,所謂類腦計(jì)算是借鑒生物神經(jīng)系統(tǒng)信息處理模式和結(jié)構(gòu)的計(jì)算理論、體系結(jié)構(gòu)、芯片設(shè)計(jì)以及應(yīng)用模型與算法的總稱。已經(jīng)是一個(gè)非常龐大的學(xué)科,但簡(jiǎn)單理解,就是借鑒生物大腦的運(yùn)行方式處理問(wèn)題。
具體來(lái)看,Nullmax在這套方案中,通過(guò)解密10萬(wàn)神經(jīng)元級(jí)別的斑馬魚大腦避險(xiǎn)的運(yùn)作方式,為自動(dòng)駕駛提供一個(gè)安全底線。即在大模型輸出結(jié)果后,在判定有誤的情況下快速做出安全動(dòng)作。在Nullmax的方案中,大模型輸出的結(jié)果作為一級(jí)仲裁,安全類腦為二級(jí)仲裁,兩個(gè)結(jié)果一致時(shí)正常執(zhí)行,不一致時(shí)由二級(jí)仲裁。這種機(jī)制是大多數(shù)自動(dòng)駕駛玩家的共同選擇,即在大模型輸出結(jié)果之外還有另一套負(fù)責(zé)底線的模型兜底。不過(guò)更多的玩家趨向于采用規(guī)則代碼這種直觀的方式去作為最后一道安全屏障。引入類腦計(jì)算,Nullmax還是第一個(gè)。為什么不要規(guī)則代碼而用類腦計(jì)算?Nullmax認(rèn)為,規(guī)則代碼無(wú)法窮盡場(chǎng)景,而類腦計(jì)算可以利用生物大腦對(duì)于危險(xiǎn)情況的反應(yīng),快速做出反應(yīng)。當(dāng)然,作為自動(dòng)駕駛公司,橫跨學(xué)科有點(diǎn)難度。安全類腦的成果并非Nullmax原創(chuàng),而是來(lái)自巖思類腦研究院的李孟團(tuán)隊(duì)。
安全類腦學(xué)術(shù)成果發(fā)表在《Nature》相關(guān)研究研究論文《Internal state dynamics shape brainwide activity and foraging behaviour》曾在《Nature》發(fā)表。多模態(tài)+類腦計(jì)算,在我們能看到的自動(dòng)駕駛解決方案中,是獨(dú)一檔的存在。這種技術(shù)方案是否真的有效,是否會(huì)比現(xiàn)有端到端大模型的體驗(yàn)更好,我們不做評(píng)判,因?yàn)檫需要驗(yàn)證,根據(jù)徐雷的透露,這套方案將會(huì)在明年初落地。屆時(shí)相信會(huì)得到答案。拋開這套技術(shù)本身,Nullmax這家聲量并不大的自動(dòng)駕駛公司,或者是智能駕駛方案供應(yīng)商給了我們另一個(gè)話題的啟發(fā)。
03智能駕駛方案小廠,怎么活?
事實(shí)上,智能駕駛方案供應(yīng)商中,體量不大的這部分玩家如何生存,已經(jīng)成了業(yè)內(nèi)熱議的一個(gè)話題。現(xiàn)實(shí)也確實(shí)不那么樂(lè)觀,一方面,在主機(jī)廠降本增效的大趨勢(shì)下,作為供應(yīng)鏈的一環(huán),利潤(rùn)寒氣會(huì)傳導(dǎo)過(guò)來(lái),尤其是體量不大,話語(yǔ)權(quán)比較小的小廠;另一方面,融資環(huán)境不夠理想的大環(huán)境,等待變現(xiàn)的投資人,普遍虧損的經(jīng)營(yíng)現(xiàn)狀……如此等等,再加上技術(shù)資源和投入劣于大廠,擔(dān)憂很多,討論也很多。對(duì)于這些問(wèn)題,Nullmax部分回答了我們。首先是在技術(shù)投入上的天然劣勢(shì)。當(dāng)自動(dòng)駕駛進(jìn)入端到端大模型階段,有2個(gè)關(guān)鍵因素比較重要,一是大量真實(shí)數(shù)據(jù)的投喂,二是AI算力的模型訓(xùn)練支持。一個(gè)需要車,一個(gè)需要高成本投入。第三方智能駕駛方案公司,尤其是小體量玩家,二者都沒(méi)有,這還怎么玩?
Nullmax認(rèn)為后期虛擬數(shù)據(jù)占比更多徐雷對(duì)此的回答是,在自動(dòng)駕駛訓(xùn)練的初期,真實(shí)有效數(shù)據(jù)很關(guān)鍵,但隨著模型的逐漸成熟,真實(shí)場(chǎng)景數(shù)據(jù)在模型訓(xùn)練后期的增益效果以及需要的量會(huì)變小,AIGC生成虛擬數(shù)據(jù)就非常關(guān)鍵。而在AI算力方面,徐雷表示,在給定預(yù)算下,讓哪些數(shù)據(jù)先進(jìn)系統(tǒng),怎么去在訓(xùn)練中調(diào)它的收斂速度,調(diào)參數(shù),能讓系統(tǒng)性能提升更高,這里面是有很多技巧,并不是說(shuō)多少?gòu)埧ǎˋI芯片)多少數(shù)據(jù)就對(duì)應(yīng)了性能多少的提升。簡(jiǎn)而言之,以技巧取勝。其次是作為第三方的供應(yīng)商,如何低成本開發(fā)適配不同需求、車型的產(chǎn)品方案。
Nullmax的做法是,通過(guò)MaxOS中間件平臺(tái),實(shí)現(xiàn)軟硬件解耦,實(shí)現(xiàn)不同計(jì)算平臺(tái)、不同傳感器配置(包括激光雷達(dá))、不同層級(jí)智能駕駛功能,適配同一個(gè)軟件算法平臺(tái)。當(dāng)前Nullmax的產(chǎn)品序列在這一套模式下,分成低、中、高3個(gè)組合方案,包括:1、1V2T,一個(gè)攝像頭,加上一顆德州儀器的2TOPS算力芯片,實(shí)現(xiàn)基礎(chǔ)的L2級(jí)輔助駕駛;2、5V/6V8T,5/6個(gè)攝像頭,利用8TOPS算力,實(shí)現(xiàn)高速NOA和記憶泊車,且泊車過(guò)程可檢測(cè)障礙物;3、11V,實(shí)現(xiàn)L2+,包括高速NOA和自主代客泊車。
Nullmax產(chǎn)品方案最后,我們上文提到的“類腦計(jì)算”,其實(shí)并非是Nullmax原創(chuàng),而是來(lái)自巖思類腦研究院。這個(gè)巖思類腦研究院后面的母公司,也是Nullmax的控股母公司巖山科技。就是那個(gè)去年10月份斥資7.8億元投資Nullmax的巖山科技。所以還在找出路的智能駕駛方案商們懂了嗎?上市不是當(dāng)下唯一的選擇,先找棵大樹也不錯(cuò)。-END-
原文標(biāo)題 : 前特斯拉工程師,把類腦計(jì)算帶進(jìn)自動(dòng)駕駛
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
技術(shù)文庫(kù)
最新活動(dòng)更多
-
3月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
精彩回顧立即查看>> 【線上直播】新能源汽車熱管理行業(yè)應(yīng)用新進(jìn)展
-
精彩回顧立即查看>> 【線上直播】西門子電池行業(yè)研討會(huì)-P4B如何加速電池開發(fā)
-
精彩回顧立即查看>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 【線下論壇】華邦電子與萊迪思聯(lián)合技術(shù)論壇
-
10
- 1 2025上海車展看什么?看這一篇就夠了!
- 2 關(guān)稅大戰(zhàn),汽車芯片會(huì)漲價(jià)嗎
- 3 工信部召開智能網(wǎng)聯(lián)汽車產(chǎn)品準(zhǔn)入及軟件在線升級(jí)管理工作推進(jìn)會(huì)提的內(nèi)容,將如何影響智駕行業(yè)發(fā)展?
- 4 地平線智駕方案軟硬結(jié)合,大眾、保時(shí)捷的合作紛至沓來(lái)
- 5 高呼的“全民智駕”真的做到“全民”了嗎?
- 6 一季度汽車產(chǎn)量省份排名大洗牌!誰(shuí)在異軍突起?
- 7 奇瑞的混動(dòng)技術(shù):厚積薄發(fā),從發(fā)動(dòng)機(jī)到混動(dòng)系統(tǒng)
- 8 三條人命,給全民智駕潑了三盆冷水
- 9 東風(fēng)+華為,還是華為借東風(fēng)?華為ADS3.0技術(shù)詳解
- 10 工信部對(duì)浮躁的智駕說(shuō)“不”
