多傳感器數(shù)據(jù)融合的自動駕駛汽車
本文整理了多傳感器數(shù)據(jù)融合(Multi-Sensor Data Fusion,MSDF)的要點和基本方法。介紹了Harmonize、Reconcile、Integrate、Synthesize之間的區(qū)別和對應的解決方案。文章主要圍繞什么是MSDF;為什么要MSDF和如何進行MSDF展開,希望給對自動駕駛感興趣的小伙伴,提供一些參考。
許多人工智能系統(tǒng)的一個關鍵要素是具有多傳感器數(shù)據(jù)融合(Multi-Sensor Data Fusion,MSDF)的能力。在人工智能系統(tǒng)處于一個特定的環(huán)境時,MSDF需要對周圍環(huán)境數(shù)據(jù)進行Harmonize;Reconcile;Integrate;Synthesize。簡單來說,傳感器相當于眼睛耳朵等輸入感官,而人工智能系統(tǒng)需要以某種方式解釋這些輸入感官收集回來的信息,使其成為在現(xiàn)實世界可以被解釋且有價值的信息。在駕駛汽車時,多目標跟蹤(Multi-Target Tracking,MTT)也是非常重要的課題——設想在市中心開車,周圍都是行人和車輛,人類駕駛員要準確的識別并躲避他們,自動駕駛汽車也是。所以,這要求傳感器融合具備一個必須的性質(zhì)——實時性,就像人類每時每刻都在大腦中進行傳感器融合一樣。盡管人類不會公開地明確地將想法付諸于行動,但是這些“傳感器融合”過程都是自然發(fā)生的。
自動駕駛的MSDF
首先,需要明確一個老生常談的概念——SAE對于自動駕駛等級的劃分。SAE給自動駕駛汽車劃分為5個等級,對于L5以下的自動駕駛汽車,要求必須有一個人類駕駛員(安全員)在場。目前,人工智能和人類駕駛員共同承擔駕駛?cè)蝿,而人類駕駛員被認定為汽車行為的責任人。
回到MSDF的話題,下圖展示了人工智能自動駕駛汽車如何進行MSDF的一些關鍵要素。
上圖指出了MSDF面臨的主要挑戰(zhàn)是如何將收集來的大量數(shù)據(jù)集中在一起,并做出正確決策。因為如果MSDF出錯,意味著下游階段要么沒有必要的信息,要是使用了錯誤的信息做出了錯誤的決策?梢钥吹,一般來說,自動駕駛汽車會通過安裝在車身周圍的攝像頭收集視覺數(shù)據(jù),也會通過雷達(激光雷達、毫米波雷達等)來收集諸如周圍物體運動速度的數(shù)據(jù),但是這些數(shù)據(jù)是從不同角度來描述現(xiàn)實世界的同一樣或不同樣的物體。所以,使用什么類型的傳感器,怎么融合傳感器收集回來的數(shù)據(jù),使用多少傳感器才能實現(xiàn)基于數(shù)據(jù)的對客觀世界的描述呢?通常來說,使用越多的傳感器,對計算能力的要求就越高,這意味著自動駕駛汽車必須搭載更多的計算機處理器和內(nèi)存,這也會增加汽車的重量,需要更多的功率,還會產(chǎn)生更多的熱量。諸如此類的缺點還有很多。
多傳感器融合(MSDF)的四個關鍵方法
圖 Harmonize;Reconcile;Integrate;Synthesize的區(qū)別
Harmonize:
假設有兩種不同的傳感器,稱它們?yōu)閭鞲衅鱔和傳感器Z。它們都能夠感知自動駕駛汽車的外部世界。在現(xiàn)實世界中存在一個物體,這個物體可能是人,也可能是車,甚至是一條狗,傳感器X和傳感器Z都能夠檢測到這個物體。這就意味著傳感器對這個物體進行了雙重檢測,這種雙重檢測意味著兩種不同類型的傳感器都有關于該物體的數(shù)據(jù)報告,對于該物體有兩個維度不同地認知。假設,傳感器X表示該物體高6英尺,寬2英尺;傳感器Z表示該物體以每秒3英尺的速度正朝著自動駕駛車輛方向移動。結合兩個傳感器采集到的數(shù)據(jù),就可以得出一條相對準確的信息:有一個高約6英尺,寬2英尺的物體正在以每秒鐘3英尺的速度移動。假設這兩自動駕駛汽車上只安裝了X傳感器,那么就無法得知該物體的大小;若Z傳感器壞了,那么就只有物體的大小信息,無法檢測該物體的運動狀態(tài)。這也就是最近業(yè)內(nèi)廣泛討論的“在自動駕駛汽車上應該安裝哪些傳感器”的問題。
此前,特斯拉埃隆·馬斯克(Elon Musk)旗幟鮮明地聲稱,特斯拉不會安裝激光雷達。盡管馬斯克自己也認為,L5自動駕駛不會通過激光雷達來實現(xiàn)這個想法最終可能被驗證為錯誤的,這依舊沒有改變馬斯克的決定。一些反對的聲音稱,不配備激光雷達的特斯拉,無法通過其他的傳感器獲取如同激光雷達效果相同的感官輸入,也無法提供補償和三角測量。但是另一些支持者認為,激光雷達不值得話費如此高昂的費用成本,不值得為其增大計算能力,也不值得為其增加認知時間。
Reconcile:
在同一個視場(Field of View,F(xiàn)OV)內(nèi),假設傳感器X探測到一個物體,而傳感器Z沒有探測到。注意,這與物體完全在傳感器Z的FOV之外的情況有很大的不。一方面,系統(tǒng)會認為傳感器X是正確的,Z是錯誤的,可能是因為Z有故障,或者有模糊探測,或者是其他的一些什么原因。另一個方面,也許傳感器X是錯誤的,X可能是報告了一個“幽靈”(實際上并不存在的東西),而傳感器Z報告那里沒有東西是正確的。
Integrate:
假設我們有兩個物體a和b,分別在傳感器X和傳感器Z的視場FOV內(nèi)(a在X視場內(nèi),b在Z視場內(nèi))。也就是說,Z無法直接檢測到a,X也無法直接檢測到b。目前,想要實現(xiàn)的效果是,能否將X和Z的報告整合在一起,讓它們在各自的視場內(nèi)探測物體同時,判斷是否為X視場中的物體正在向Z視場移動,預先提醒Z將有物體進入探測區(qū)域。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關稅,能否乘機器人東風翻身?