本文是加拿大滑鐵盧大學(xué)CogDrive實驗室對當前最新的基于深度學(xué)習(xí)的相機－激光雷達融合（camera－LiDAR Fusion）方法的綜述。

本篇綜述評價了基于相機－激光雷達融合的深度補全，對象檢測，語義分割和跟蹤方向的最新論文，并根據(jù)其融合層級進行組織敘述并對比。最后討論了當前學(xué)術(shù)研究與實際應(yīng)用之間的差距和被忽視的問題�；�于這些觀察，我們提出了自己的見解及可能的研究方向。

01．背景

基于單目視覺的感知系統(tǒng)以低成本實現(xiàn)了令人滿意的性能，但卻無法提供可靠的3D幾何信息。雙目相機可以提供3D幾何信息，但計算成本高，且無法在高遮擋和無紋理的環(huán)境中可靠的工作。此外，基于視覺的感知系統(tǒng)在光照條件復(fù)雜的情況下魯棒性較低，這限制了其全天候能力。而激光雷達不受光照條件影響，且能提供高精度的3D幾何信息。但其分辨率和刷新率低，且成本高昂。

相機－激光雷達融合感知，就是為了提高性能與可靠性并降低成本。但這并非易事，首先，相機通過將真實世界投影到相機平面來記錄信息，而點云則將幾何信息以原始坐標的形式存儲。此外，就數(shù)據(jù)結(jié)構(gòu)和類型而言，點云是不規(guī)則，無序和連續(xù)的，而圖像是規(guī)則，有序和離散的。這導(dǎo)致了圖像和點云處理算法方面的巨大差異。在圖1中，我們比較了點云和圖像的特性。

圖1．點與數(shù)據(jù)和圖像數(shù)據(jù)的比較

圖2． 論文總體結(jié)構(gòu)

02．趨勢，挑戰(zhàn)和未來研究方向

無人駕駛汽車中的感知模塊負責(zé)獲取和理解其周圍的場景，其輸出直接影響著下游模塊（例如規(guī)劃，決策和定位）。因此，感知的性能和可靠性是整個無人駕駛系統(tǒng)的關(guān)鍵。通過攝像頭－激光雷達融合感知來加強其性能和可靠性，改善無人駕駛車輛在復(fù)雜的場景下的感知（例如城市道路，極端天氣情況等）。因此在本節(jié)中，我們總結(jié)總體趨勢，并討論這方面的挑戰(zhàn)和潛在影響因素。如表IV所示，我們將討論如何改善融合方法的性能和魯棒性，以及與工程實踐相關(guān)的其他重要課題。如下是我們總結(jié)的圖像和點云融合的趨勢：

2D到3D：隨著3D特征提取方法的發(fā)展，在3D空間中定位，跟蹤和分割對象已成為研究的熱點。

單任務(wù)到多任務(wù)：一些近期的研究［64］ ［80］結(jié)合了多個互補任務(wù)，例如對象檢測，語義分割和深度完成，以實現(xiàn)更好的整體性能并降低計算成本。
信號級到多級融合：早期的研究經(jīng)常利用信號級融合，將3D幾何圖形轉(zhuǎn)換到圖像平面以利用現(xiàn)成的圖像處理模型，而最近的模型則嘗試在多級融合圖像和點云（例如早期融合，晚期融合）并利用時間上下文。

表I． 當前的挑戰(zhàn)

A．與性能相關(guān)的開放研究問題

1）融合數(shù)據(jù)的（Feature／Signal Representation）特征／信號表示形式：

融合數(shù)據(jù)的Feature／Signal Representation是設(shè)計任何數(shù)據(jù)融合算法的基礎(chǔ)。當前的特征／信號表示形式包括：

a） 在RGB圖像上的附加深度信息通道（RGB－D）。此方法由于可以通過現(xiàn)成的圖像處理模型進行處理，因此早期的信號級融合常使用這種表達形式。但是，其結(jié)果也限制于2D圖像平面，這使其不適用于自動駕駛。

b） 在點云上的附加RGB通道。此方法可以通過將點投影到像平面進行像素點關(guān)聯(lián)來實現(xiàn)。但是，高分辨率圖像和低分辨率點云之間的分辨率不匹配會影響此方式的效率。

c） 將圖像和點云特征／信號均轉(zhuǎn)換為（intermediate data representation）其他的數(shù)據(jù)表示形式。當前的intermediate data representation包括：（voxelized point cloud）體素化點云［75］，（lattice）晶格［88］。未來的研究可以探索其他新穎的中間數(shù)據(jù)結(jié)構(gòu)，例如（graph）圖，（tree）樹等，從而提高性能。

2）（Encoding Geometric Constraint）加入幾何約束：

與其他三維數(shù)據(jù)源（如來自立體相機或結(jié)構(gòu)光的RGBD數(shù)據(jù)）相比，LiDAR有更長的有效探測范圍和更高的精度，可提供詳細而準確的3D幾何形狀。幾何約束已成為圖像和點云融合流程中的常識，其提供了額外的信息來引導(dǎo)深度學(xué)習(xí)網(wǎng)絡(luò)實現(xiàn)更好的性能。將點云以RGBD圖像的形式投影到圖像平面似乎是最自然的解決方法，但是點云的稀疏性會產(chǎn)生空洞。深度補全和點云上采樣可以在某種程度上解決該問題。除此之外利用單眼圖像預(yù)測深度信息以及在連續(xù)幀之間引入自我監(jiān)督學(xué)習(xí)，也有望緩解這個問題。但是，如何將這種幾何信息加入到融合流程中仍是當前研究實踐中尚需解決的問題。

3）（Encoding Temporal Context）加入時間上下文：

還有一些工程問題阻礙了無人駕駛汽車的實際部署，例如LiDAR與攝像頭之間的時間不同步，LiDAR的低刷新率導(dǎo)致車速高時的點云變形，LiDAR傳感器測距誤差。這些問題將導(dǎo)致圖像與點云，點云與實際環(huán)境之間的不匹配。根據(jù)深度補全方面的經(jīng)驗，可以采用連續(xù)幀之間的時間上下文來改善姿態(tài)估計，從而改善特征融合的性能并使得下游的的header網(wǎng)絡(luò)受益。在自動駕駛中，準確估算周圍車輛的運動狀態(tài)至關(guān)重要，時間上下文有助于獲得更平滑，更穩(wěn)定的結(jié)果。此外，時間上下文可能有益于在線自校準。因此，應(yīng)對加入時間上下文進行更多的研究。 

4）深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計：

要回答這個問題，我們首先需要回答點云的最佳深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)是什么。對于圖像處理，CNN是最佳選擇，并已被廣泛接受。但點云處理仍然是一個開放的研究問題。同時沒有點云深度學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計原則，被廣泛的接受或被證明是最有效的。當前大多數(shù)傳感器融合網(wǎng)絡(luò)都是基于對應(yīng)的圖像的網(wǎng)絡(luò)結(jié)構(gòu)，或者是基于經(jīng)驗或?qū)嶒瀬磉M行設(shè)計的。因此，采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（NAS）［95］的方法可能會帶來進一步的性能提升。