傳感器系統(tǒng)開發(fā)商FLIR公司近日發(fā)布了自動駕駛開源熱傳感器數(shù)據(jù)集，該數(shù)據(jù)集匯集了10，000多個白天和夜間場景的注釋熱圖像，熱成像傳感器可以檢測行人，動物和其他車輛，最大距離可達到傳統(tǒng)前燈照明的四倍。該傳感器的應用將有助于駕駛員或未來的自動駕駛車輛在黑暗，太陽眩光，霧，煙和霧霾等具有挑戰(zhàn)性的環(huán)境中看得更遠。

近日，美國俄勒岡州的傳感器系統(tǒng)開發(fā)商 FLIR Systems Inc． 宣布推出一款開源機器學習熱數(shù)據(jù)集，專為高級駕駛輔助系統(tǒng)（ADAS）和自動駕駛汽車研究人員，開發(fā)人員和汽車制造商而設計，該數(shù)據(jù)集匯集了10，000多個白天和夜間場景的注釋熱圖像。

什么是熱成像傳感器？

智車科技曾在《紅外熱像儀結合機器學習助力自動駕駛安全，或是未來發(fā)展方向之一》一文中提到，熱像儀又稱紅外熱像儀，是利用紅外探測器和光學成像物鏡接受被測目標的紅外輻射能量分布圖形反映到紅外探測器的光敏元件上，從而獲得紅外熱像圖，這種熱像圖與物體表面的熱分布場相對應。通俗地講熱像儀就是將物體發(fā)出的不可見紅外能量轉變?yōu)榭梢姷臒釄D像。熱圖像的上面的不同顏色代表被測物體的不同溫度。紅外熱像儀是可通過光電轉換、電信號處理等手段，將目標物體的溫度分布圖像轉換成視頻圖像的設備。

熱像儀可通過識別行人、動物以及周圍環(huán)境發(fā)出的熱量，形成物體輪廓圖像，進而幫助司機發(fā)現(xiàn)行駛過程中的危險。

目前自動駕駛感知的局限性

目前自動駕駛感知一般都用激光雷達（LiDAR）、雷達和攝像頭等，這些傳感器的感知距離有限，而且對行人、動物等識別容易出現(xiàn)差錯，需要人類駕駛員隨時準備接管控制車輛，要實現(xiàn)3－5級的自動駕駛，車輛需要更大數(shù)量和更強功能的傳感器。

雷達傳感器可以檢測遠處的物體，但卻無法識別該物體。攝像頭可以很有效地確定物體是什么，但僅能在較近的范圍內(nèi)起作用，而且在夜間等感光能力差的時候，容易出現(xiàn)誤識別（比如Uber事件）。雷達傳感器和攝像頭融合方案，可以為自動駕駛車輛提供更完整的檢測和覆蓋范圍，但仍需有強大的冗余備份。

目前的傳感技術都存在感知問題。CMOS攝像頭、雷達和LiDAR無法在動態(tài)照明或惡劣天氣條件下發(fā)揮作用。（來源：面包板社區(qū)）

在ADAS環(huán)境中，感應熱紅外輻射或熱量的能力為現(xiàn)有傳感器技術提供了互補和獨特的優(yōu)勢。當前的自動駕駛和自動駕駛解決方案使用各種傳感器來收集汽車周圍環(huán)境的信息，但它們都有缺點，在與熱成像結合使用時解決。作為目前汽車行業(yè)唯一的汽車級無源紅外傳感器，F(xiàn)LIR傳感器應用于眾多車輛，包括通用汽車，標致，梅賽德斯，奧迪和寶馬制造的車輛，以及售后系統(tǒng)。可以檢測行人，動物和其他車輛，熱傳感器的最大距離可達到傳統(tǒng)前燈照明的四倍。熱成像有助于駕駛員和未來的自動駕駛車輛在黑暗，太陽眩光，霧，煙和霧霾等具有挑戰(zhàn)性的環(huán)境中看得更遠。

FIR技術方案

據(jù)面包板社區(qū)介紹，F(xiàn)IR熱攝像頭使用遠紅外光波來檢測物體自然發(fā)出的熱量（熱輻射）的差異，并將該數(shù)據(jù)轉換成圖像，可以掃描可見光以上的紅外光譜，因此可以檢測到一般攝像頭／雷達／LiDAR無法察覺的物體。帶有FIR的VGA熱傳感器對于高對比度成像具有0．05攝氏度的靈敏度，可以檢測到200米距離遠的行人。FIR傳感器將能夠以30或60fps的速度跟蹤行人，并檢測前方道路。

FIR傳感器產(chǎn)生新的信息，可提高分割能力，并提供對車輛周圍環(huán)境的準確分析

除了捕獲物體或材料的溫度之外，F(xiàn)IR攝像頭還可以捕獲物體的發(fā)射率——它是如何有效地散發(fā)熱量的。由于每個物體具有不同的發(fā)射率，因此FIR攝像頭可以感測其路徑中的任何物體。有了這些信息，攝像頭就可以創(chuàng)建一個可以獨立并安全運行的道路視覺圖畫。

在低光靈敏度下幾種最先進的攝像頭對比，采用FIR方案的Viper可以檢測到其他傳感技術無法檢測到的物體

憑借這項先進的技術，F(xiàn)IR攝像頭可以克服復雜的天氣和照明條件帶來的障礙，而這是目前其他傳感技術無法克服的。

開源熱數(shù)據(jù)集

這是首款包含汽車，其他車輛，人員，自行車和狗的注釋的熱數(shù)據(jù)集，它能夠使開發(fā)人員使用FLIR汽車開發(fā)套件（ADKTM）開始測試并優(yōu)化卷積神經(jīng)網(wǎng)絡（CNN）算法。當它與普通可見光攝像機，激光雷達和雷達相結合時，熱傳感器數(shù)據(jù)與機器學習相結合，有助于創(chuàng)建更全面和冗余的系統(tǒng)，用于識別和分類道路物體，尤其是行人和其他生物。

“這個免費的開源數(shù)據(jù)集，它為汽車界提供了一個重要的機會，使ADAS和自動駕駛汽車在各種條件下更具魯棒性�！盕LIR業(yè)務總裁說�！按送�，最近引人注目的自動駕駛相關事故，顯示出對經(jīng)濟實惠的智能熱傳感器的明確需求。憑借數(shù)百萬自動駕駛汽車的潛力，F(xiàn)LIR熱傳感器成本將大幅降低，這將鼓勵大規(guī)模采用并最終實現(xiàn)更安全的自動駕駛汽車�！�

該數(shù)據(jù)集包括日間和夜間場景，包含汽車和其他車輛以及人員，自行車和狗的注釋。圖像可用于訓練卷積神經(jīng)網(wǎng)絡（CNN）來識別這些對象。FLIR表示，將熱圖像與激光雷達，雷達和可見光相機相結合可以創(chuàng)建更強大的算法，能夠更輕松地識別物體 ——特別是人和動物。

車道線清晰，在夜間具有挑戰(zhàn)性的照明條件下，ADK與可見相機的對比

最新的FLIR ADK與NVIDIA DRIVE汽車平臺的開發(fā)者生態(tài)系統(tǒng)兼容。ADK采用高分辨率FLIR Boson，配備Intel Movidius Myriad 2視覺處理單元，是FLIR唯一的熱像儀模塊，采用先進的低功耗多核視覺處理器，結構緊湊，堅固耐用汽車使用所需的包裝。

隨著世界向自動駕駛汽車邁進，這種熱傳感器的應用可能將有助于汽車行業(yè)將自動駕駛汽車所需的可靠性和冗余性。