近日，由 CVPR 2020 Workshop 舉辦的 NightOwls Detection Challenge 公布了最終結(jié)果。來自深蘭科技的 DeepBlueAI 團(tuán)隊斬獲了“單幀行人檢測”和“多幀行人檢測”兩個賽道的冠軍，以及“檢測單幀中所有物體”賽道的亞軍。

競賽的主要目的是進(jìn)行夜間行人或物體檢測，是許多系統(tǒng)，尤其是自動駕駛汽車安全可靠的關(guān)鍵之一。眾所周知，熊貓智能公交車是深蘭科技自動駕駛核心產(chǎn)品，自2019年獲得了廣州、長沙、上海、武漢的自動駕駛測試牌照后，今年5月又成功摘得深圳智能網(wǎng)聯(lián)汽車道路測試牌照。此次冠亞軍方案，將與白天行人檢測結(jié)合，打造適用于不同天氣條件的全天候行人檢測系統(tǒng)，并有望在熊貓智能公交上進(jìn)行應(yīng)用，為其安全行駛保駕護(hù)航。

深蘭科技堅持以“人工智能，服務(wù)民生”為理念，響應(yīng)國家政策號召，深刻洞察民眾痛點(diǎn)和需求，致力于把高質(zhì)量的人工智能產(chǎn)品和解決方案帶給更多的社會大眾，以匠心研發(fā)的熊貓智能公交車將作為智能城市公共交通領(lǐng)域的“新基建”，用于提升公眾出行新體驗(yàn)。
以下將為大家介紹 DeepBlueAI 團(tuán)隊的解決方案。

NightOwls 檢測挑戰(zhàn)賽簡介

檢測 RGB 攝像機(jī)拍攝的夜間場景圖片中的行人，是一個非常重要但是未被充分重視的問題，當(dāng)前最新的視覺檢測算法并不能很好地預(yù)測出結(jié)果。官方 baseline 在 Caltech（著名行人檢測數(shù)據(jù)集）上的 Miss Rate（越小越好）可以達(dá)到 7．36％，但在夜間行人數(shù)據(jù)集上卻只能達(dá)到 63．99％。
夜間行人檢測是許多系統(tǒng)（如安全可靠的自動駕駛汽車）的關(guān)鍵組成部分，但使用計算機(jī)視覺方法解決夜間場景的檢測問題并未受到太多關(guān)注，因此 CVPR 2020 Scalability in Autonomous Driving Workshop 開展了相應(yīng)的比賽。

NightOwls Detetection Challenge 2020 共有三個賽題：單幀行人檢測（該賽題與 2019 年相同）、多幀行人檢測，以及檢測單幀中所有物體（包括行人、自行車、摩托車三個類別）：Pedestrian Detection from a Single Frame （same as 2019 competition）Pedestrian Detection from a Multiple FramesAll Objects Detection （pedestrian， cyclist， motorbike） from a Single Frame

賽題介紹

夜間行人數(shù)據(jù)集示例

Track 1： Pedestrian detection from a single frame

該任務(wù)只要求檢測行人（對應(yīng) Ground truth 中 category＿id ＝ 1 的行人類別），且所用算法只能將當(dāng)前幀用作檢測的輸入，該題目與 ICCV 2019 NightOwls 挑戰(zhàn)賽相同。

Track 2： Pedestrian detection from multiple frames

該任務(wù)的要求與任務(wù) 1 相同，都是只檢測行人，但是該任務(wù)允許使用當(dāng)前幀以及所有先前幀 （N， N－1， N－2， …） 來預(yù)測當(dāng)前幀的行人。

這兩個任務(wù)的數(shù)據(jù)集由 279000 張全注釋的圖片組成，這些圖片來源于歐洲多個城市黎明和夜間的 40 個視頻，并涵蓋了不同的天氣條件。

模型效果評估使用的是行人檢測中常用的指標(biāo)Average Miss Rate metric，但是僅考慮高度 ＞ ＝ 50px 的非遮擋目標(biāo)。

Track 3： All Objects Detection （pedestrian， cyclist， motorbike） from a Single Frame
該任務(wù)要求檢測出幀里所有在訓(xùn)練集中出現(xiàn)過的類別，包括自行車、摩托車，并且不允許使用視頻序列信息。

賽題難點(diǎn)

這次比賽的主要難點(diǎn)包含以下幾個方面：

運(yùn)動模糊和圖像噪點(diǎn)

與常規(guī)檢測數(shù)據(jù)集不同，該競賽考慮到實(shí)際駕駛情況，所用數(shù)據(jù)是在車輛行進(jìn)過程中采集的，所以當(dāng)車速較快或者有相對運(yùn)動的時候會產(chǎn)生持續(xù)的運(yùn)動模糊圖像。并且由于攝像頭是普通的RGB相機(jī)，因此在光線較弱的環(huán)境下收集的圖片質(zhì)量大幅度下降，這也是影響模型效果的主要原因。

對比度差異大，色彩信息少

這是由于收集數(shù)據(jù)主要來自于夜間環(huán)境所導(dǎo)致的必然結(jié)果，所以在進(jìn)行數(shù)據(jù)增強(qiáng)的時候需要謹(jǐn)慎，不同增強(qiáng)方式會造成較大的影響。

不同的數(shù)據(jù)分布

該比賽的數(shù)據(jù)集涵蓋了不同的城市和天氣，之前常用的行人檢測數(shù)據(jù)集一般未同時滿足這兩個條件。該數(shù)據(jù)具有多樣性，且與常用數(shù)據(jù)集的數(shù)據(jù)分布存在較大差異。該比賽數(shù)據(jù)集與常用于訓(xùn)練預(yù)訓(xùn)練模型的數(shù)據(jù)集（如 COCO 數(shù)據(jù)集、OBJ365）的數(shù)據(jù)分布存在很大的不同，因此對基于常用數(shù)據(jù)集預(yù)訓(xùn)練的模型進(jìn)行 fine－tune 的效果不如預(yù)期。

DeepBlueAI 團(tuán)隊解決方案

DeepBlueAI 團(tuán)隊在單幀行人檢測和多幀行人檢測兩個賽道中取得了冠軍成績，在檢測單幀中所有物體賽道中獲得了亞軍。

就檢測器而言，該團(tuán)隊首先通過常規(guī)檢測所累積的經(jīng)驗(yàn)構(gòu)造出一個 baseline：

Baseline ＝ Backbone ＋ DCN  ＋ FPN ＋ Cascade ＋ anchor ratio （2．44）

這些模塊早已是各個比賽的「�？汀梗�也被許多專業(yè)人士進(jìn)行了比較透徹的分析，此處不再贅述。DeepBlueAI 團(tuán)隊進(jìn)行了簡單的實(shí)驗(yàn)，發(fā)現(xiàn)這些模塊總是有用，進(jìn)而將這套算法作為 baseline，加上一些行人檢測的小 trick，如將 anchor ratio 改為 2．44、針對標(biāo)注為 ignore 的目標(biāo)在訓(xùn)練過程中 loss 不進(jìn)行回傳處理。

具體主要工作包含以下幾個方面：

1． Double Heads

通過觀察實(shí)驗(yàn)發(fā)現(xiàn)，baseline 將背景中的石柱、燈柱等物體檢測為行人，這種情況大多和 head 效果不好有關(guān)。該團(tuán)隊基于此進(jìn)行了實(shí)驗(yàn)，如 TSD ［7］、CLS ［8］、double head ［9］，并最終選擇了效果好且性價比高的 double head 結(jié)構(gòu)（如下圖所示）：

Double Heads 結(jié)構(gòu)

通過對比實(shí)驗(yàn)可以發(fā)現(xiàn)：使用 FC－h(huán)ead 做分類、Conv－h(huán)ead 做回歸，可以得到最好的效果。

分類更多地需要語義信息，而坐標(biāo)框回歸則更多地需要空間信息，double head 方法采用分而治之的思想，針對不同的需求設(shè)計 head 結(jié)構(gòu)，因此更加有效。當(dāng)然這種方法也會導(dǎo)致計算量的增加。在平衡速度和準(zhǔn)確率的情況下，該團(tuán)隊最終選擇了 3 個殘差 2 個 Non－local 共 5 個模塊。

2． CBNet ［10］

合并功能更強(qiáng)大的 backbone 可提高目標(biāo)檢測器的性能。CBNet 作者提出了一種新穎的策略，通過相鄰 backbone 之間的復(fù)合連接 （Composite Connection） 來組合多個相同的 backbone。用這種方式他們構(gòu)建出了一個更強(qiáng)大的 backbone，稱為「復(fù)合骨干網(wǎng)絡(luò)」（Composite Backbone Network）。

當(dāng)然這也帶來了模型參數(shù)大小和訓(xùn)練時間的增加，屬于 speed–accuracy trade－off。該團(tuán)隊也嘗試過其他的改進(jìn)方式，但最終還是選擇了實(shí)用性更強(qiáng)的 CBNet，該方法不用再額外擔(dān)心預(yù)訓(xùn)練權(quán)重的問題。

該團(tuán)隊選擇了性價比較高的雙 backbone 模型結(jié)構(gòu)。

3． 數(shù)據(jù)增強(qiáng)

該團(tuán)隊發(fā)現(xiàn) Pixel－level 的增強(qiáng)方式導(dǎo)致了性能結(jié)果大幅下降，因此沒有在這個方向繼續(xù)嘗試。

而圖像增強(qiáng)方式 Retinex，從視覺上看帶來了圖像增強(qiáng)，但是該方法可能破壞了原有圖片的結(jié)構(gòu)信息，導(dǎo)致最終結(jié)果沒有提升。

于是，該團(tuán)隊最終選擇了 Spatial－level 的增強(qiáng)方式，使得結(jié)果有一定的提升。
實(shí)驗(yàn)細(xì)節(jié)

1． 將 Cascade rcnn ＋ DCN ＋ FPN 作為 baseline；

2． 將原有 head 改為 Double head；

3． 將 CBNet 作為 backbone；

4． 使用 cascade rcnn COCO－Pretrained weight；

5． 數(shù)據(jù)增強(qiáng)；

6． 多尺度訓(xùn)練 ＋ Testing tricks。

實(shí)驗(yàn)結(jié)果

下圖展示了該團(tuán)隊使用的方法在本地驗(yàn)證集上的結(jié)果：

該團(tuán)隊將今年的成績與去年 ICCV 2019 同賽道冠軍算法進(jìn)行對比，發(fā)現(xiàn)在不使用額外數(shù)據(jù)集的情況下，去年單模型在 9 個尺度的融合下達(dá)到 11．06，而該團(tuán)隊的算法在只用 2 個尺度的情況下就可以達(dá)到 10．49。

未來工作

該團(tuán)隊雖然獲得了不錯的成績，但也基于已有的經(jīng)驗(yàn)提出了一些未來工作方向：

1． 由于數(shù)據(jù)的特殊性，該團(tuán)隊嘗試使用一些增強(qiáng)方式來提高圖片質(zhì)量、亮度等屬性，使圖片中的行人更易于檢測。但結(jié)果證明這些增強(qiáng)方式可能破壞原有圖片結(jié)構(gòu)，效果反而降低。該團(tuán)隊相信會有更好的夜間圖像處理辦法，只是還需要更多研究和探索。

2． 在允許使用之前幀信息的賽道二中，該團(tuán)隊僅使用了一些簡單的 IoU 信息。由于收集這個數(shù)據(jù)集的攝像頭一直在移動，該團(tuán)隊之前在類似的數(shù)據(jù)集上使用過一些 SOTA 的方法，卻沒有取得好的效果。他們認(rèn)為之后可以在如何利用時序幀信息方面進(jìn)行深入的探索。

3． 該領(lǐng)域存在大量白天行人檢測的數(shù)據(jù)集，因此該團(tuán)隊認(rèn)為之后可以嘗試 Domain Adaption 方向的方法，以充分利用行人數(shù)據(jù)集。

參考文獻(xiàn)：［1］ Lin T Y ， Dollár， Piotr， Girshick R ， et al． Feature Pyramid Networks for Object Detection［J］． 2016．［2］ Dai J， Qi H， Xiong Y， et al． Deformable Convolutional Networks［J］． 2017．［3］ Cai Z ， Vasconcelos N ． Cascade R－CNN： Delving into High Quality Object Detection［J］． 2017．［4］ Xie S ， Girshick R ， Dollar P ， et al． Aggregated Residual Transformations for Deep Neural Networks［C］／／ 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）． IEEE Computer Society， 2017．［5］ Bochinski E ， Eiselein V ， Sikora T ． High－Speed tracking－by－detection without using image information［C］／／ 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS）． IEEE， 2017．［6］ Henriques J F ， Caseiro R ， Martins P ， et al． High－Speed Tracking with Kernelized Correlation Filters［J］． IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）：583－596．［7］ Song G ， Liu Y ， Wang X ． Revisiting the Sibling Head in Object Detector［J］． 2020．［8］ Li A ， Yang X ， Zhang C ． Rethinking Classification and Localization for Cascade R－CNN［J］． 2019．［9］ Wu， Y．， Chen， Y．， Yuan， L．， Liu， Z．， Wang， L．， Li， H．， ＆ Fu， Y． （2019）． Rethinking Classification and Localization in R－CNN． ArXiv， abs／1904．06493．［10］ Liu， Y．， Wang， Y．， Wang， S．， Liang， T．， Zhao， Q．， Tang， Z．， ＆ Ling， H． （2020）． CBNet： A Novel Composite Backbone Network Architecture for Object Detection． ArXiv， abs／1909．03625．