群卷積

群卷積的目的是通過(guò)將特征信道劃分為多個(gè)不同的組，然后分別對(duì)每個(gè)組進(jìn)行卷積，從而減少卷積層中參數(shù)的數(shù)量，如上圖（d）所示。如果我們將特征信道平均分成m組，不改變其他構(gòu)型，理論上卷積的計(jì)算復(fù)雜度將會(huì)降低到原來(lái)的1／m。

深度可分離卷積

上圖（e）所示的深度可分離卷積是近年來(lái)流行的一種構(gòu)建輕量級(jí)卷積網(wǎng)絡(luò)的方法，當(dāng)組數(shù)等于信道數(shù)時(shí)，可以將它看作是群卷積的一個(gè)特例［4］。

假設(shè)我們有一個(gè)帶有d個(gè)濾波器的卷積層和一個(gè) c 通道的特征圖，每個(gè)濾波器的大小為 k×k 。對(duì)于深度可分卷積，每個(gè) k×k×c 濾波器首先被分割成 c 個(gè)片，每個(gè)片的大小為 k×k×1 ，然后在每個(gè)通道中對(duì)濾波器的每個(gè)片分別進(jìn)行卷積。最后，一些 1x1 濾波器用于進(jìn)行維度轉(zhuǎn)換，以便最終的輸出應(yīng)該具有 d 通道。利用深度可分卷積，將計(jì)算復(fù)雜度從O（dk＾2c）降低到O（ck＾2）＋O（dc）。該思想最近被應(yīng)用于目標(biāo)檢測(cè)和細(xì)粒度分類(lèi)（Fine－grain classification）。

瓶頸設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)中的瓶頸層與前一層相比只包含很少的節(jié)點(diǎn)，它可以用來(lái)學(xué)習(xí)降維輸入的高效數(shù)據(jù)編碼，這在深度自編碼中得到了廣泛的應(yīng)用。近年來(lái)，瓶頸設(shè)計(jì)被廣泛應(yīng)用于輕量化網(wǎng)絡(luò)的設(shè)計(jì)［5］［6］。在這些方法中，一種常見(jiàn)的方法是壓縮檢測(cè)器的輸入層，以減少?gòu)臋z測(cè)管道開(kāi)始的計(jì)算量［5］。另一種方法是壓縮檢測(cè)引擎的輸出，使特征圖變薄，使其在后續(xù)檢測(cè)階段更加高效［6］。

神經(jīng)結(jié)構(gòu)搜索

近年來(lái)，人們對(duì)利用神經(jīng)結(jié)構(gòu)搜索 （ NAS ） 自動(dòng)設(shè)計(jì)網(wǎng)絡(luò)體系結(jié)構(gòu)而不是依賴(lài)于專(zhuān)家經(jīng)驗(yàn)和知識(shí)產(chǎn)生了濃厚的興趣。NAS 已應(yīng)用于大規(guī)模圖像分類(lèi)［7］，目標(biāo)檢測(cè)［8］和圖像分割任務(wù)［9］。NAS 最近在設(shè)計(jì)輕量級(jí)網(wǎng)絡(luò)方面也顯示出了很好的結(jié)果，其中在搜索過(guò)程中考慮了預(yù)測(cè)精度和計(jì)算復(fù)雜度的限制［10］。

數(shù)值加速技術(shù)

我們簡(jiǎn)要介紹在目標(biāo)檢測(cè)中經(jīng)常使用的兩種數(shù)值加速技術(shù)：1） 頻域加速，2） 降階近似。

頻域加速

卷積是目標(biāo)檢測(cè)中的一種重要的數(shù)值運(yùn)算形式。由于線(xiàn)性檢測(cè)器的檢測(cè)可以看作是特征圖與檢測(cè)器權(quán)值之間的窗口內(nèi)積，因此該過(guò)程可以通過(guò)卷積來(lái)實(shí)現(xiàn)。

有很多方法可以加速卷積運(yùn)算，其中傅里葉變換是一個(gè)非常實(shí)用的選擇，尤其是對(duì)于加速那些大的濾波器。頻域加速卷積的理論基礎(chǔ)是信號(hào)處理中的卷積定理，即在合適的條件下，兩個(gè)信號(hào)卷積的傅里葉變換是其傅里葉空間的點(diǎn)乘：

其中，

是傅里葉變換，

是傅里葉反變換，I和W是輸入圖像和濾波器，＊是卷積運(yùn)算，

是點(diǎn)乘運(yùn)算。利用快速傅里葉變換 （Fast Fourier Transform，F(xiàn)FT）和快速傅里葉反變換 （Inverse Fast Fourier Transform，IFFT）可以加速上述計(jì)算。FFT 和 IFFT 現(xiàn)在經(jīng)常被用來(lái)加速 CNN 模型和一些經(jīng)典的線(xiàn)性目標(biāo)檢測(cè)器，這使得檢測(cè)速度提高了一個(gè)數(shù)量級(jí)。下圖為在頻域中加速線(xiàn)性目標(biāo)檢測(cè)器的標(biāo)準(zhǔn)傳輸途徑（如 HOG 和 DPM）。

降階近似

在深度網(wǎng)絡(luò)中，全連接層的計(jì)算本質(zhì)上是兩個(gè)矩陣的乘法。當(dāng)參數(shù)矩陣

較大時(shí)，檢測(cè)器的計(jì)算量較大。例如在Fast RCNN檢測(cè)器中，將近一半的前向傳遞時(shí)間用于計(jì)算全連接層。降秩近似是一種加速矩陣乘法的方法。它的目的是對(duì)矩陣W進(jìn)行低秩分解：

其中U是由W的前t列左奇異向量構(gòu)成的

型矩陣，

是一個(gè)包含W前t個(gè)奇異值的

對(duì)角矩陣，V是由W的前t行右奇異向量構(gòu)成的

矩陣。上述過(guò)程也稱(chēng)為截?cái)?SVD（Truncated SVD），將參數(shù)從

減少到

個(gè)，當(dāng)t遠(yuǎn)小于

時(shí)效果顯著。截?cái)?SVD 可以2倍的效率加速 Fast RCNN 檢測(cè)器。