5 Rethinking Bottleneck Structure for Efficient Mobile Network Design

作者：Zhou Daquan，Qibin Hou，Yunpeng Chen，Jiashi Feng，Shuicheng Yan

機構(gòu)：新加坡國立大學，依圖科技

簡介：反向剩余塊是近年來移動網(wǎng)絡體系結(jié)構(gòu)設(shè)計的主流。它通過引入反向殘差學習和使用線性瓶頸兩種設(shè)計規(guī)則來改變傳統(tǒng)的剩余瓶頸。本文對這種設(shè)計變更的必要性進行了反思，發(fā)現(xiàn)這種變更可能帶來信息丟失和梯度混淆的風險。因此，我們建議翻轉(zhuǎn)結(jié)構(gòu)并提出一種新的瓶頸設(shè)計，稱為沙漏塊，在更高的維度上執(zhí)行身份映射和空間變換，從而有效地減少信息丟失和梯度混淆。大量的實驗表明，與一般的觀點不同，這種瓶頸結(jié)構(gòu)比倒置的瓶頸結(jié)構(gòu)對移動網(wǎng)絡更為有利。在ImageNet分類中，通過簡單地用我們的沙漏塊代替倒立的殘差塊而不增加參數(shù)和計算量，分類精度比MobileNetV2提高1．7％以上。在pascalvoc2007測試集上，觀察到在目標檢測方面也有0．9％的mAP改進。通過將其加入神經(jīng)結(jié)構(gòu)搜索方法DARTS的搜索空間，進一步驗證了沙漏塊的有效性。經(jīng)過25％的參數(shù)簡化，分類精度比以前的DARTS模型提高了0．13％。

6 MutualNet： Adaptive ConvNet via Mutual Learning from Network Width and Resolution

作者：Taojiannan Yang，Sijie Zhu，Chen Chen，Shen Yan，Mi Zhang，Andrew Willis

機構(gòu)：北加利福利亞大學，密歇根州立大學

簡介：本文提出了寬度－分辨率相互學習的方法（MutualNet），根據(jù)動態(tài)的資源約束來訓練網(wǎng)絡，實現(xiàn)運行時自適應的準確率－效率的平衡。該方法利用不同的寬度和輸入分辨率，訓練了多個子網(wǎng)絡，每個網(wǎng)絡都互相學習多尺度的特征表示。相對于目前SOTA的自適應網(wǎng)絡 US－Net，本文方法在ImageNet上取得了更高的top－1準確率，要比最優(yōu)的復合尺度的MobileNet和EfficientNet 高1．5％1．5％1．5％。在COCO目標檢測、實例分割和遷移學習任務上，該方法也進行了驗證。MutualNet的訓練策略可以提升單個網(wǎng)絡的性能，在效率（GPU搜索時間：1500 vs． 0）和準確率方面都顯著超過了AutoAugmentation。

7 PSConv： Squeezing Feature Pyramid into One Compact Poly－Scale Convolutional Layer

作者：Duo Li，Anbang Yao，Qifeng Chen

機構(gòu)：香港科技大學，intel實驗室

簡介：盡管卷積神經(jīng)網(wǎng)絡（CNNs）具有強大的建模能力，但它往往具有尺度敏感性。為了提高cnn對尺度方差的魯棒性，在現(xiàn)有的解決方案中，基于不同層次或濾波器的多尺度特征融合受到了廣泛的關(guān)注，而忽略了更細粒度的核空間。我們通過在更細的粒度中利用多尺度特性來彌補這一遺憾。所提出的卷積運算稱為多尺度卷積（PSConv），它混合了膨脹率的頻譜，并巧妙地將其分配到每個濾波器關(guān)于單個卷積層的各個卷積核中。具體地說，膨脹率沿著濾波器的輸入和輸出通道的軸周期性地變化，以一種簡潔的方式將各種尺度上的特征聚集起來。PSConv可能是許多主流CNN主干網(wǎng)中香草卷積的一個替代品，允許在不引入額外參數(shù)和計算復雜性的情況下進行更好的表示學習。在ImageNet和MS－COCO基準測試上的綜合實驗驗證了PSConv的優(yōu)越性能。

圖像分類

1 Learning To Classify Images Without Labels

作者：Van Gansbeke Wouter，Vandenhende Simon，Georgoulis Stamatios，Proesmans Marc，Van Gool Luc

機構(gòu)：KU Leuven／ESAT－PSI，蘇黎世聯(lián)邦理工學院

簡介：有沒有可能在不使用地面真相注釋的情況下自動分類圖像？或者，即使是類本身，也不是先驗知識嗎？這些仍然是計算機視覺中的重要問題。有幾種方法試圖以端到端的方式解決這個問題。在本文中，作者偏離了最近的工作，提出了一種將特征學習和聚類分離的兩步方法。首先，利用表征學習中的自監(jiān)督任務來獲得語義上有意義的特征。第二，在可學習的聚類方法中，使用所獲得的特征作為先驗。在這樣做的時候，去除了集群學習依賴于低級特征的能力，這是當前端到端學習方法中存在的。實驗結(jié)果表明，本文的分類準確率大大超過了現(xiàn)有的分類方法，特別是CIFAR10為＋26．9％，CIFAR100－20為＋21．5％，STL10為＋11．7％。此外，在ImageNet上的結(jié)果表明，本文的方法是第一個能夠很好地擴展到200個隨機選擇的類，獲得69．3％的top－1和85．5％的top－5準確率，并且在完全監(jiān)督的方法下，差異小于7．5％。