歡迎關(guān)注公眾號 CV技術(shù)指南 ,專注于計算機視覺的技術(shù)總結(jié)、最新技術(shù)跟蹤、經(jīng)典論文解讀。

前言:

由于基于transformers的架構(gòu)在計算機視覺建模方面具有創(chuàng)新性,因此對有效架構(gòu)的設(shè)計約定的研究還較少。從 CNN 的成功設(shè)計原則出發(fā),我們研究了空間維度轉(zhuǎn)換的作用及其對基于transformers的架構(gòu)的有效性。

我們特別關(guān)注CNNs的降維原理;隨著深度的增加,傳統(tǒng)的 CNN 會增加通道維度并減少空間維度。我們憑經(jīng)驗表明,這種空間降維也有利于transformers架構(gòu),并在原始 ViT 模型上提出了一種新型的基于池化的視覺transformers  (Pooling-based Vision Transformer--PiT)。

我們表明 PiT 實現(xiàn)了針對 ViT 的改進模型能力和泛化性能。在廣泛的實驗中,我們進一步表明 PiT 在圖像分類、目標(biāo)檢測和魯棒性評估等多項任務(wù)上優(yōu)于baseline。

出發(fā)點

1． CNN 限制了空間交互,ViT 允許圖像中的所有位置通過transformers層交互。

2． 雖然ViT 是一種創(chuàng)新架構(gòu),并且已經(jīng)證明了其強大的圖像識別能力,但它沿用了NLP中的 Transformer 架構(gòu),沒有任何變化。

3． CNN 的一些基本設(shè)計原則在過去十年中已被證明在計算機視覺領(lǐng)域有效,但并未得到充分反映。

因此,我們重新審視了 CNN 架構(gòu)的設(shè)計原則,并研究了它們在應(yīng)用于 ViT 架構(gòu)時的功效。

創(chuàng)新思路

CNN 以大空間尺寸和小通道尺寸的特征開始,并逐漸增加通道尺寸,同時減小空間尺寸。由于稱為空間池化的層,這種維度轉(zhuǎn)換是必不可少的。現(xiàn)代 CNN 架構(gòu),包括 AlexNet、ResNet和 EfficientNet,都遵循這一設(shè)計原則。

池化層與每一層的感受野大小密切相關(guān)。 一些研究表明,池化層有助于網(wǎng)絡(luò)的表現(xiàn)力和泛化性能。 然而,與 CNN 不同的是,ViT 不使用池化層,而是在所有層中使用相同大小的空間。

首先,我們驗證了 CNN 上池化層的優(yōu)勢。我們的實驗表明,池化層證明了 ResNet 的模型能力和泛化性能。為了將池化層的優(yōu)勢擴展到 ViT,我們提出了一種基于池化的視覺transformers (PiT)。

PiT 是一種與池化層相結(jié)合的轉(zhuǎn)換器架構(gòu)。它可以像在 ResNet 中一樣減少 ViT 結(jié)構(gòu)中的空間大小。我們還研究了 PiT 與 ViT 相比的優(yōu)勢,并確認池化層也提高了 ViT 的性能。

最后,為了分析 ViT 中池化層的效果,我們測量了 ViT 的空間交互比,類似于卷積架構(gòu)的感受野大小。我們展示了池化層具有控制自注意力層中發(fā)生的空間交互大小的作用,這類似于卷積架構(gòu)的感受野控制。

Methods

網(wǎng)絡(luò)架構(gòu)維度配置的示意圖

我們將 ResNet50 、Vision Transformer (ViT) 和基于池化的 Vision Transformer (PiT) 可視化;(a) ResNet50 從輸入到輸出逐漸下采樣特征;(b) ViT 不使用池化層,因此所有層都保持特征維度;(c) PiT 涉及將層匯集到 ViT 中。

Pooling-based Vision Transformer(PiT)

PiT 架構(gòu)的池化層

PiT 使用基于深度卷積的池化層,以小參數(shù)實現(xiàn)通道乘法和空間縮減。

Effects of the pooling layer in vision transformer (ViT)

我們在網(wǎng)絡(luò)架構(gòu)的各個方面將我們的基于池化的視覺transformer  (PiT) 與原始 ViT 進行了比較。PiT 在容量、泛化性能和模型性能方面優(yōu)于 ViT。

Spatial interactio

self-attention層在交互token數(shù)量上也有限制,因此交互區(qū)域是根據(jù)空間大小來確定的。

我們使用 ImageNet 上的預(yù)訓(xùn)練模型測量了 ViT 和 PiT 的空間交互區(qū)域�？臻g交互的標(biāo)準(zhǔn)是基于注意力矩陣的 soft-max 之后的分?jǐn)?shù)。我們使用 1% 和 10% 作為閾值,計算超過閾值的交互發(fā)生的空間位置的數(shù)量,并通過將交互位置的數(shù)量除以空間標(biāo)記的總大小來計算空間交互比率。

在 ViT 的情況下,交互作用平均在 20%-40% 之間,并且由于沒有池化層,因此數(shù)值不會因?qū)佣�有顯著變化。PiT 減少了token的數(shù)量,同時通過池化增加了頭部。

因此,如圖 5 (a) 所示,早期層的交互率很小,但后一層顯示出接近 100% 的交互率。為了與 ResNet 進行比較,我們將閾值更改為 10%,結(jié)果如圖 5 (b) 所示。

在 ResNet 的情況下,3x3 卷積意味著 3x3 空間交互。因此,我們將 3x3 除以空間大小,并將其作為近似值與注意力的交互率進行比較。雖然 ViT 的交互率在各層中是相似的,但 ResNet 和 PiT 的交互率隨著它通過池化層而增加。

Architecture

該表顯示了 ViT 和 PiT 的spatial sizes, number of blocks, number of heads, channel size, 和FLOPs。PiT 的結(jié)構(gòu)設(shè)計為盡可能與 ViT 相似,并具有更少的 GPU 延遲。

Conclusion

我們驗證了 PiT 在各種任務(wù)上提高了 ViT 的性能。在 ImageNet 分類中,PiT 和在各種規(guī)模和訓(xùn)練環(huán)境下都優(yōu)于 ViT。此外,我們還比較了 PiT 與各種卷積架構(gòu)的性能,并指定了 Transformer 架構(gòu)優(yōu)于 CNN 的規(guī)模。

我們使用檢測頭進一步測量 PiT 在目標(biāo)檢測方面的性能。 基于 ViT 和 PiT 的 DETR在 COCO 2017 數(shù)據(jù)集上進行訓(xùn)練,結(jié)果表明 PiT 作為主干架構(gòu)甚至比 ViT 更適合圖像分類以外的任務(wù)。最后,我們通過穩(wěn)健性基準(zhǔn)驗證了 PiT 在各種環(huán)境中的性能。

本文來源于公眾號 CV技術(shù)指南 的論文分享系列。

歡迎關(guān)注公眾號 CV技術(shù)指南 ,專注于計算機視覺的技術(shù)總結(jié)、最新技術(shù)跟蹤、經(jīng)典論文解讀。