DARTS存在的部分問題

一般NAS的流程是分為搜索階段和評(píng)估階段，在訓(xùn)練集與驗(yàn)證集上進(jìn)行結(jié)構(gòu)的搜索（搜索階段），然后在測試集上進(jìn)行模型的評(píng)估（評(píng)估階段）。DARTS在搜索結(jié)束的階段直接得到網(wǎng)絡(luò)結(jié)構(gòu)，如圖1和公式3所示。這種策略導(dǎo)致在搜索和評(píng)估階段派生的網(wǎng)絡(luò)結(jié)構(gòu)的性能相關(guān)性非常低。網(wǎng)絡(luò)在搜索階段的效果，并不能反映其在評(píng)估階段的真實(shí)效果。我們將這種現(xiàn)象稱之為：退化的搜索評(píng)估相關(guān)性（degeneratesearch－evaluation correlation）。我們認(rèn)為造成這種想象的主要原因是：（1）搜索階段和評(píng)估階段設(shè)置的不一致性；（2）權(quán)重共享（weight sharing）造成的副作用。

舉個(gè)例子：假設(shè)我們只搜索3種候選運(yùn)算，skip－connect，3x3卷積，5x5卷積。如果搜索時(shí)分配的權(quán)重分別是skip－connect （0．34），3x3卷積（0．33），5x5卷積（0．33），最后所選的操作會(huì)是沒有可學(xué)習(xí)參數(shù)的skip－connect，如果所有的邊都是這種情況，那么最后的網(wǎng)絡(luò)在評(píng)價(jià)階段性能就會(huì)很差，然而在搜索階段這個(gè)網(wǎng)絡(luò)和權(quán)重分配為skip－connect （0．33），3x3卷積（0．34），5x5卷積（0．33），最后會(huì)得到3x3卷積的網(wǎng)絡(luò)性能幾乎不會(huì)有區(qū)別。這一現(xiàn)象并不僅僅發(fā)生在DARTS上，也發(fā)生其他大部分NAS算法上，這嚴(yán)重影響了NAS的性能。

肯德爾系數(shù) au［4］可用于量化搜索評(píng)估相關(guān)性（ search－evaluation correlation）。肯德爾系數(shù)介于－1到1，－1表示完全負(fù)相關(guān)，1表示完全正相關(guān)。如果肯德爾系數(shù)為0，則分布完全獨(dú)立。理想的NAS方法應(yīng)具有較高的搜索評(píng)估相關(guān)性 au。我們以DARTS 為例， 在CIFAR－10數(shù)據(jù)集上運(yùn)行10次，分別根據(jù)搜索準(zhǔn)確性和最終評(píng)估準(zhǔn)確性排名，計(jì)算其肯德爾系數(shù)。一階和二階的DARTS的肯德爾系數(shù)分別僅為0．16和－0．29。因此，DARTS算法的搜索評(píng)估相關(guān)性極低，無法根據(jù)DARTS在搜索階段的效果預(yù)測模型測試階段的準(zhǔn)確性。

圖2 搜索－測試相關(guān)性可以用肯德爾系數(shù)衡量。

常見的NAS算法，如DARTS，肯德爾系數(shù)低，無法根據(jù)其搜索階段對(duì)最終測試的準(zhǔn)確性做出可靠的預(yù)測。