CVPR 2020: SGAS，一種基于貪心思想的CNN/GCN網絡結構搜索算法
SGAS詳細方案
針對退化的搜索評估相關性這一重要的問題，我們提出了SGAS（SequentialGreedy Architecture Search），一種順序貪心決策的搜索算法。
圖2 SGAS的網絡結構搜索示意圖
我們基于貪心算法的思想將網絡結構的搜索問題，轉化為逐步地選擇一條邊并確定其運算的子問題。實驗證明，依次解決這些簡單的子問題，可以讓最終結構具有更高的搜索－測試相關性。算法的迭代過程如算法1所示。
在每個決策時期，我們根據(jù)預先確定的選擇標準選擇一條邊（i＾｛＋｝， j＾｛＋｝）。通過用公式（3）得到這條邊的運算，并替換相應的混合運算o＾｛ar｝。所選擇的運算，即是所選的邊基于貪心的最優(yōu)選擇。每當確定好一條邊的運算，我們就不再需要這條邊的結構參數(shù)lpha（i＾｛＋｝， j＾｛＋｝））以及混合操作中其余路徑的權重，我們可以將這條邊從后續(xù)的優(yōu)化中去除。這樣可以帶給我們一個額外的好處是：優(yōu)化問題得到了剪枝，進而可以提高搜索的效率。一條邊被剪枝后，剩下的超網絡以及參數(shù)形成一個新的子問題，該子問題將被以相同的算法迭代求解。在搜索階段的最后，便得到一個沒有權重共享的離散子網絡，如圖2所示。SGAS算法基于順序貪心算法，減少了在搜索階段和評價階段的模型不一致性和權重共享的副作用，使得模型的搜索－測試相關性最大化。
在SGAS中，選擇標準的設計至關重要。我們考慮影響邊的選擇的三個重要因素：邊的重要性，選擇確定性和選擇穩(wěn)定性。
邊的重要性：如果這條邊的非零運算選擇的可能性越高，表明這條邊越重要。
選擇確定性：熵（entropy）是分布用度量不確定性的常。非零運算的歸一化權重可以看作是一種分布：
我們將選擇確定性定義為一減去操作分布的歸一化熵：
選擇穩(wěn)定性：為了讓選擇更穩(wěn)定，我們需要考慮選擇確定性的歷史分布。直方圖相交［48］是檢測分布變化的常用方法，我們利用直方圖相交來計算第T步中的前K時間的邊的平均選擇穩(wěn)定性：
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」？
- 2 大廠紛紛入局，百度、阿里、字節(jié)搶奪Agent話語權
- 3 深度報告｜中國AI產業(yè)正在崛起成全球力量，市場潛力和關鍵挑戰(zhàn)有哪些？
- 4 上海跑出80億超級獨角獸：獲上市公司戰(zhàn)投，干人形機器人
- 5 國家數(shù)據(jù)局局長劉烈宏調研格創(chuàng)東智
- 6 下一代入口之戰(zhàn)：大廠為何紛紛押注智能體？
- 7 百億AI芯片訂單，瘋狂傾銷中東？
- 8 Robotaxi新消息密集釋放，量產元年誰在領跑？
- 9 格斗大賽出圈！人形機器人致命短板曝光：頭腦過于簡單
- 10 “搶灘”家用機器人領域，聯(lián)通、海爾、美的等紛紛入局
