3 款手機實驗，3 次場景模擬

為了驗證AutoScale的有效性，團隊在三款智能手機上進行了實驗，每款手機都用功率表測量其能耗，這三款手機分別是：小米Mi 8 Pro、三星Galaxy S10e和摩托羅拉Moto X Force。為了模擬云推理執(zhí)行，他們將手機連接到服務(wù)器，通過Wi－Fi Direct將三星S6平板電腦連接到手機，模擬執(zhí)行AI助手的口令。

AutoScale的推理方式主要分為五步：1． 將DNN特征和環(huán)境信息等設(shè)置為輸入源2． 在查找表中選擇合適的預(yù)測操作3． 將AI工具分配到預(yù)測的位置4． 記錄AI工具的運行能效，評估各參數(shù)后給出R值5． 將記錄好的參數(shù)更新在查找表里，實現(xiàn)自適應(yīng)性預(yù)測。

針對這三款手機，AutoScale準(zhǔn)確選擇出理想的執(zhí)行目標(biāo)

實驗顯示，在自動定量訓(xùn)練階段，設(shè)備執(zhí)行了100次推理訓(xùn)練，使用了64，000個訓(xùn)練樣本，并編譯或生成了10個AI模型，其中包括機器翻譯工具MobileBERT和圖像分類器Inception。團隊分別在靜態(tài)和動態(tài)設(shè)置情況下展開后續(xù)實驗，針對每種設(shè)置情況模擬了三個不同的場景：

· non－streaming計算機視覺測試場景，允許AutoScale對手機攝像頭拍攝照片功能進行推理；

· streaming計算機視覺場景，AutoScale可以對手機攝像頭的實時拍攝視頻功能進行推理；

· 調(diào)用翻譯工具的場景，AutoScale能夠?qū)Ψ�譯AI工具的編譯過程進行推理。

在現(xiàn)實環(huán)境模擬中，AutoScale準(zhǔn)確預(yù)測了理想執(zhí)行目標(biāo)，并極大地提高了DNN邊緣推理的能效。在以上三個場景中，AutoScale的表現(xiàn)都優(yōu)于基線模型。AutoScale的網(wǎng)絡(luò)延遲度較低，在non－streaming計算機視覺測試場景中的延遲時間甚至縮短到小于50毫秒，其在翻譯場景中的延遲時間則小于100毫秒。它也同時在維持低延遲的條件下保持了高性能，比如在streaming計算機視覺場景中，它可以達(dá)到每秒處理約30幀畫面的工作效率。

此外，AutoScale的預(yù)測準(zhǔn)確率高達(dá)97．9％，在邊緣推理方面的能效是基線模型所能做到的1．6～10．8倍。它占用的內(nèi)存也較小，僅有0．4MB，相比之下，中端手機的內(nèi)存容量為3GB，AutoScale僅需占用0．01％，可見其“性價比”之高。

Facebook和亞利桑那州立大學(xué)的研究人員樂觀地表示：“我們證明了AutoScale是一個可行的、能夠自動化推理出最低AI能耗的解決方案的模型，并將為在各種實際執(zhí)行環(huán)境下進行DNN邊緣推理的能效改進工作預(yù)先做好萬全的準(zhǔn)備�！�