近來AI火紅，其中一個(gè)推展大勢則是將AI運(yùn)算下放到局端（PC、筆電端），甚至是終端，也就是AI邊緣運(yùn)算的架構(gòu)作法，而此作法的可行條件之一，即是需要有一套可加速運(yùn)算的解決方案。本文將介紹目前相當(dāng)突出的硬件加速裝置 － IntelMovidius神經(jīng)運(yùn)算條（NCS），它僅有USB隨身碟大小，卻具有人工智能加速運(yùn)算力。

IntelMovidius神經(jīng)運(yùn)算條（NCS）

NCS發(fā)展背景

Apple與Google Android的爭奪戰(zhàn)

當(dāng)年Steve Jobs生前說：「Android是個(gè)錯(cuò)誤，即便花盡Apple的600億美元現(xiàn)金也要糾正這個(gè)錯(cuò)誤�！勾嗽捯怀觯珹pple對Android陣營展開長達(dá)數(shù)年的專利訴訟戰(zhàn)，而Google為了護(hù)衛(wèi)Android陣營，在2012年5月用了約125億美元購并Motorola Mobility公司，以便取得手機(jī)相關(guān)技術(shù)專利抗衡Apple，Google在取得捍衛(wèi)所需的專利后，于2014年將Motorola Mobility以29億美元轉(zhuǎn)售給Lenovo。

Google雖將Motorola Mobility賣給Lenovo，卻留下原本屬于MotorolaMobility的ATAP（Advanced Technology and Projects）研究團(tuán)隊(duì)，成為Google本有的X研究團(tuán)隊(duì)外的另一組研究團(tuán)隊(duì)，當(dāng)時(shí)該團(tuán)隊(duì)有兩項(xiàng)重要研究案：一是模塊化智能型手機(jī)研究案Ara，二是行動增強(qiáng)實(shí)境技術(shù)研究案Tango。ATAP后續(xù)也有開展其他研究案，例如穿戴式毫米波雷達(dá)技術(shù)研究案Soli，或同屬終端使用者輸入技術(shù)的Jacquard項(xiàng)目。

Tango項(xiàng)目內(nèi)容

在此我們只討論Tango項(xiàng)目，該項(xiàng)目透過平板計(jì)算機(jī)上配置的2D畫面影像傳感器（攝影機(jī)）、3D深度傳感器（紅外線投射、ToF影像感測），以及平板計(jì)算機(jī)內(nèi)的圖像處理器（VPU），就可以邊走邊感測，描繪出行經(jīng)路線的空間，包含障礙物、高度、距離等，可用在各種應(yīng)用，例如室內(nèi)導(dǎo)覽、沉浸式游戲等，后來Tango技術(shù)也不限于平板計(jì)算機(jī)，可進(jìn)一步縮小到智能手機(jī)內(nèi)使用。

而在Tango項(xiàng)目的平板計(jì)算機(jī)中，其實(shí)用上兩顆Movidius公司的Myriad 2芯片，此即是VPU。該芯片內(nèi)已經(jīng)用硬件電路方式實(shí)現(xiàn)類神經(jīng)網(wǎng)絡(luò)、人工智能等演算，加速對外界影像的視覺判別，后來該芯片也用于DJI的無人機(jī)上，好讓無人機(jī)透過影像辨識，得以避障與降落。

神經(jīng)運(yùn)算條內(nèi)的Myriad 2芯片僅有鈕扣電池般的大小

知名品牌發(fā)展人工智能

由于人工智能運(yùn)算日益重要，2016年9月Intel并購了Movidius公司，2017年12月Google宣布Tango項(xiàng)目這個(gè)增強(qiáng)實(shí)境軟件平臺即將結(jié)束，并由新的增強(qiáng)實(shí)境軟件平臺ARCore接手，項(xiàng)目雖結(jié)束，但Google依然持續(xù)運(yùn)用Myriad 2芯片（MA2450）。同為12月，Google發(fā)表AIYVision Kit的人工智能套件，套件內(nèi)即有用及Myriad 2芯片。

Intel也看好前端人工智能、類神經(jīng)網(wǎng)絡(luò)的運(yùn)算應(yīng)用，在買下Movidius后于2017年推出神經(jīng)運(yùn)算條棒NeuralCompute Stick，簡稱NCS（Movidius被購并前已展示過NCS的原型品，因購并案而延后正式發(fā)表）。NCS內(nèi)用的也是Myriad 2芯片，但自成一套系統(tǒng)，并用USB接口與其他系統(tǒng)連接，NCS價(jià)格實(shí)惠僅79美元。除了USB版外，Intel也與臺灣合作伙伴研陽（Aaeon）推出Mini－PCIe版的NCS，稱為UP AI Core，費(fèi)用降至69美元。

NCS開發(fā)環(huán)境

對NCS背景有些了解后，接著是著手于實(shí)務(wù)前的概念。在人工智能的開發(fā)上，Intel提出了一套架構(gòu)（如下圖）：一開始先用運(yùn)算力強(qiáng)悍的計(jì)算機(jī)來訓(xùn)練模型，再用NCS與一般筆電來進(jìn)行型態(tài)化（Profiling）、調(diào)整（Tuning）、編譯（Compile），最后再用筆電或者簡單的單板計(jì)算機(jī)（例如樹莓派）來進(jìn)行原型品實(shí)作（Prototyping）。

人工智能開發(fā)與應(yīng)用程序圖，包含建模、型態(tài)化、微調(diào)、編譯、原型品等階段

由于NCS需要連接筆電或樹莓派，因此對筆電、樹莓派的系統(tǒng)環(huán)境也有所要求，NCS需要有安裝Ubuntu 16．04版的Linux操作系統(tǒng)，如果筆電只有Windows操作系統(tǒng)，且嫌開機(jī)切換成Linux比較麻煩，可以用桌面版虛擬化軟件（如VirtualBox）建立一個(gè)虛擬圖像文件，以虛擬化方式執(zhí)行Ubuntu 16．04，也是可行的。

若為樹莓派，則建議使用RPi 3Model B以上的規(guī)格，而后使用樹莓派專用的DebianLinux操作系統(tǒng)Raspbian，且必須是Debian開發(fā)代號Stretch版以上的Raspbian才行，Debian Linux的Stretch版是在2017年6月提出，樹莓派的Stretch版則在8月。

連接NCS的注意事項(xiàng)

另外要注意的是，Intel官網(wǎng)建議，連接NCS的系統(tǒng)最少要有1GB的內(nèi)存，4GB的儲存空間，以及USB 2．0的端口，最好可以是USB 3．0，以利大量數(shù)據(jù)傳輸。由此觀之，樹莓派的硬件資源與規(guī)格僅是勉強(qiáng)合格，但由于樹莓派畢竟是創(chuàng)客圈最廣泛流行的單板計(jì)算機(jī)，多數(shù)開發(fā)工具包仍會盡可能迎合支持樹莓派，若期望有好一點(diǎn)的單板計(jì)算機(jī)，也可以用前述AAEON所推出的Up Square，該單板計(jì)算機(jī)有2～8GB內(nèi)存，也有USB 3．0埠，并支持Ubuntu Linux。

準(zhǔn)備好這些后，NCS可支持的人工智能框架主要有二，一是Google提出的TensorFlow，二是柏克萊分校提出的Caffe，也兼容OpenVINO、Andorid的神經(jīng)網(wǎng)絡(luò)（Neural Networks， NN）API。

很明顯NCS無法與NVDIA的TeslaGPU比拼運(yùn)算力，尚無法廣泛支持各種框架，但NCS僅在1瓦用電下提供人工智能加速運(yùn)算，已是難得可貴，畢竟TeslaGPU的功耗大多是數(shù)十、數(shù)百瓦。

進(jìn)一步的開發(fā)則需要安裝NC SDK（軟件開發(fā)工具包）到筆電內(nèi)，SDK內(nèi)提供mvNCCompile、mvNCProfile、mvNCCheck等工具，可以轉(zhuǎn)換格式、統(tǒng)計(jì)神經(jīng)網(wǎng)絡(luò)各層的效能、比較網(wǎng)絡(luò)推論運(yùn)算后的結(jié)果等，另外也附有范例程序及應(yīng)用程序編程接口（API），這些均到位后即可開始學(xué)習(xí)摸索NCS了。

作者：陸向陽