2 AI芯片中國版Benchmark 已啟動(dòng)

千里之行，始于一年半前。 2017年10月23日，在國家發(fā)改委、科技部、工信部、網(wǎng)信辦指導(dǎo)下，由中國信息通信研究院等單位發(fā)起的中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）組織了人工智能芯片Benchmark研討會(huì)，正式啟動(dòng)人工智能芯片Benchmark項(xiàng)目。

該項(xiàng)目由中國信息通信研究院、華為海思、中科院計(jì)算所、清華大學(xué)、寒武紀(jì)、深鑒科技、地平線、曠視科技等共同發(fā)起。目前AIIA已經(jīng)聯(lián)合阿里巴巴集團(tuán)、百度、寒武紀(jì)科技等多家企業(yè)，推出了AIIA DNN benchmark——人工智能端側(cè)芯片基準(zhǔn)測試評估方案。

“從聯(lián)盟的角度來說，我們做不出芯片IP核，也研發(fā)不出EDA工具，因此AIIA將目光放在了標(biāo)準(zhǔn)化，我們也希望能借助Benchmark標(biāo)準(zhǔn)化的工作為芯片行業(yè)的發(fā)展助力�！蓖跆N(yùn)韜說。

中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所副主任王蘊(yùn)韜

從產(chǎn)業(yè)層面來說，Benchmark可以影響到芯片的行業(yè)標(biāo)準(zhǔn)，在國際環(huán)境下來講，影響到行業(yè)標(biāo)準(zhǔn)即增加了國家在AI芯片領(lǐng)域的話語權(quán)。

去年10月，AIIA DNN benchmark v0．5版本正式發(fā)布，并于12月開始正式啟動(dòng)。

今年3月6日，AIIA DNN benchmark V0．5首輪評估結(jié)果發(fā)布，麒麟980和瑞芯微RK3399開發(fā)板兩款產(chǎn)品作為首批測試芯片，均表現(xiàn)上佳。

據(jù)王蘊(yùn)韜介紹，AIIA DNN benchmark希望能統(tǒng)籌產(chǎn)業(yè)界和學(xué)術(shù)界實(shí)際應(yīng)用的網(wǎng)絡(luò)模型，以基于公開數(shù)據(jù)集和企業(yè)數(shù)據(jù)集的測試數(shù)據(jù)為輸入，針對芯片的應(yīng)用場景、應(yīng)用架構(gòu)、處理器硬件系統(tǒng)三個(gè)維度進(jìn)行輸出。

AIIA DNN benchmark輸出的將是一套清晰的指標(biāo)體系，包括時(shí)間、準(zhǔn)確率、功率、吞吐量、成本等，并隨著Benchmark的發(fā)展不斷擴(kuò)充新的指標(biāo)。

其實(shí)AI芯片的Benchmark并不好做，中國信息通信研究院云大所人工智能部副主任孫明俊表示，AI 基準(zhǔn)測試方案的制定面臨諸多挑戰(zhàn)。即便拋開優(yōu)化程度、硬件架構(gòu)等若干問題不談，延遲、帶寬、能耗都要納入考慮范圍。

同時(shí)，各種神經(jīng)網(wǎng)絡(luò)模型都有不同參數(shù)，不同設(shè)備在不同參數(shù)下有不同的輸出曲線。如何讓指標(biāo)在不同級別的設(shè)備中橫向可比？而云端和終端的應(yīng)用是否需要不同的基準(zhǔn)測試？如何為不同測試項(xiàng)目分配權(quán)重，以獲得一個(gè)相對公正客觀、有代表性的評分？這些都是應(yīng)用領(lǐng)域的差異性和實(shí)現(xiàn)選擇的多樣性導(dǎo)致的測評難題。

對于AIIA來說，AIIA DNN benchmark v0．5的推出只是邁出第一步，據(jù)悉，V1．0版本也將于年內(nèi)發(fā)布。

3 國產(chǎn)標(biāo)準(zhǔn)的自娛自樂？

其實(shí)基于AI芯片的性能測試跑分軟件并不少見，阿里的AI matrix、寒武紀(jì)的benchip，以及百度的deepbench等等，但這些軟件其實(shí)并沒有站在一個(gè)很大的角度來去串聯(lián)整個(gè)人工智能芯片領(lǐng)域。

AIIA DNN benchmark這套系統(tǒng)的目標(biāo)是站在相對比較客觀的角度來進(jìn)行跑分測試。并且在開源社區(qū)Github中也在積極地聯(lián)系更多具有AI芯片研發(fā)和制造能力的科技企業(yè)參與其中，通過企業(yè)的參與完善并加速AIIA DNN benchmarks版本的迭代。

但是作為一個(gè)國際競爭的行業(yè)，AI芯片的Benchmark如果只停留在國內(nèi)，只是在自娛自樂。

某國際芯片廠商的專家表示，從芯片生產(chǎn)商的角度，Benchmark機(jī)構(gòu)的測試需要得到廠商、用戶等多方認(rèn)可，這種較高的商業(yè)化程度和業(yè)內(nèi)影響力需要很長時(shí)間的積累，國內(nèi)的Benchmark標(biāo)準(zhǔn)的建立是好事，但是要得到業(yè)內(nèi)的認(rèn)可尤其是國際廠商的參與，尚需時(shí)日。

當(dāng)然，對于整個(gè)中國AI芯片產(chǎn)業(yè)來說，擁有多重背景、含著“金鑰匙”出身的AIIA DNN benchmark，可能已經(jīng)是國內(nèi)最有可能跑出來的行業(yè)標(biāo)準(zhǔn)了。