物聯(lián)網(wǎng) AI 芯片的多模態(tài)演進(jìn)之路

在第一代UniOne芯片雨燕的發(fā)布會上，云知聲聯(lián)合創(chuàng)始人李霄寒曾指出，UniOne并不是一顆芯片，而是一系列芯片，代表了云知聲對于物聯(lián)網(wǎng)AI芯片發(fā)展戰(zhàn)略的整體構(gòu)想。在今日舉行的云知聲2019多模態(tài)AI芯片戰(zhàn)略發(fā)布會上，李霄寒再次從三方面論證了物聯(lián)網(wǎng)多模態(tài)AI芯片的必要性。他認(rèn)為，當(dāng)前物聯(lián)網(wǎng)產(chǎn)品線的AI芯片越來越明顯地體現(xiàn)出三個趨勢：

首先是場景化。芯片設(shè)計正在由原來的片面追求PPA ，即性能（Power）、功耗（Performance）和面積（Area）逐漸演變成基于軟硬一體，甚至包括云端服務(wù)的方式來解決某個垂直領(lǐng)域的具體問題，芯片本身上升成為整個解決方案中的重要部分，而非唯一；

其次，端云互動。在物聯(lián)網(wǎng)的不同應(yīng)用場景下，海量終端設(shè)備要實現(xiàn)功能智能化必須端云配合，即形成邊緣算力和云端算力的動態(tài)平衡。端云互動的命題需要AI芯片的強(qiáng)有力支持，進(jìn)一步也深刻影響到芯片的設(shè)計，以及最終的交付；

再者，數(shù)據(jù)多模態(tài)。在以5G驅(qū)動的萬物智聯(lián)場景下，芯片所接觸到的數(shù)據(jù)維度將由原來的單一化走向多元化，芯片所需處理的數(shù)據(jù)也由單模態(tài)變成多模態(tài)，這對芯片尤其是物聯(lián)網(wǎng)人工智能芯片的設(shè)計提出了新的挑戰(zhàn)。

圖 ｜云知聲聯(lián)合創(chuàng)始人李霄寒

結(jié)合以上三點，李霄寒認(rèn)為，物聯(lián)網(wǎng)AI芯片的最終呈現(xiàn)形式將不再是一個單一的硬件，而必然是承載著邊緣能力與云端能力的多模態(tài)AI軟硬一體解決方案。

云知聲多模態(tài)AI芯片技術(shù)布局

為實現(xiàn)多模態(tài)AI芯片的戰(zhàn)略落地，目前云知聲已在加速技術(shù)布局，并在機(jī)器視覺方面取得飛速進(jìn)展。其中，面向機(jī)器視覺的輕量級圖像信號處理器已可實現(xiàn)在不依賴外部內(nèi)存的情況下，在30 fps的速率下實時對傳感器的圖片進(jìn)行預(yù)處理，以進(jìn)一步提高后續(xù)機(jī)器視覺處理模塊的處理速度和效果。借助基于人臉信息分析的多模態(tài)技術(shù)，已可實現(xiàn)人臉／物體識別、表情分析、標(biāo)簽化、唇動狀態(tài)跟蹤等功能，可為產(chǎn)品交互和用戶體驗提供更多的可玩性和靈活性。

尤為值得一提的是，云知聲多模態(tài)人工智能核心IP——DeepNet2．0的發(fā)布，標(biāo)志著云知聲人工智能處理核心由1．0語音時代全面邁入2．0融合語音、圖像等處理能力的多模態(tài)時代。DeepNet2．0可兼容LSTM／CNN／RNN／TDNN等多種推理網(wǎng)絡(luò)，支持可重構(gòu)計算與Winograd處理，最高可配置算力達(dá)4T，達(dá)行業(yè)一流水平。目前云知聲DeepNet2．0已在FPGA上得到驗證，將在2019年落地的全新多模態(tài)AI芯片海豚（Dolphin）上落地。

除此之外，在圖像與芯片技術(shù)的產(chǎn)學(xué)研合作方面，云知聲還與杜克大學(xué)所領(lǐng)導(dǎo)的美國自然科學(xué)基金旗下唯一人工智能計算中心——ASIC達(dá)成深度合作，致力于AI芯片算法壓縮與量化技術(shù)，以及非馮新型AI芯片計算架構(gòu)研究，將進(jìn)一步為云知聲多模態(tài)AI芯片戰(zhàn)略的推進(jìn)夯實基礎(chǔ)。

三款在研芯片曝光，2019年啟動量產(chǎn)

在首款量產(chǎn)芯片雨燕已有大批客戶導(dǎo)入，占領(lǐng)市場先發(fā)優(yōu)勢的背景下，2019年云知聲在芯片落地規(guī)劃方面仍將保持積極態(tài)度。

李霄寒透露，在持續(xù)迭代升級現(xiàn)有雨燕芯片的性能與服務(wù)之外，目前云知聲多款面向不同方向的芯片也已在研發(fā)中，包括適用性更廣的超輕量級物聯(lián)網(wǎng)語音AI芯片雨燕Lite，集成云知聲最先進(jìn)神經(jīng)網(wǎng)絡(luò)處理器DeepNet2．0，可面向智慧城市場景提供對語音和圖像等多模態(tài)計算支持的多模態(tài)AI芯片海豚（Dolphin），以及與吉利集團(tuán)旗下生態(tài)鏈企業(yè)億咖通科技共同打造的面向智慧出行場景的多模態(tài)車規(guī)級AI芯片雪豹（Leopard）。以上三款芯片計劃于2019年啟動量產(chǎn)。

目前，依托在家居、車載等真實場景下豐富的產(chǎn)品經(jīng)驗，以及具備先發(fā)優(yōu)勢的AI芯片能力，云知聲將業(yè)務(wù)覆蓋到包括智能家居、智能汽車、智能兒童機(jī)器人、智慧酒店、智慧交通等諸多場景。未來云知聲將持續(xù)發(fā)力多模態(tài)AI芯片，不斷拓展技術(shù)與場景生態(tài)，以實現(xiàn)面向未來AIoT時代的全面賦能。