隨著近幾年人工智能的快速發(fā)展，人臉識別、視頻結(jié)構(gòu)化和大數(shù)據(jù)分析等技術(shù)不斷完善，原本用途單一的安防產(chǎn)品功能逐步走向多元化。同時(shí)，安防產(chǎn)業(yè)開始與交通、社區(qū)、港務(wù)等多領(lǐng)域進(jìn)行融合，安防的邊界越來越模糊，安防產(chǎn)業(yè)已經(jīng)進(jìn)入一個(gè)全新的泛安防時(shí)代。

據(jù)IDC Global DataSphere預(yù)測，2020全球視頻監(jiān)控產(chǎn)生的數(shù)據(jù)約18．1PB （1PB＝1024TB），占同期物聯(lián)網(wǎng)總數(shù)據(jù)量83．1％，構(gòu)成了物聯(lián)網(wǎng)數(shù)據(jù)的主體。安防領(lǐng)域視頻攝像頭的分辨率越來越高，部署場景也越發(fā)廣泛，從而導(dǎo)致數(shù)據(jù)規(guī)模高速增長，這給傳輸帶寬及存儲(chǔ)帶來了很大的壓力，也提出了更高的要求。

然而在實(shí)際應(yīng)用中，出于各種人力和技術(shù)條件的限制，這些數(shù)據(jù)的利用效率很低。由于視頻數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，在缺乏以AI為代表的結(jié)構(gòu)化手段時(shí)，視頻數(shù)據(jù)利用率非常低�；�于AI的智慧安防系統(tǒng)能夠?qū)崿F(xiàn)獲取、存儲(chǔ)和分析大量的監(jiān)控視頻數(shù)據(jù)，并通過復(fù)雜的深度學(xué)習(xí)算法來執(zhí)行視頻分析，給應(yīng)用領(lǐng)域帶來顯著的經(jīng)濟(jì)效益和業(yè)務(wù)增長。

如果將AI直接部署到監(jiān)控?cái)z像機(jī)，人工智能可以對視頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理和分析，提取對我們有用的信息，從而激活數(shù)據(jù)，提高安防效率。然而，在落地實(shí)施的過程中，存在諸多挑戰(zhàn)。一方面是應(yīng)用場景碎片化，各行各業(yè)的AI需求不同，很難對算法進(jìn)行標(biāo)準(zhǔn)化。另一方面，將AI部署到前端攝像機(jī)，需要具備端側(cè)算力的AI芯片，行業(yè)內(nèi)可以提供這類芯片的廠商還不多。

智能安防的“智能”主要表現(xiàn)在哪些方面？

傳統(tǒng)的安防是解決＂看得見＂、＂看得清＂的問題，而智能安防要解決＂看得懂＂的問題。以往靠人工方式去查看視頻，現(xiàn)在智能安防會(huì)把＂車水馬龍＂類的有用信息記錄下來，而把＂風(fēng)吹草動(dòng)＂類的無用信息過濾掉。例如，針對在電梯里的火情識別、社區(qū)的高空拋物監(jiān)控，依靠人力監(jiān)控難免有疏忽或延時(shí)，但是AI具有＂關(guān)注車水馬龍，忽略風(fēng)吹草動(dòng)＂的能力，可以馬上識別并預(yù)警公共安全風(fēng)險(xiǎn)，提高安全管理效率。

安防“智能化”就是將原有依靠人來分析、查看的數(shù)據(jù)通過AI算法實(shí)現(xiàn)自動(dòng)識別分析，將海量數(shù)據(jù)轉(zhuǎn)化為有分析結(jié)果的有效信息。以視頻分析為例，智能安防系統(tǒng)通過對視頻圖像的自動(dòng)分析和處理，可以識別不同的人、物體、環(huán)境狀態(tài)，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，實(shí)時(shí)警報(bào)和反饋信息。對目前的視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)智能化升級，提升對數(shù)據(jù)的有效利用，這是其智能化的最大價(jià)值。從更廣的層面上來說，智能安防盤活了已有的視頻監(jiān)控?cái)?shù)據(jù)，發(fā)揮了數(shù)據(jù)的潛力，并且一定程度上替代和減少了人力作業(yè)。

智能安防的成像性能不斷提升，例如服務(wù)于大場景中人臉及車牌等關(guān)鍵信息識別的智能化功能時(shí)，攝像頭圖像傳感器（CIS）分辨率的提升必不可少，現(xiàn)已從原先的幾十萬像素提升到當(dāng)下主流的幾百萬像素，分辨率也一再提高至4K乃至8K，為的就是看得更高清與更全面。而低照度成像、高動(dòng)態(tài)范圍、高溫適用性，以及色彩呈現(xiàn)力等性能的精進(jìn)也將進(jìn)一步為智能化升級添翼。

從應(yīng)用層面看，邊緣計(jì)算與5G技術(shù)的加持使安防產(chǎn)業(yè)正逐步向包括智能交通以及智能港務(wù)等智能化應(yīng)用場景延展與滲透，無論是本地還是云端處理數(shù)據(jù)，都讓安防攝像頭從原來的僅僅“看得見”逐步向高動(dòng)態(tài)范圍、低功耗等性能方向延展。同時(shí)，隨著人臉識別及車牌識別等大數(shù)據(jù)識別應(yīng)用的出現(xiàn)，安防將從原來的“事后發(fā)現(xiàn)”逐漸進(jìn)化到能夠進(jìn)行“預(yù)判、預(yù)警”等功能，這也是智能化的一個(gè)重要體現(xiàn)。

實(shí)現(xiàn)智能安防的三大硬核技術(shù)

智能安防系統(tǒng)主要有三個(gè)關(guān)鍵部分組成：智能感知、視覺／視頻處理、AI計(jì)算。由于軟件和算法與特定應(yīng)用場景有關(guān)，我們只討論硬件部分。

智能安防系統(tǒng)流程圖。（來源：Yole）

攝像頭的圖像傳感器（CIS）主要完成智能感知功能，有些廠商開始為其CIS芯片增加本地處理和計(jì)算能力，讓攝像頭更為智能。這一細(xì)分領(lǐng)域的廠商主要有豪威科技、安森美和索尼等，國內(nèi)初創(chuàng)公司思特威在智能安防領(lǐng)域也開始暫露頭角。

傳感器與邊緣AI的融合讓攝像頭更智能

伴隨AI的不斷普及，安防監(jiān)控行業(yè)對CMOS圖像傳感器成像的清晰度以及場景覆蓋率的要求將會(huì)持續(xù)提升，隨之驅(qū)動(dòng)了從720P－1080P－2K／4K的分辨率升級。此外，圖像傳感器的暗光成像、產(chǎn)品性能、色彩表現(xiàn)力以及近紅外成像性能也為泛安防化的落地發(fā)展助力。

思特威副總經(jīng)理歐陽堅(jiān)認(rèn)為，安防場景除需要CIS提供更高清的圖像之外，還需要應(yīng)對各種復(fù)雜光線下的挑戰(zhàn)，除了在光照良好的白天需要提供細(xì)節(jié)清晰、色彩逼真的圖像信息外，晨昏及夜間等光線復(fù)雜的應(yīng)用場景則對CIS夜視性能的要求更為嚴(yán)苛。為此，思特威開發(fā)的SFCPixel技術(shù)可有效提升CIS的感光度，從而達(dá)到更好的夜視效果。

此外產(chǎn)品性能與近紅外成像性能也是智能安防時(shí)代CIS的發(fā)展重點(diǎn)。除了安防產(chǎn)品的升級迭代外，安防CIS的像素尺寸也逐漸提升至2．0μm以實(shí)現(xiàn)更好的感光性能，而對于超低照環(huán)境中的成像，思特威近期推出了第二代近紅外感度NIR＋技術(shù)，相較第一代NIR＋技術(shù)在感度方面顯著提升，在超低照度850／940nm紅外光補(bǔ)光下可達(dá)到可見光下的清晰度，即使在微弱星光場景下也能清晰獲取4K高清影像畫面。

以前圖像傳感器主要為人眼服務(wù)，而在AI進(jìn)一步發(fā)展的現(xiàn)階段，圖像傳感器的服務(wù)對象逐漸轉(zhuǎn)變?yōu)闄C(jī)器與智能后端平臺，其成像要求也從看得見轉(zhuǎn)變?yōu)榭焖俨蹲剑ǜ邘�率）、無形變（全局快門）和非可見光下成像（近紅外感度NIR＋技術(shù)）來提供更加可靠精細(xì)的影像基礎(chǔ)。思特威的SmartGS技術(shù)將BSI像素設(shè)計(jì)工藝與全局快門圖像傳感器設(shè)計(jì)巧妙結(jié)合在一起，可提供信噪比更佳、靈敏度更高與動(dòng)態(tài)范圍更大的成像性能，通過全局快門的曝光方式，保障圖像不會(huì)因物體高速運(yùn)動(dòng)產(chǎn)生失真，可進(jìn)一步為智能交通系統(tǒng)（ITS）、人臉檢測以及生物識別等需要邊緣AI計(jì)算的新興應(yīng)用提供更優(yōu)質(zhì)的影像信息。

為給后續(xù)圖像傳感器的智能化升級打下扎實(shí)的基礎(chǔ)，思特威還開發(fā)了集成人工智能算法的“AI智能傳感器平臺”，該平臺可以在圖像傳感器上集成邊緣AI計(jì)算，能有效地提高關(guān)鍵區(qū)域（如人臉或車牌）的分辨率，降低延時(shí)，并擁有高幀率及超低功耗，可為人臉識別、高級駕駛輔助系統(tǒng)、無人駕駛、機(jī)器人等先進(jìn)的人工智能應(yīng)用解決因幀率不夠高、分辨率不足而導(dǎo)致的響應(yīng)慢、延時(shí)高及識別率低等問題，提升整個(gè)人工智能系統(tǒng)的能效比。

“數(shù)據(jù)就地處理”需要更智能的視覺／視頻處理器

從視覺AI分析的過程來看，對于需要實(shí)時(shí)／近實(shí)時(shí)處理，或者涉及數(shù)據(jù)隱私的場景往往在智能邊緣平臺進(jìn)行AI推理和識別。需要傳輸至云端或服務(wù)器進(jìn)行集中處理和計(jì)算的數(shù)據(jù)一般有兩類：監(jiān)管或者其他法規(guī)要求；需要利用數(shù)據(jù)進(jìn)行重復(fù)訓(xùn)練，模型迭代。以人臉識別為例，人臉檢測和抓拍是在本地通過設(shè)備端實(shí)時(shí)進(jìn)行的。而對抓拍到的人臉進(jìn)行識別的工作，可能涉及十萬級或以上的數(shù)據(jù)庫比對，則可交給云端，通過更大的算力去快速完成運(yùn)算。

“數(shù)據(jù)就地處理”的需求讓邊緣計(jì)算成為增長最為迅速的市場。除了云端和前端AI芯片市場，邊緣端已成為很多AI芯片創(chuàng)企的突破點(diǎn)。目前市場上的邊緣計(jì)算大多面向的是4－16路的視頻分析處理（車路協(xié)同、加油站等為典型應(yīng)用場景），或支持200路左右的小型數(shù)據(jù)中心（采油廠、變電站等為典型應(yīng)用場景）。在這些場景中，用戶的需求明確，市場對低延遲、數(shù)據(jù)隱私以及低成本和超節(jié)能的可用性日益關(guān)注。對于工業(yè)、車路協(xié)同這些有大量數(shù)據(jù)并要求低延時(shí)響應(yīng)的應(yīng)用場景，芯片的算力性價(jià)比成為核心的考量因素。

億智電子安防產(chǎn)品副總裁魏唯認(rèn)為，圖像／視覺處理器和視頻處理器芯片要實(shí)現(xiàn)“數(shù)據(jù)就地處理”，就需要各模塊之間的協(xié)同運(yùn)行，有效數(shù)據(jù)首先要經(jīng)過ISP獲得清晰的圖像數(shù)據(jù)，再讓NPU（神經(jīng)網(wǎng)絡(luò)處理器）對數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算。端側(cè)算力1．5T可以滿足同時(shí)運(yùn)行3－5種算法的需求，例如同時(shí)進(jìn)行人臉檢測、識別、跟蹤。要在端側(cè)部署AI算力，在性能上需要SoC有很強(qiáng)的集成能力，包括ISP、NPU、視頻編解碼等模塊。

億智針對安防應(yīng)用開發(fā)的AI SoC芯片SV826和SV823主要面向視頻編解碼AI攝像機(jī)產(chǎn)品，采用智能H．265＋編碼技術(shù)，支持最高4K超高清視頻錄像；集成專業(yè)安防級別的ISP，支持2～3幀寬動(dòng)態(tài)融合和自適應(yīng)降噪，在逆光和低照度環(huán)境下表現(xiàn)出色。此外，這兩款芯片還搭載了億智第二代自研NPU，具有1．5T／0．8T算力，可高效支持人臉識別／檢測、人形識別、車牌識別、車型識別、視頻結(jié)構(gòu)化，以及智能行為分析等智能應(yīng)用場景。

相較傳統(tǒng)的圖像／視頻處理器，AI視覺SoC芯片集成了NPU，這是SoC中的AI計(jì)算單元。由于是專門為AI加速而設(shè)計(jì)的處理單元，在計(jì)算的速度和準(zhǔn)確率都會(huì)有大幅的提升。據(jù)Yole預(yù)測，到2025年安防芯片市場規(guī)模將超過40億美元，其中三分之二是具有AI功能的芯片。

最近安霸針對安防市場發(fā)布了兩款A(yù)I視覺芯片：CV5S和CV52S。這兩款SoC基于CVflow架構(gòu)，采用5nm工藝，擁有超低功耗，可同時(shí)支持4K編碼和強(qiáng)大的AI處理。CV5S適合覆蓋更大范圍、更遠(yuǎn)距離的安防攝像機(jī)系統(tǒng)應(yīng)用，如城市戶外環(huán)境或大型建筑，這里場景需要多個(gè)視覺傳感器進(jìn)行360度全景監(jiān)控。而CV52S則是為具有強(qiáng)大AI性能的單目安防攝像機(jī)而設(shè)計(jì)，這類攝像機(jī)需要更清晰識別場景中的人或物體，包括遠(yuǎn)距離識別人臉和車牌號碼，比如智能交通攝像機(jī)。

安霸CV5S模塊框圖。（來源：Ambarella）

由清華大學(xué)可重構(gòu)計(jì)算研究團(tuán)隊(duì)創(chuàng)辦的北京清微智能開發(fā)的可重構(gòu)計(jì)算芯片TX510，可以依據(jù)應(yīng)用和算法重構(gòu)執(zhí)行計(jì)算的硬件資源，具有按需即時(shí)重構(gòu)、高能效、低功耗等特點(diǎn)。清微智能創(chuàng)始人兼CEO王博大致介紹了基于TX510的人臉識別系統(tǒng)產(chǎn)品流程。首先，紅外傳感器自動(dòng)感應(yīng)人體，激活TX510 系統(tǒng)。然后，開啟3D 圖像采集、近紅外圖像采集和可見光圖像采集（進(jìn)入ISP 引擎）。接著進(jìn)行人臉檢測、活體聯(lián)合檢測，最后完成人臉識別和特征比對。

基于TX510的人臉識別系統(tǒng)產(chǎn)品流程。（來源：清微智能）

可重構(gòu)芯片應(yīng)用于圖像信號處理有如下優(yōu)勢：快速在芯片上實(shí)現(xiàn)最新的圖像算法、更加強(qiáng)大的圖像處理性能、為客戶提供自己定制ISP算法的可能，并可延長產(chǎn)品的生命周期。

在產(chǎn)品形態(tài)上，添加AI能力的邊緣計(jì)算載體包括智能安防攝像頭、智能網(wǎng)關(guān)、盒子、微型數(shù)據(jù)中心等。這些設(shè)備和應(yīng)用對于多種連接和數(shù)據(jù)移動(dòng)性、實(shí)時(shí)決策、本地化計(jì)算能力、高效存儲(chǔ)這些功能和技術(shù)指標(biāo)都有比較高的要求。

智能安防AI計(jì)算需要提高算力性價(jià)比

AI視覺芯片做的是領(lǐng)域?qū)Ｓ糜?jì)算，相比于通用計(jì)算芯片如CPU／GPU，可以定制化運(yùn)行AI領(lǐng)域的視覺分析應(yīng)用，從而提供更高的計(jì)算效率，用更低的成本、更低的功耗提供更高的計(jì)算性能。AI計(jì)算的優(yōu)勢在于：在恒定的算力需求下，例如數(shù)據(jù)中心場景下的100臺AI服務(wù)器，可以以更低成本、更優(yōu)的計(jì)算性能、更低功耗滿足AI算力需求，所需的芯片數(shù)量越少或者芯片成本更低，從而大幅降低人工智能應(yīng)用落地所需的總成本。

鯤云科技王少軍博士認(rèn)為，提升芯片利用率是提供高算力性價(jià)比最根本的方式，在這方面鯤云科技基于自主研發(fā)的定制數(shù)據(jù)流架構(gòu)，打破傳統(tǒng)底層架構(gòu)下的算力瓶頸，在芯片利用率上實(shí)現(xiàn)了十倍以上的提升。

鯤云AI視頻分析結(jié)構(gòu)圖。（來源：鯤云科技）

以一個(gè)具體場景為例，在一個(gè)使用100臺AI服務(wù)器來處理25000路視頻分析的數(shù)據(jù)中心場景中，如果采用AI專用且更高算力性價(jià)比的數(shù)據(jù)流AI芯片（如鯤云CAISA芯片），能在實(shí)測算力上高出4．12倍的性能，那么對應(yīng)地每臺AI服務(wù)器的處理能力也提升了4．12倍，也就是說處理的視頻路數(shù)更多了。同樣一個(gè)應(yīng)用達(dá)到同樣的性能，從原來需要100臺AI服務(wù)器減少到只需要25臺AI服務(wù)器，這個(gè)4．12倍的性能提升意味著對于數(shù)據(jù)中心這個(gè)場景有70％以上的成本降低，這是人工智能視覺芯片為安防等視頻處理應(yīng)用帶來的價(jià)值。

那么，在為安防監(jiān)控應(yīng)用選擇AI芯片時(shí)，應(yīng)考慮哪些因素？

1． 計(jì)算精度：AI訓(xùn)練基本都是FP32的模型，在推理階段，客戶越來越愿意使用低精度如INT8，應(yīng)考慮特別在深度學(xué)習(xí)模型中精度損失和算力、內(nèi)存帶寬使用、模型參數(shù)存儲(chǔ)之間的平衡；

2． 實(shí)測性能：理論峰值算力需要結(jié)合芯片利用率來判斷，實(shí)測算力才是算力真正發(fā)揮到應(yīng)用上的性能。比如以指令集芯片和數(shù)據(jù)流芯片的對比來看，數(shù)據(jù)流芯片采用計(jì)算流和數(shù)據(jù)流重疊運(yùn)行方式消除空閑計(jì)算單元，突破指令集技術(shù)對于芯片算力的限制，在芯片利用率上提升了10倍；

3． 視頻解碼和圖像解碼能力：解碼能力的強(qiáng)弱也是決定分析視頻路數(shù)、圖像張數(shù)的吞吐能力的重要決定因素；

4． 算力和工具鏈的軟件易用性：需要關(guān)注AI芯片是否可以完整支持Caffe，Tensorflow，PyTorch等AI框架，如典型CNN模型中的常見算子，甚至是自研算子，需要芯片配套的端到端編譯工具鏈；

5． 算力算法一體化：在落地應(yīng)用的過程中，所有的深度學(xué)習(xí)算法最終都需要附著在芯片上，完成最后部署。AI芯片除了自身性能，更需要適配場景。針對安防領(lǐng)域不同的應(yīng)用場景，算力算法一體化的端到端解決方案才真正實(shí)現(xiàn)了軟硬件的深度融合。

智能安防值得關(guān)注的未來新興技術(shù)及應(yīng)用

安防作為一個(gè)大的領(lǐng)域，除了人臉識別外，在針對人、車、物及行為的識別領(lǐng)域也涌現(xiàn)出了很多的應(yīng)用需求。智能安防在向垂直領(lǐng)域不斷拓展，基于視頻圖像應(yīng)用的智慧能源、智慧工地、智慧園區(qū)、智慧港口等將迎來高速發(fā)展的時(shí)期。除了傳統(tǒng)的交通、公安、社區(qū)等領(lǐng)域，視頻監(jiān)控未來在一些新興領(lǐng)域會(huì)有更大發(fā)揮。例如，工業(yè)中的產(chǎn)品缺陷監(jiān)測、安規(guī)測試；農(nóng)業(yè)中的農(nóng)作物病害檢測、農(nóng)產(chǎn)品無損檢測等；線下零售行業(yè)的柜臺監(jiān)控等。而隨著智能安防應(yīng)用的拓展，AI算法方案將不斷迭代和推陳出新，軟硬件一體化的整體方案將會(huì)成為行業(yè)的剛需。

智能安防為安防監(jiān)控?cái)z像頭廣泛覆蓋及深入落地營造了良好的成長環(huán)境。未來3－5年，安防監(jiān)控將朝著“智能、精確、高效”的方向發(fā)展，而智能安防也將不僅限于安防行業(yè)，將會(huì)衍生出諸如人臉識別、物品檢測、車牌識別、智能卡口、智能家居、智慧城市以及ITS智能交通系統(tǒng)等更多的泛安防細(xì)分領(lǐng)域，而暗光成像性能、近紅外成像性能、色彩表現(xiàn)力、低功耗以及高溫適用性等成像性能也將隨著視頻影像需求標(biāo)準(zhǔn)的提升而發(fā)展。

億智電子的魏唯認(rèn)為，智能化的前端IPC攝像機(jī)在未來3－5年內(nèi)將替代現(xiàn)有的IPC，那時(shí)將不再有不具備AI功能的IPC攝像機(jī)，這需要帶端側(cè)算力的AI SoC芯片去推動(dòng)實(shí)現(xiàn)。目前，搭載億智電子AI芯片的攝像機(jī)已經(jīng)可以實(shí)現(xiàn)人臉人形識別、越界檢測與預(yù)警（如翻墻識別）、人員闖入檢測與預(yù)警（如人員進(jìn)入配電箱等危險(xiǎn)區(qū)域的檢測與預(yù)警）、客流識別等智能應(yīng)用。已經(jīng)安裝了IPC攝像機(jī)的位置都有監(jiān)控需求，未來可以深挖更多的應(yīng)用場景。

在技術(shù)方面，隨著NPU等AI加速器技術(shù)和傳感器技術(shù)的發(fā)展，以紅外熱成像技術(shù)的應(yīng)用為例，這類不可見光同樣蘊(yùn)含著很多對人類有用的信息，同時(shí)也需要NPU來支持相關(guān)算法的計(jì)算處理，才能真正解決實(shí)際問題。熱成像設(shè)備收集到平面的溫度數(shù)據(jù)，而利用AI算法，可以計(jì)算得到三維立體的數(shù)據(jù)。這樣一來，我們不使用可見光形成的圖像，僅利用處理過的數(shù)據(jù)信息，來做老人和小孩看護(hù)，既能解決用戶隱私問題，又能達(dá)到更有效的監(jiān)護(hù)效果。在未來，對端側(cè)算力的需求會(huì)越來越大。

責(zé)編：Amy Guan

免責(zé)聲明：本文系網(wǎng)絡(luò)轉(zhuǎn)載，版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題，請第一時(shí)間告知，我們將立即刪除內(nèi)容！本文內(nèi)容為原作者觀點(diǎn)，并不代表本公眾號贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。