隨著世界各個(gè)國(guó)家／地區(qū)紛紛制定人工智能相關(guān)法規(guī)，設(shè)計(jì)基于人工智能的系統(tǒng)的工程師必須滿(mǎn)足這些新出臺(tái)的規(guī)范和標(biāo)準(zhǔn)要求。在 2023 年 10 月 30 日，美國(guó)白宮也頒布了一項(xiàng)關(guān)于人工智能法規(guī)的行政命令，強(qiáng)調(diào)穩(wěn)健的驗(yàn)證和確認(rèn)（V&V）過(guò)程對(duì)基于人工智能的系統(tǒng)至關(guān)重要。該指令要求人工智能公司報(bào)告和測(cè)試特定模型，以確保人工智能系統(tǒng)按預(yù)期運(yùn)行并滿(mǎn)足指定要求。 

人工智能法規(guī)和 V&V 過(guò)程將對(duì)安全關(guān)鍵型系統(tǒng)產(chǎn)生重大影響。人工智能越來(lái)越多地用于系統(tǒng)設(shè)計(jì)，包括汽車(chē)和航空航天工業(yè)等領(lǐng)域的安全關(guān)鍵型應(yīng)用。 

基于人工智能的系統(tǒng)中的驗(yàn)證和確認(rèn) 

驗(yàn)證旨在確定人工智能模型是否按照指定的要求設(shè)計(jì)和開(kāi)發(fā)，而確認(rèn)則是檢查產(chǎn)品是否符合客戶(hù)的要求和預(yù)期。通過(guò)采用 V&V 方法，工程師可以確保人工智能模型的輸出符合規(guī)范，從而實(shí)現(xiàn)早期 Bug 檢測(cè)并緩解數(shù)據(jù)偏向的風(fēng)險(xiǎn)。 

在安全關(guān)鍵型系統(tǒng)中使用人工智能的一項(xiàng)優(yōu)勢(shì)是，人工智能模型可以模擬物理系統(tǒng)并驗(yàn)證設(shè)計(jì)。工程師可對(duì)基于人工智能的整個(gè)系統(tǒng)進(jìn)行仿真，并使用數(shù)據(jù)在不同場(chǎng)景中測(cè)試系統(tǒng)，包括離群值事件。如果在安全關(guān)鍵型場(chǎng)景中執(zhí)行 V&V，則可確�；�于人工智能的安全關(guān)鍵型系統(tǒng)能夠在各種情況下保持其性能水平。 

大多數(shù)開(kāi)發(fā)人工智能增強(qiáng)產(chǎn)品的行業(yè)，都要求工程師在產(chǎn)品上市前遵循相關(guān)標(biāo)準(zhǔn)。這些認(rèn)證過(guò)程可確保此類(lèi)產(chǎn)品中融入特定元素。工程師可執(zhí)行 V&V 來(lái)測(cè)試這些元素的功能，這使得獲得認(rèn)證更容易。 

在汽車(chē)行業(yè)中，ISO/CD PAS 8800 是一項(xiàng)擬制標(biāo)準(zhǔn)，旨在說(shuō)明道路車(chē)輛的安全相關(guān)屬性和風(fēng)險(xiǎn)因素。在航空航天和國(guó)防領(lǐng)域，認(rèn)證是強(qiáng)制性要求。機(jī)載系統(tǒng)和設(shè)備認(rèn)證中的軟件考慮因素（DO178C）等現(xiàn)行標(biāo)準(zhǔn)不一定能直接幫助應(yīng)對(duì)人工智能所帶來(lái)的獨(dú)特挑戰(zhàn)。因此，新的 ARP6983 過(guò)程標(biāo)準(zhǔn)正在制定中，旨在為開(kāi)發(fā)和認(rèn)證實(shí)現(xiàn)人工智能的航空安全相關(guān)產(chǎn)品提供規(guī)范。

 Deep Learning Toolbox™ Verification Library 和 MATLAB^® Test™ 可以幫助工程師開(kāi)發(fā)有助于遵循行業(yè)標(biāo)準(zhǔn)的軟件，并簡(jiǎn)化大型系統(tǒng)中人工智能模型的驗(yàn)證和測(cè)試，從而使他們?cè)诤娇蘸推��?chē)領(lǐng)域的 V&V 方面保持領(lǐng)先地位。

航空航天工程團(tuán)隊(duì)使用基于模型的設(shè)計(jì)來(lái)管理和協(xié)調(diào)復(fù)雜的需求，自動(dòng)生成代碼，并嚴(yán)格測(cè)試模型和系統(tǒng)。 

安全關(guān)鍵型系統(tǒng)中的 V&V 人工智能過(guò)程 

在執(zhí)行 V&V 時(shí)，工程師的目標(biāo)是確保人工智能組件既能滿(mǎn)足指定的要求，又能在各種工況下都表現(xiàn)出可靠性和安全性，因此可以隨時(shí)部署。與人工智能相關(guān)的 V&V 過(guò)程涉及執(zhí)行軟件保證活動(dòng)，其中包括靜態(tài)和動(dòng)態(tài)分析、測(cè)試、形式化方法和真實(shí)運(yùn)營(yíng)監(jiān)控的組合。 

各行各業(yè)的 V&V 過(guò)程可能略有不同，但 V&V 過(guò)程的主要步驟都包括：

分析決策過(guò)程以解決黑盒問(wèn)題；

根據(jù)有代表性的數(shù)據(jù)集測(cè)試模型；

執(zhí)行人工智能系統(tǒng)仿真；

確保模型在可接受的范圍內(nèi)運(yùn)行。 

下述 V&V 過(guò)程中的步驟是迭代步驟。隨著工程師收集新數(shù)據(jù)、獲得新深入信息和集成運(yùn)行反饋，人工智能系統(tǒng)可以得到不斷完善和改進(jìn)。 

分析決策過(guò)程以解決黑盒問(wèn)題 

在使用人工智能模型為系統(tǒng)添加自動(dòng)化功能時(shí)，工程師會(huì)面臨黑盒問(wèn)題。理解基于人工智能的系統(tǒng)如何作出決策，對(duì)于提供透明度至關(guān)重要，因?yàn)檫@使工程師和科學(xué)家能夠?qū)δＰ皖A(yù)測(cè)建立信任并理解決策。 

特征重要性分析方法可以幫助工程師確定哪些輸入變量對(duì)模型預(yù)測(cè)的影響最大。這種分析方法的工作方式因模型（如基于樹(shù)的模型和線性模型）而異，但是，一般過(guò)程會(huì)為每個(gè)輸入變量賦予一個(gè)特征重要性分?jǐn)?shù)。重要性分?jǐn)?shù)越高，該特征對(duì)模型決策的影響就越大。對(duì)于汽車(chē)行業(yè)的安全關(guān)鍵型系統(tǒng)，變量可能包括環(huán)境因素，如降水或其他車(chē)輛的存在和行為。 

可解釋性方法有助于深入了解模型行為。當(dāng)模型的黑盒性質(zhì)使我們無(wú)法使用其他方法時(shí)，這種方法尤其重要。以圖像為例，這些方法可用于識(shí)別圖像中對(duì)最終預(yù)測(cè)貢獻(xiàn)最大的區(qū)域。這樣，工程師便可理解模型在做出預(yù)測(cè)時(shí)的主要關(guān)注點(diǎn)。

根據(jù)有代表性的數(shù)據(jù)集測(cè)試模型 

通常，工程師會(huì)評(píng)估人工智能模型在真實(shí)場(chǎng)景中的性能，以確保安全關(guān)鍵型系統(tǒng)能夠在這些場(chǎng)景中穩(wěn)健運(yùn)行。他們的目標(biāo)是找出各種限制，以提高模型的準(zhǔn)確度和可靠性。工程師首先會(huì)收集大量有代表性的真實(shí)數(shù)據(jù)集，并通過(guò)清洗數(shù)據(jù)使其適用于測(cè)試。然后，他們會(huì)設(shè)計(jì)測(cè)試用例來(lái)評(píng)估模型的各個(gè)方面，例如準(zhǔn)確度和可再現(xiàn)性。最后，工程師會(huì)將模型應(yīng)用于數(shù)據(jù)集，記錄結(jié)果并將其與預(yù)期輸出進(jìn)行比較。模型設(shè)計(jì)將根據(jù)數(shù)據(jù)測(cè)試的結(jié)果進(jìn)行改進(jìn)。 

執(zhí)行人工智能系統(tǒng)仿真 

憑借基于人工智能的系統(tǒng)仿真，工程師能夠在受控環(huán)境中評(píng)估和評(píng)價(jià)系統(tǒng)的性能。在仿真期間，工程師會(huì)創(chuàng)建一個(gè)虛擬環(huán)境，以在各種條件下對(duì)真實(shí)系統(tǒng)進(jìn)行模擬。首先，他們會(huì)定義仿真系統(tǒng)所需的輸入和參數(shù)，例如初始條件和環(huán)境因素。然后，他們使用 Simulink^® 等軟件執(zhí)行仿真，該軟件會(huì)輸出系統(tǒng)對(duì)建議場(chǎng)景的響應(yīng)。與數(shù)據(jù)測(cè)試一樣，仿真結(jié)果會(huì)與預(yù)期或已知結(jié)果進(jìn)行比較，以便于模型得到逐步改進(jìn)。 

為了讓人工智能模型安全可靠地運(yùn)行，必須建立界限并監(jiān)控模型的行為，以確保該模型在這些邊界內(nèi)運(yùn)行。如果模型已基于有限的數(shù)據(jù)集訓(xùn)練，并在運(yùn)行時(shí)遇到前所未見(jiàn)的數(shù)據(jù)，則會(huì)出現(xiàn)最常見(jiàn)的邊界問(wèn)題之一。同樣，模型可能不夠穩(wěn)健，有可能導(dǎo)致不可預(yù)測(cè)的行為。 

工程師采用緩解數(shù)據(jù)偏向和增強(qiáng)數(shù)據(jù)的方法，以確保人工智能模型在可接受的范圍內(nèi)運(yùn)行。 

緩解數(shù)據(jù)偏向的一種方法是，讓用于訓(xùn)練人工智能模型的數(shù)據(jù)具有多變性，這有助于減少模型對(duì)限制其學(xué)習(xí)的重復(fù)模式的依賴(lài)。借助數(shù)據(jù)增強(qiáng)方法，可確保代表不同類(lèi)別和人群的數(shù)據(jù)都能得到公平和平等的處理。在自動(dòng)駕駛汽車(chē)場(chǎng)景中，數(shù)據(jù)增強(qiáng)可能涉及使用不同角度的行人照片來(lái)幫助模型檢測(cè)行人，而不管這些行人的位姿如何。數(shù)據(jù)平衡方法通常與數(shù)據(jù)增強(qiáng)結(jié)合使用，包含來(lái)自每個(gè)數(shù)據(jù)類(lèi)的相似樣本。以行人為例，平衡數(shù)據(jù)意味著，針對(duì)每種不同的行人場(chǎng)景，如不同體型、服裝樣式、光照條件和背景，數(shù)據(jù)集都必須包含與之對(duì)應(yīng)數(shù)量的圖像。這種方法可以最大限度地減少偏向，并提高模型在各種現(xiàn)實(shí)情況下的泛化能力。 

在安全關(guān)鍵型場(chǎng)景中部署神經(jīng)網(wǎng)絡(luò)時(shí)，穩(wěn)健性是首要考慮因素。細(xì)微而難以察覺(jué)的變化會(huì)帶來(lái)重大風(fēng)險(xiǎn)，使神經(jīng)網(wǎng)絡(luò)產(chǎn)生誤分類(lèi)。這些干擾可能會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)輸出不正確或危險(xiǎn)的結(jié)果。在錯(cuò)誤可能導(dǎo)致災(zāi)難的系統(tǒng)中，這種情況尤其令人擔(dān)憂(yōu)。一種解決方案是，將形式化方法納入開(kāi)發(fā)和驗(yàn)證過(guò)程中。形式化方法就是使用嚴(yán)格的數(shù)學(xué)模型來(lái)確立和證明神經(jīng)網(wǎng)絡(luò)的正確性屬性。通過(guò)應(yīng)用這些方法，工程師可以提高網(wǎng)絡(luò)對(duì)某些類(lèi)型干擾的抵御能力，從而確保安全關(guān)鍵型應(yīng)用具有更高的穩(wěn)健性和可靠性。

W 形開(kāi)發(fā)過(guò)程是一種非線性 V&V 工作流，旨在確保人工智能模型的準(zhǔn)確度和可靠性。 

結(jié)束語(yǔ) 

在基于人工智能的安全關(guān)鍵型系統(tǒng)時(shí)代，V&V 過(guò)程對(duì)于獲得行業(yè)認(rèn)證和遵循法律要求將變得至關(guān)重要。若要構(gòu)建和維護(hù)值得信賴(lài)的系統(tǒng)，工程師需要采用驗(yàn)證方法，為運(yùn)行這些系統(tǒng)的人工智能模型提供可解釋性和透明度。隨著工程師利用人工智能來(lái)幫助執(zhí)行 V&V 過(guò)程，他們必須探索各種測(cè)試方法來(lái)應(yīng)對(duì)人工智能技術(shù)所帶來(lái)的日益復(fù)雜的挑戰(zhàn)。在安全關(guān)鍵型系統(tǒng)中，這些工作可確保人工智能以負(fù)責(zé)且透明的方式得到使用。 

作者：MathWorks 深度學(xué)習(xí)首席產(chǎn)品經(jīng)理 Lucas Garcia 博士 

關(guān)于 MathWorks

MathWorks 是數(shù)學(xué)計(jì)算軟件領(lǐng)域世界領(lǐng)先的開(kāi)發(fā)商。來(lái)自該公司的 MATLAB 被稱(chēng)為“科學(xué)家和工程師的語(yǔ)言”，是一個(gè)集算法開(kāi)發(fā)、數(shù)據(jù)分析、可視化和數(shù)值計(jì)算于一體的編程環(huán)境。Simulink 則是一個(gè)模塊化建模環(huán)境，面向多域和嵌入式工程系統(tǒng)的仿真和基于模型的設(shè)計(jì)。這些產(chǎn)品服務(wù)于全球工程師和科學(xué)家，幫助他們加快步伐，在汽車(chē)、航空航天、通信、電子、工業(yè)自動(dòng)化及其他各行各業(yè)更快地實(shí)現(xiàn)發(fā)明、創(chuàng)新和開(kāi)發(fā)。MATLAB 和 Simulink 產(chǎn)品是全球眾多頂級(jí)大學(xué)和學(xué)術(shù)機(jī)構(gòu)的基本教研工具。MathWorks 創(chuàng)建于 1984 年，總部位于美國(guó)馬薩諸塞州的內(nèi)蒂克市（Natick, Massachusetts），在全球擁有 34 個(gè)分支機(jī)構(gòu)，共有 6,000 多名員工。

       原文標(biāo)題 : 人工智能安全關(guān)鍵型系統(tǒng)中的驗(yàn)證和確認(rèn)