芝能智芯出品

輔助駕駛和自動(dòng)駕駛技術(shù)全面加速，人工智能系統(tǒng)已經(jīng)逐漸成為車(chē)輛功能決策鏈條中的關(guān)鍵部分。不同于過(guò)去以傳統(tǒng)規(guī)則邏輯為主的車(chē)載系統(tǒng)，人工智能因其數(shù)據(jù)驅(qū)動(dòng)、非確定性與難以完全解釋的特性，給車(chē)輛安全帶來(lái)了前所未有的挑戰(zhàn)。

傳統(tǒng)的功能安全體系，如 ISO 26262，以及針對(duì)預(yù)期功能安全的 ISO 21448，奠定了汽車(chē)安全體系的基礎(chǔ)，卻難以直接覆蓋人工智能模型的特性。

2024 年正式發(fā)布的 ISO/PAS 8800 才真正成為行業(yè)首次嘗試為車(chē)載 AI 系統(tǒng)建立具體安全論證框架的標(biāo)準(zhǔn)。

這份標(biāo)準(zhǔn)并不旨在提供嚴(yán)格的定量門(mén)檻或規(guī)定統(tǒng)一的流程，通過(guò)框架化結(jié)構(gòu)，讓不同車(chē)企、供應(yīng)鏈環(huán)節(jié)和AI開(kāi)發(fā)者能夠共同構(gòu)建“項(xiàng)目特定”的安全論證體系，基于 ISO/PAS 8800 的整體內(nèi)容，并結(jié)合其與現(xiàn)有體系的關(guān)聯(lián)、工程實(shí)踐中的難點(diǎn)，以及行業(yè)正在嘗試的解決路徑。

Part 1ISO/PAS 8800  安全關(guān)鍵應(yīng)用的困境到可信AI框架

汽車(chē)電氣電子架構(gòu)師越來(lái)越復(fù)雜，AI 系統(tǒng)在車(chē)輛中的角色正在發(fā)生結(jié)構(gòu)性變化，AI 大多被用于體驗(yàn)型、非安全關(guān)鍵場(chǎng)景，例如語(yǔ)音識(shí)別、車(chē)內(nèi)個(gè)性化調(diào)節(jié)或簡(jiǎn)單的圖像分類(lèi)。

這類(lèi)應(yīng)用的準(zhǔn)確率通常只要達(dá)到 90% 以上即可滿足體驗(yàn)需求，偶有錯(cuò)誤也不會(huì)造成安全后果。當(dāng)AI 開(kāi)始進(jìn)入自動(dòng)駕駛、智能剎車(chē)、行人識(shí)別、避撞決策等領(lǐng)域時(shí)，傳統(tǒng)的準(zhǔn)確率指標(biāo)顯然就不再足夠。

一個(gè) 95% 準(zhǔn)確率的交通標(biāo)志識(shí)別模型，在體驗(yàn)上看似可靠，卻可能意味著每 20 次識(shí)別就有 1 次誤判，在高速場(chǎng)景中就可能帶來(lái)致命風(fēng)險(xiǎn)。

正是因?yàn)檫@種本質(zhì)性差異，AI 從非關(guān)鍵場(chǎng)景進(jìn)入安全關(guān)鍵場(chǎng)景之后，整個(gè)技術(shù)體系發(fā)生了結(jié)構(gòu)性斷裂。

傳統(tǒng)工程體系依賴(lài)規(guī)則邏輯、可驗(yàn)證的狀態(tài)機(jī)、可追蹤的信號(hào)鏈路、精確的定量指標(biāo)，以及明確的故障模式。而 AI 系統(tǒng)則由統(tǒng)計(jì)模型、概率輸出和數(shù)據(jù)驅(qū)動(dòng)行為構(gòu)成，參數(shù)量巨大、行為難以完全解釋?zhuān)瑐鹘y(tǒng)驗(yàn)證方法幾乎無(wú)法直接應(yīng)用。

從2022年起，國(guó)際工程界開(kāi)始嘗試建立一套面向安全關(guān)鍵人工智能應(yīng)用的工作方法，包括黃金法則體系、AI 全生命周期規(guī)則與架構(gòu)設(shè)計(jì)指導(dǎo)，歐盟 AI 法案于 2025 年開(kāi)始實(shí)施，從監(jiān)管層明確了 AI 的風(fēng)險(xiǎn)分級(jí)與透明度要求，尤其是對(duì)高風(fēng)險(xiǎn) AI 的監(jiān)管框架，為車(chē)輛 AI 標(biāo)準(zhǔn)化奠定了基礎(chǔ)。

ISO/PAS 8800 的發(fā)布可視為行業(yè)“第一次試圖系統(tǒng)性回答車(chē)載 AI 應(yīng)如何被證明為安全”，核心定位不是替代現(xiàn)有標(biāo)準(zhǔn)，而是成為連接人工智能與汽車(chē)安全體系之間的橋梁。

標(biāo)準(zhǔn)明確了 AI 系統(tǒng)在車(chē)輛安全架構(gòu)中的角色，描述了構(gòu)建安全論證時(shí)需回答的一系列關(guān)鍵問(wèn)題，并指出系統(tǒng)架構(gòu)、數(shù)據(jù)集管理、模型訓(xùn)練、驗(yàn)證與確認(rèn)、運(yùn)行監(jiān)控等生命周期環(huán)節(jié)應(yīng)如何納入安全工程體系。

從標(biāo)準(zhǔn)本身來(lái)看，這是一個(gè)“安全論證框架”，明確 AI 系統(tǒng)必須給出功能規(guī)范、運(yùn)行設(shè)計(jì)域、輸入輸出定義、安全目標(biāo)、冗余策略、數(shù)據(jù)合理性驗(yàn)證、模型可解釋性、過(guò)擬合控制、不確定性度量、標(biāo)簽偏差控制等要求，但并不給出工程量化指標(biāo)。

這種結(jié)構(gòu)的原因在于，AI 的使用場(chǎng)景差異極大，難以通過(guò)統(tǒng)一指標(biāo)覆蓋所有情況，尤其是神經(jīng)網(wǎng)絡(luò)模型在不同車(chē)輛、不同任務(wù)和不同傳感器下表現(xiàn)差別明顯。

在實(shí)踐層面，ISO/PAS 8800 引導(dǎo)開(kāi)發(fā)者從系統(tǒng)工程角度重新審視 AI 的角色。

例如，在車(chē)輛感知系統(tǒng)中，模型的輸出不再只是準(zhǔn)確率，而需要在工程邏輯中回答：在不同光照、極端天氣、邊界條件下，系統(tǒng)是否能夠給出可靠結(jié)果？模型的不確定性是否可以被監(jiān)測(cè)？輸入數(shù)據(jù)是否可能出現(xiàn)非合理信號(hào)？邊界行為是否得到分析？對(duì)于誤分類(lèi)，是否采用了安全權(quán)重體系？所有這些都必須最終體現(xiàn)在可驗(yàn)證的安全論證中。

這也引出了 ISO/PAS 8800 最重要的價(jià)值：將人工智能納入“可討論、可驗(yàn)證、可管理”的工程體系。

標(biāo)準(zhǔn)也暴露出行業(yè)仍未解決的根本難題。由于缺乏數(shù)學(xué)上的嚴(yán)格定義和完整的定量化框架，AI 安全論證仍然依賴(lài)項(xiàng)目具體情況，不同車(chē)企或供應(yīng)鏈之間的工程方法可能會(huì)出現(xiàn)差異。

而深度神經(jīng)網(wǎng)絡(luò)作為 AI 系統(tǒng)的核心，因其不透明性與不可完全預(yù)測(cè)性，在標(biāo)準(zhǔn)中仍然缺少深入描述，這也意味著行業(yè)還需要更多方法來(lái)彌補(bǔ)該部分空白。

Part 2AI安全工程的關(guān)鍵問(wèn)題與可行路徑

要真正理解 ISO/PAS 8800 的意義，就必須從工程實(shí)現(xiàn)的角度理解 AI 系統(tǒng)安全的核心難題。

在車(chē)輛中，一個(gè) AI 模型從定義到部署，至少需要經(jīng)歷功能定義、架構(gòu)設(shè)計(jì)、數(shù)據(jù)集構(gòu)建、模型訓(xùn)練、測(cè)試驗(yàn)證、系統(tǒng)集成、運(yùn)行監(jiān)控等多個(gè)環(huán)節(jié)，而每一個(gè)環(huán)節(jié)都可能影響其最終安全性。

功能定義與運(yùn)行設(shè)計(jì)域。

與傳統(tǒng)系統(tǒng)可以通過(guò)規(guī)則精確限定行為不同，AI 系統(tǒng)的功能往往由數(shù)據(jù)隱式?jīng)Q定，因此必須在安全工程上額外定義非常嚴(yán)格的預(yù)期使用場(chǎng)景、輸入類(lèi)型、目標(biāo)行為和邊界情況。

ISO/PAS 8800 將這些內(nèi)容納入安全論證的首要部分，要求工程團(tuán)隊(duì)必須清晰劃定 AI 模型應(yīng)在何種場(chǎng)景發(fā)揮作用，并在架構(gòu)上采用必要的保護(hù)機(jī)制，例如規(guī)則型判斷、投票機(jī)制、冗余模型或置信度閾值，以避免 AI 在超出其能力時(shí)仍輸出高風(fēng)險(xiǎn)結(jié)果。

數(shù)據(jù)集的問(wèn)題。

深度學(xué)習(xí)模型的能力受到數(shù)據(jù)決定，而數(shù)據(jù)集本身可能存在偏差、缺失、標(biāo)簽錯(cuò)誤、稀有場(chǎng)景不足等問(wèn)題。

ISO/PAS 8800 對(duì)數(shù)據(jù)集提出明確要求，包括極端案例的收集和系統(tǒng)性識(shí)別、標(biāo)簽過(guò)程的驗(yàn)證、偏差控制、數(shù)據(jù)增強(qiáng)策略、環(huán)境變化下的更新機(jī)制等。

對(duì)于工程團(tuán)隊(duì)而言，這意味著數(shù)據(jù)管理將成為安全工程的重要組成部分，而不僅僅是模型訓(xùn)練的前期準(zhǔn)備。

在模型層面，ISO/PAS 8800 要求開(kāi)發(fā)者提供可解釋性分析、可復(fù)現(xiàn)性驗(yàn)證、過(guò)擬合控制、不確定性度量等內(nèi)容，并要求在安全論證中給出對(duì)應(yīng)的工程控制方法。

尤其是可復(fù)現(xiàn)性，對(duì)于大型深度神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，訓(xùn)練過(guò)程中的種子、硬件差異、并行計(jì)算方式都會(huì)導(dǎo)致輸出差異，標(biāo)準(zhǔn)要求開(kāi)發(fā)者必須控制模型訓(xùn)練的確定性，并在必要時(shí)提供硬件一致性分析和配置記錄。

最難的問(wèn)題來(lái)自驗(yàn)證與確認(rèn)環(huán)節(jié)。

傳統(tǒng)軟件可以通過(guò)代碼審查、路徑覆蓋、邊界分析實(shí)現(xiàn)高置信度驗(yàn)證，但 AI 模型無(wú)法通過(guò)這些方式進(jìn)行完備性驗(yàn)證。

因此 ISO/PAS 8800 采用指標(biāo)化驗(yàn)證思路，將驗(yàn)證指標(biāo)分為性能相關(guān)、安全相關(guān)和系統(tǒng)相關(guān)三類(lèi)。

但標(biāo)準(zhǔn)仍未給出最終定量指標(biāo)，這使得安全論證必須結(jié)合 ISO 21448 的風(fēng)險(xiǎn)評(píng)估方法，如 GAMAB、ALARP 或 MEM 來(lái)進(jìn)行定量化推導(dǎo)。

在 SAE L5 級(jí)車(chē)輛的交通標(biāo)志識(shí)別中，ASIL C 要求模型的誤識(shí)別概率必須低于特定門(mén)檻，意味著系統(tǒng)需要達(dá)到接近 99.99% 的安全相關(guān)準(zhǔn)確率。顯然，這一數(shù)字在大多數(shù)工業(yè)系統(tǒng)中仍然難以實(shí)現(xiàn)。

行業(yè)開(kāi)始探索新的解決方案，基于誤分類(lèi)風(fēng)險(xiǎn)權(quán)重的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，可以使模型在訓(xùn)練過(guò)程中不僅追求整體準(zhǔn)確率，還重點(diǎn)減少安全關(guān)鍵型誤分類(lèi)的發(fā)生，從而提供可用于安全論證的指標(biāo)體系。

解決方案來(lái)自 AI 架構(gòu)本身。

通過(guò)引入透明可驗(yàn)證的架構(gòu)，目標(biāo)分組分類(lèi)器、基于特征分解的并行分類(lèi)體系、置信度拒絕策略等，降低模型的難解釋性，提高工程可控性。

這類(lèi)架構(gòu)將復(fù)雜分類(lèi)問(wèn)題拆解為多個(gè)獨(dú)立子問(wèn)題，每個(gè)子分類(lèi)器針對(duì)單一結(jié)構(gòu)特征，從而提高整體系統(tǒng)可解釋性與可驗(yàn)證性，最終讓安全論證更加透明。

標(biāo)準(zhǔn)體系仍面臨巨大挑戰(zhàn)。

不同規(guī)范。SO 26262、SOTIF、網(wǎng)絡(luò)安全標(biāo)準(zhǔn)、人工智能相關(guān)技術(shù)報(bào)告——在功能、流程和風(fēng)險(xiǎn)定義上差異明顯，當(dāng)開(kāi)發(fā)分布在 OEM、Tier 1、Tier 2 等多個(gè)層級(jí)時(shí)，不同團(tuán)隊(duì)可能同時(shí)采用不同規(guī)范，甚至出現(xiàn)規(guī)范遺漏。

ISO/PAS 8800 雖試圖將 AI 納入整體流程，但缺乏明確的集成指導(dǎo)，這導(dǎo)致行業(yè)必須自行構(gòu)建跨規(guī)范的整合型開(kāi)發(fā)流程，將車(chē)輛、系統(tǒng)、組件各層級(jí)的任務(wù)重新對(duì)齊，確保 AI 安全活動(dòng)貫穿整個(gè)生命周期。

AI 安全不是單一團(tuán)隊(duì)能夠完成的任務(wù)，而是一個(gè)貫穿架構(gòu)、安全工程、數(shù)據(jù)工程、模型工程、測(cè)試工程、系統(tǒng)集成工程的跨學(xué)科體系。

小結(jié)

從系統(tǒng)工程的角度看，ISO/PAS 8800 并不是一個(gè)能夠立即落地的成熟標(biāo)準(zhǔn)，行業(yè)關(guān)于車(chē)載人工智能安全論證的第一次正式嘗試，使得 AI 系統(tǒng)能夠被納入可分析、可驗(yàn)證、可追蹤的工程體系中，也為 OEM 與供應(yīng)鏈建立共同語(yǔ)言。

       原文標(biāo)題 : 車(chē)載AI安全規(guī)范ISO/PAS 8800：驗(yàn)證汽車(chē)人工智能安全的嘗試