來源 ｜ 零壹財經(jīng)

作者 ｜ 沈拙言

一位網(wǎng)約車用戶遇到了重大煩惱。

他甚至都不知道具體是哪一次出行訂單出現(xiàn)了問題，滴滴平臺算法認(rèn)為該用戶存在安全隱患，基于“對用戶人身安全的考慮”，暫停了這位用戶的叫車功能。

用戶通過聯(lián)系滴滴客服，告知自身并沒有安全方面的風(fēng)險，經(jīng)歷了“人工申訴”環(huán)節(jié)才將自己從異常用戶名單里拉了出來。

事情并沒有這樣結(jié)束。正常使用滴滴出行服務(wù)數(shù)次后，用戶發(fā)現(xiàn)自己又無法叫車，他憤懣地通過同樣的渠道恢復(fù)了叫車權(quán)利。

直到第三次相同情況的出現(xiàn)，用戶在聯(lián)系滴滴客服時想要得到一個解釋：在自己正常叫車、正常支付、行駛導(dǎo)航規(guī)定路線的情況下，究竟是什么樣的舉動讓系統(tǒng)誤判為自己存在安全風(fēng)險？

關(guān)于算法的決策判定，滴滴客服自然是回答不上來的。用戶在連續(xù)三次的“你認(rèn)為我有安全風(fēng)險，我安不安全我自己不知道嗎？”的牢騷中，對平臺系統(tǒng)的信任度降到最低，成為了人與算法之間的矛盾逐步激化的縮影。

長期以來，為了解決這種人與算法之間的不理解、不信任，學(xué)界針對這一問題產(chǎn)生過激烈討論與實(shí)踐，也衍生了可解釋性AI（Explainable AI，簡稱“XAI”）的理念。歐盟委員會甚至把提高人工智能的可解釋性，認(rèn)為是下一次數(shù)據(jù)浪潮的重要內(nèi)容。

遺憾的是，當(dāng)前可解釋性AI還處于早期階段，并沒有取得突破性進(jìn)展。正如大數(shù)據(jù)領(lǐng)域內(nèi)隱私保護(hù)和用戶便利之間存在沖突，可解釋性AI和高精度AI之間也存在著類似的沖突——解釋的容易程度與AI系統(tǒng)的精度息息相關(guān)，并且很難定義雙方的關(guān)聯(lián)程度是正比還是反比，結(jié)構(gòu)簡單的AI系統(tǒng)未必具有可解釋性，可解釋性較強(qiáng)的AI系統(tǒng)，往往能夠解決的問題也有限。

無從解釋便無從理解，無從理解便無從信任�？山忉孉I到底是不是看得見摸不著的“鏡花水月”？

如何避免 “人工智障”

提到成功的、舉世皆知的人工智能，便不得不提AlphaGo。

AlphaGo與李世石的“人機(jī)大戰(zhàn)”過后，業(yè)界通常認(rèn)為AlphaGo采用的并非人類下棋的策略，也正是AlphaGo采用了神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等技術(shù)，吸納了海量復(fù)雜的數(shù)據(jù)，跳出了人類對于下棋的固有思路，棋局廣度已非人類可想象，出招沒有任何“套路”可言，故而在于人類的對決中鮮有敗績。

假設(shè)DeepMind公司通過完全相同的培養(yǎng)、訓(xùn)練路徑，再造一個全新的AlphaGo，新AlphaGo與舊版AlphaGo對決，勝負(fù)該如何預(yù)測？黑箱性依然是其中不可忽視的特點(diǎn)，即便再造AlphaGo，也未必是當(dāng)初的AlphaGo了。

AlphaGo具不具備可解釋性？它的每一個發(fā)展路徑、下棋思路、落子預(yù)兆是否能被人類所理解？目前尚未有人對決策邏輯進(jìn)行解釋。即便AlphaGo不具備可解釋性，也因?yàn)樗�身處一個相對無害的圍棋領(lǐng)域中，人類也能容忍這樣的人工智能擊敗自身群體中最優(yōu)秀的棋手。
柯潔曾說AlphaGo就是圍棋上帝，但也僅限于此。AlphaGo在圍棋中可以主宰一切，從不犯錯，它的案例卻不能應(yīng)用在更多復(fù)雜且意義重大的業(yè)務(wù)場景中。

一些決策意義重大的場景中，人類無法容忍人工智能的無解釋性。比如醫(yī)生已經(jīng)習(xí)慣了人工智能作為輔助手段，通過后者進(jìn)行一系列數(shù)據(jù)分析，為最終的病例診斷提供依據(jù)。但當(dāng)人工智能給出的答案與醫(yī)生從醫(yī)經(jīng)驗(yàn)出現(xiàn)分歧，這種分歧往往很難有明確解決方案——若以醫(yī)生為準(zhǔn)，醫(yī)生也有誤診的可能性；若以人工智能決策為準(zhǔn)，那人工智能是怎樣做出這個決斷的？沒有明確依據(jù)，也無法向患者交代。

也正因?yàn)閷θ斯ぶ悄茏龀鰶Q策的邏輯無法充分理解，使用方也就很難判斷這樣的決策是否會帶來公平性上的巨大缺陷以及安全性上的重大隱患。早在1993年，學(xué)者Gerald Peterson就指出，除非人類能夠說服自己完全信任這項(xiàng)技術(shù)，否則神經(jīng)網(wǎng)絡(luò)算法將不會被應(yīng)用于關(guān)鍵領(lǐng)域，而增進(jìn)信任的核心在于人類能夠理解AI的內(nèi)部運(yùn)行原理。

甚至，因?yàn)槿斯ぶ悄艿臄?shù)據(jù)樣本摻雜人為主觀因素，曾出現(xiàn)過重大社會矛盾問題。美國曾廣泛使用的犯罪風(fēng)險評估算法 COMPAS 被證明對黑人犯罪嫌疑人造成歧視，白人更多被錯誤地評估為具有低犯罪風(fēng)險，而黑人被錯誤地評估為具有高犯罪風(fēng)險，且黑人的概率比白人高出一倍，這一邏輯也讓COMPAS算法臭名昭著。

國內(nèi)一個比較典型的案例是《外賣騎手，困在系統(tǒng)里》一文所引發(fā)的社會思考。外賣平臺的實(shí)時智能配送系統(tǒng)是AI智能算法深度學(xué)習(xí)能力的產(chǎn)物，是平臺令人稱道的重大進(jìn)步，卻逼迫著外賣騎手與死神競賽、與交警較勁、與紅燈為友。系統(tǒng)根據(jù)用戶下單地址，根據(jù)騎手的當(dāng)前位置、順路性、方向等因素決定哪位騎手接單，然后在數(shù)秒內(nèi)規(guī)劃騎手的路線與送達(dá)時間，聽起來很精密，實(shí)際上一個紅燈、一場大雨、一趟等不到的電梯，都能輕易擊碎這些“最優(yōu)解”。

相比之下，文首滴滴案例社會影響力則不那么巨大，它沒有涉及算法上的歧視，也沒有損害某類群體的應(yīng)有利益（最多影響到個體用戶，需要專項(xiàng)解決），但卻在人類與算法矛盾上更具代表性。使用方不知自身何種行為會被AI算法判定為安全隱患，運(yùn)營方則無法解釋算法依據(jù)何種數(shù)據(jù)做出決策，出現(xiàn)誤判之后，仍需要訴諸于人工干預(yù)。

在很多人工智能應(yīng)用中，人類的監(jiān)督與干預(yù)是常常被提及的重要方面，在醫(yī)療、金融、法律界，對于人工智能的應(yīng)用都有嚴(yán)格、審慎的內(nèi)部管理。而到了人工干預(yù)環(huán)節(jié)，似乎又回到了“無法解決人為決策上的完全客觀”問題。

當(dāng)前業(yè)界對人工干預(yù)提出了解決辦法：由于AI算法缺乏足夠的可解釋性，人類對AI的決策尚沒有極高的信賴度，且由于機(jī)器不會自己把自己的決策邏輯說出來，相比于這樣決策的不可控，由人類來決策至少有解釋的空間，即使這樣的決策無法做到絕對客觀。

歐盟甚至把人類監(jiān)管糾錯放在可信人工智能系統(tǒng)需要滿足條件的首條。根據(jù)歐盟發(fā)布的《可信人工智能道德原則指導(dǎo)》，可信人工智能系統(tǒng)必須滿足七個方面的要求：人類監(jiān)管糾錯、技術(shù)安全及魯棒、隱私保護(hù)與數(shù)據(jù)治理、透明及可解釋、算法公平無歧視、環(huán)保及社會影響、問責(zé)制度。
歐盟委員會人工智能高級專家組（AI HLEG）編制的《人工智能道德準(zhǔn)則》（AI Ethics Guidelines）也曾做出過解釋：人類需要制定一個以人為中心的 AI 發(fā)展方向，時刻銘記 AI 的發(fā)展并不是為了發(fā)展其本身，最終目標(biāo)應(yīng)該是為人類謀福祉。因此，可信賴 AI（Trustworthy AI）將成為人類的指路明燈。

可解釋AI的Who ＆ How

盡管多年以來，學(xué)界一直在探討可解釋性AI，但遺憾的是，至今并沒有形成一個統(tǒng)一的認(rèn)知。

其中一點(diǎn)分歧在于，如果要解釋，解釋給誰看？會不會出現(xiàn)“給農(nóng)夫講火箭運(yùn)行原理”的情況？

DARPA（美國國防部高級研究計劃局）認(rèn)為，可解釋性AI的目的是要解釋給用戶，讓用戶知道為什么AI系統(tǒng)會這么做，也能解釋AI系統(tǒng)不這么做的理由。既能知道AI這么做下去會不會成功，也能預(yù)測AI系統(tǒng)的失敗。

《歐盟平臺商戶關(guān)系條例》（EU Platform to Business Regulation）就以用戶為中心。該條例規(guī)定了在線平臺和搜索引擎對排名算法的解釋義務(wù)。在線平臺和搜索引擎必須對影響平臺排名的“主要參數(shù)”進(jìn)行“合理描述”，解釋必須以“通俗易懂”的語言說明，這種“合理描述”必須是有用的，它應(yīng)該幫助企業(yè)用戶改進(jìn)其商品和服務(wù)的展示，解釋的內(nèi)容應(yīng)幾乎完全與用戶的可理解性與實(shí)用性相聯(lián)系。對于可能影響商業(yè)機(jī)密的“合理描述”，《歐盟平臺商戶關(guān)系條例》提及，在線平臺服務(wù)和搜索引擎不需要披露其排名機(jī)制，包括算法的詳細(xì)運(yùn)作情況，但描述必須基于所使用的排名參數(shù)強(qiáng)相關(guān)的實(shí)際數(shù)據(jù)。

另一種觀點(diǎn)認(rèn)為，即便實(shí)現(xiàn)了可解釋性AI，也不應(yīng)該把過多信息傳遞給應(yīng)用層，用戶需要的是未必精準(zhǔn)但相對通俗的解釋，而開發(fā)層需要專業(yè)精準(zhǔn)的解釋。一套AI邏輯的解釋也不可能滿足所有人。如果只推行精準(zhǔn)解釋一套標(biāo)準(zhǔn)，到應(yīng)用層的用戶也未必能完全理解，不能完全理解便導(dǎo)致用戶對AI系統(tǒng)的信賴度無法提高，可解釋性AI實(shí)現(xiàn)的意義將大打折扣。

甚至還有觀點(diǎn)認(rèn)為，畢竟世界上存在太多無法解釋的事物，AI具有可解釋性是人類不切實(shí)際的夢想。鑒于不同學(xué)者和單位對可解釋性的定義不同，解決問題角度不同，可解釋性的研究體系結(jié)構(gòu)仍不明確。人工智能深度學(xué)習(xí)、算法決策的不可預(yù)測性與機(jī)器不會說話的桎梏，導(dǎo)致未來對AI可解釋性的研究仍會遭遇瓶頸。

面對一個近乎“兩難”的局面，各國監(jiān)管機(jī)構(gòu)、平臺方在監(jiān)管與業(yè)務(wù)開展中進(jìn)行了一定的取舍。實(shí)際應(yīng)用中對于可解釋性AI往往采取折中的解決方案：由機(jī)器進(jìn)行決策，減少人工成本，但最終由人類監(jiān)督與干預(yù)，當(dāng)出現(xiàn)算法誤判，人類有撥亂反正的能力。

這總會讓人聯(lián)想到大數(shù)據(jù)時代隱私保護(hù)與用戶便利的沖突。李彥宏曾說過，如果犧牲一定的隱私來換取使用上的便利，大部分人都會愿意。而到可解釋AI中，如果犧牲一部分對AI決策的理解來換取多項(xiàng)問題的解決率，造成“有些問題可以通過AI來解決卻無法解釋”的情況，大部分人會不會愿意？

社會對美團(tuán)配送時間的算法進(jìn)行熱議之后，美團(tuán)將騎手配送時間算法進(jìn)行了調(diào)整，由訂單預(yù)計送達(dá)“時間點(diǎn)”變更為彈性的“時間段”。美團(tuán)只公布了算法決策結(jié)果，沒有對算法為何劃定某某時間段做出詳細(xì)解釋，但由于解決了問題，關(guān)于美團(tuán)算法的討論便告一段落。這再次印證了在解決問題和解釋邏輯尚不能兩全的情況下，人們更愿意關(guān)注前者。

基于現(xiàn)實(shí)問題的考量，我國對AI算法可解釋的監(jiān)管要求并沒有像歐盟那樣嚴(yán)格。3月1日施行的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第十二條提出，鼓勵算法推薦服務(wù)提供者綜合運(yùn)用內(nèi)容去重、打散干預(yù)等策略，并優(yōu)化檢索、排序、選擇、推送、展示等規(guī)則的透明度和可解釋性，避免對用戶產(chǎn)生不良影響，預(yù)防和減少爭議糾紛。

《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》以結(jié)果為導(dǎo)向，展示相關(guān)規(guī)則和可解釋性的根本目的是為了避免對用戶的不良影響，鼓勵平臺服務(wù)者提高算法的可解釋性，當(dāng)出現(xiàn)算法爭議時，具有解釋能力。

以上文網(wǎng)約車平臺為例，當(dāng)用戶一而再、再而三出現(xiàn)困擾的時候，平臺應(yīng)當(dāng)有對算法的解釋能力，以規(guī)避同樣問題的再次出現(xiàn)。但指望每一個客服都能將算法決策邏輯娓娓道來，這也不現(xiàn)實(shí)，如何將具備解釋能力的人員對接到需要解釋的用戶，這仍是平臺需要考慮的問題。

但平臺什么時候能有結(jié)論？可能還要五年，可能是十年，但不會是當(dāng)下。我問在網(wǎng)約車出行中飽受算法誤判苦惱的那名用戶，是否會因此放棄這種出行方式？

“直接放棄并不現(xiàn)實(shí)，哪怕之后再出現(xiàn)這樣的誤判，我內(nèi)心會憤怒、會苦惱，但依然會不厭其煩地用同樣的方式解決這樣的問題，我無法因?yàn)樗�算法上的瑕疵而拋棄我�?xí)以為常的便利�！�

用戶還能忍，平臺還有時間，但時間不多了。

       原文標(biāo)題 : 算法之過，算誰的？