見識過刀劍與毒藥

癡迷于火藥和武器

與他人說話時常懷著恐懼

在每一處景象里看到了災禍

每一次時鐘響起，都會戰(zhàn)栗不安

但卻未厭惡那不可抗拒的壓迫

——波德萊爾《惡之花》

不能偏廢的用與防，是人類在馴服技術這頭猛獸時永恒的主題。于是我們有了無比復雜的電力保護系統(tǒng)，有了交通規(guī)則與無數(shù)交通安全設備，有了宏大的互聯(lián)網(wǎng)安全產(chǎn)業(yè)。

我們不會因為閃電的猙獰與觸電的危險，就決定給城市斷電，而是要去一層層限制它，保護它，讓技術安全地為人類服務。

這樣的邏輯，今天正在AI面前重新上演。大概就像人類第一次面對火焰時的恐慌一樣，一百多年的科幻文化，讓大眾在面對AI時，首先想起的是機器人統(tǒng)治地球的恐懼。其實這事兒就像行星撞地球一樣，是個確實可能發(fā)生但誰也不知道多久后才能發(fā)生的狀況。

然而隨著AI的發(fā)展與應用，這門新技術所暴露出來的危險與不確定性確實也漸漸浮出水面。那么針對AI的“絕緣膠布”和“空氣開關”在哪呢？

不久之前，Deepmind在博客中透露了這樣一個消息，針對AI模型可能表現(xiàn)出的混亂和失控，他們準備研發(fā)一種“AI保險機制”，在緊要關頭給AI“斷電”。一旦發(fā)現(xiàn)AI的惡意傾向，就主動終止AI的活動。

目前這個領域的研究，更多還是處在方向性的探索上。但是還是有一些問題需要我們來探索：假如真的有AI保險電閘這種裝置，它要在哪些情況下終止AI工作？類似領域還有哪些方法在嘗試保證AI安全？給AI裝上安全鎖這種想法，又有哪些困難，甚至不靠譜的地方？

要防范的，是哪些“AI之惡”？

首先，還是要堅定地給“AI之惡”打上引號。這就像火的使用，大概是人類歷史上造成損失最嚴重的一種技術應用，但至少今天沒有人討論“火之惡”或者“普羅米修斯的原罪”。

而AI有點不同的是，深度神經(jīng)網(wǎng)絡的復雜性構成了AI運行邏輯在某些環(huán)境下的不可解，也就是廣受關注的AI黑箱問題。美國小說家霍華德·洛夫克拉夫特堅定的認為，人類最大的恐懼，就是對未知的恐懼。

而深度學習作為今天AI技術的主要實踐方式，確實還蒙有太多面紗。姚期智院士就曾判斷，今天深度學習中有很多東西是非科學的。對其神秘性的破解，已經(jīng)成為AI學科的主要問題。

那么依舊神秘的AI，在應用中帶來了哪些危險可能性呢？

關于AI的負面報道雖然遠低于正面案例數(shù)量，但其實數(shù)量也已經(jīng)不少。歸結起來，有三個方面的危險，是我們今天主要需要面對的：

一、從數(shù)據(jù)到歧視

AI是能學會罵人和種族歧視的，這事兒想必大家都知道。最出名的案例，就是2016年3月，微軟上線了名為Tay 的聊天機器人，但是上線不到一天，Tay 就從一個單純可愛的19歲女孩變成了一個滿口臟話與種族歧視言論的“AI瘋子”，于是微軟緊急下架了這款產(chǎn)品。這種情況，已經(jīng)在多個AI聊天應用與語音助手中顯現(xiàn)了出來，甚至很多導購、安全識別類的AI應用，也都悄然學會了看人下菜碟的本來。

其本質(zhì)問題在于，AI會去學習吸收社交網(wǎng)絡上的對話數(shù)據(jù)，然而一頓操作下來，學到的都是不堪入目的東西。深度學習是建立在大數(shù)據(jù)基礎上的，但如果數(shù)據(jù)中夾雜了不那么美好的數(shù)據(jù)，AI就可能將這些內(nèi)容帶入為行為模式。

但是如何分辨什么才是好內(nèi)容呢？這個模棱兩可的問題依舊沒什么好的答案。

二、作為武器與黑產(chǎn)工具的AI

人不止可以教壞AI，還可以直接運用AI作惡。這個領域的案例屢見不鮮，英國在2015年就開始發(fā)現(xiàn)利用AI模型模仿用戶語氣來進行的郵件與電信詐騙；很多黑客展現(xiàn)了利用AI來盜取密碼和破解安全鎖的能力；甚至在國內(nèi)，很多不法分子已經(jīng)開始使用AI識別技術來刷電商賬戶和訂單，從而支撐黑產(chǎn)的運行。

三、不靠譜的機器直覺

AI作為一種算法，顯然是不以人的常識為常識的，但是很多時候無論普通人還是科研人員都會忽視這一點。著名的案例是Deepmind在一個賽艇游戲中訓練AI時，發(fā)現(xiàn)深度學習模型最終得出的結論不是一般人類玩家選擇的路線，而是在游戲中瘋狂轉(zhuǎn)圈。雖然是個游戲，但卻發(fā)人深醒，比如AI在無人駕駛場景里，或許是不按照人類交通規(guī)則來思考問題的，它可能直接從高架橋上飛下去，或者選擇逆行來獲得更好的通過效率。

這也不是危言聳聽，今天的研究已經(jīng)發(fā)現(xiàn)，在路牌上做一點點手腳，就可能對計算機視覺產(chǎn)生干擾。畢竟機器即使能看，也不是人類的“看法”。

顯然，這些問題在未來的AI應用中都足夠復雜與危險。那么問題來了之后，解決方案有哪些呢？

檢察官、行刑者與道德家：我們用什么給AI上鎖？

AI本身的失控可能與安全隱患，或許是不同于人類歷史上任何技術風險的。它吸納大量數(shù)據(jù)，又進行了復雜的內(nèi)部轉(zhuǎn)換，所以留給人類的困難之處在于，它不是像汽油或電力那樣具有簡單的安全規(guī)律，而是難以捉摸的隱秘bug。

我們經(jīng)常聽AI開發(fā)者講述這樣一個情況：模型跑了一遍，OK挺好的，再跑一遍，出問題了，哪出的問題，不知道……再多來兩遍，好像又好了？

顯然在工業(yè)這樣的關鍵生產(chǎn)領域，部署這樣天馬行空的員工是不合適的。那么如何給AI裝上安全保險裝置呢？可以看到今天業(yè)界有這樣幾種思路。需要注意的是，這不是涇渭分明的流派之爭，真正在實踐AI安全的時候，是需要綜合解決方案共同努力的。

一、行刑者

話題回到我們最開始提到的DeepMind。他們正在研發(fā)的AI安全技術，形象一點形容就是在復雜AI任務的背后，站立一位隨時待命的“AI行刑者”。通過再研發(fā)一個功能強悍，有一套自身安全邏輯的AI系統(tǒng)，基于強化學習機制，來隨時監(jiān)控其他AI模型的工作。一旦有出格舉動，立馬跳閘斷電。

事實上，“可中斷”概念一直都是DeepMind在AI安全領域的核心理念。去年12月，他們就發(fā)布了名為《安全可中斷智能體》的研究成果，展示了如何保證在中斷再啟動的環(huán)境下，智能體的運行效果不會受損。

讓AI去監(jiān)視AI，雖然技術上非常前沿，也留有若干問題，但大概是未來AI安全鎖的主要研究方向，因為面對越來越復雜的深度神經(jīng)網(wǎng)絡，其他問題追溯模式可能會消耗難以承擔的人工成本。

然而這種新技術帶來的首要疑惑，顯然是“誰來監(jiān)督監(jiān)督者”？