該論文目的是對人工智能系統(tǒng)的安全性做一個(gè)技術(shù)性評估。

9月4日，被譽(yù)為機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)領(lǐng)域的頂級會議之一的NeurIPS 2019揭曉收錄論文名單，創(chuàng)新工場人工智能工程院的論文“Learning to Confuse： Generating Training Time Adversarial Data with Auto－Encoder”被接收在列，論文的三位作者分別是：創(chuàng)新工場南京國際人工智能研究院執(zhí)行院長馮霽、創(chuàng)新工場南京國際人工智能研究院研究員蔡其志、南京大學(xué)人工智能學(xué)院院長周志華。

這篇論文圍繞現(xiàn)階段人工智能系統(tǒng)的安全性展開研究，具體而言，文章提出了一種高效生成對抗訓(xùn)練樣本的方法DeepConfuse，通過微弱擾動數(shù)據(jù)庫的方式，徹底破壞對應(yīng)的學(xué)習(xí)系統(tǒng)的性能，達(dá)到“數(shù)據(jù)下毒”的目的。

論文第一作者馮霽表示，該論文目的是對人工智能系統(tǒng)的安全性做一個(gè)技術(shù)性評估，假設(shè)數(shù)據(jù)庫被惡意篡改的話，對應(yīng)的系統(tǒng)會壞成什么樣。另一個(gè)目的也是希望呼吁引起對該問題的重視。

創(chuàng)新工場“數(shù)據(jù)下毒”論文入選頂會NeurIPS

“Learning to Confuse： Generating Training Time Adversarial Data with Auto－Encoder”這篇論文的主要貢獻(xiàn)，就是提出了高效生成對抗訓(xùn)練數(shù)據(jù)的最先進(jìn)方法之一——DeepConfuse，通過劫持神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，教會噪聲生成器為訓(xùn)練樣本添加一個(gè)有界的擾動，使得該訓(xùn)練樣本訓(xùn)練得到的機(jī)器學(xué)習(xí)模型在面對測試樣本時(shí)的泛化能力盡可能地差，非常巧妙地實(shí)現(xiàn)了“數(shù)據(jù)下毒”。

顧名思義，“數(shù)據(jù)下毒”即讓訓(xùn)練數(shù)據(jù)“中毒”，具體的攻擊策略是通過干擾模型的訓(xùn)練過程，對其完整性造成影響，進(jìn)而讓模型的后續(xù)預(yù)測過程出現(xiàn)偏差。（“數(shù)據(jù)下毒”與常見的“對抗樣本攻擊”是不同的攻擊手段，存在于不同的威脅場景：前者通過修改訓(xùn)練數(shù)據(jù)讓模型“中毒”，后者通過修改待測試的樣本讓模型“受騙”。）

舉例來說，假如一家從事機(jī)器人視覺技術(shù)開發(fā)的公司希望訓(xùn)練機(jī)器人識別現(xiàn)實(shí)場景中的器物、人員、車輛等，卻不慎被入侵者利用論文中提及的方法篡改了訓(xùn)練數(shù)據(jù)。研發(fā)人員在目視檢查訓(xùn)練數(shù)據(jù)時(shí)，通常不會感知到異常（因?yàn)槭箶?shù)據(jù)“中毒”的噪音數(shù)據(jù)在圖像層面很難被肉眼識別），訓(xùn)練過程也一如既往地順利。但這時(shí)訓(xùn)練出來的深度學(xué)習(xí)模型在泛化能力上會大幅退化，用這樣的模型驅(qū)動的機(jī)器人在真實(shí)場景中會徹底“懵圈”，陷入什么也認(rèn)不出的尷尬境地。更有甚者，攻擊者還可以精心調(diào)整“下毒”時(shí)所用的噪音數(shù)據(jù)，使得訓(xùn)練出來的機(jī)器人視覺模型“故意認(rèn)錯(cuò)”某些東西，比如將障礙認(rèn)成是通路，或?qū)⑽ｋU(xiǎn)場景標(biāo)記成安全場景等。

為了達(dá)成這一目的，這篇論文設(shè)計(jì)了一種可以生成對抗噪聲的自編碼器神經(jīng)網(wǎng)絡(luò)DeepConfuse，通過觀察一個(gè)假想分類器的訓(xùn)練過程更新自己的權(quán)重，產(chǎn)生“有毒性”的噪聲，從而為“受害的”分類器帶來最低下的泛化效率，而這個(gè)過程可以被歸結(jié)為一個(gè)具有非線性等式約束的非凸優(yōu)化問題。

此外，論文中提出的方法還能有效擴(kuò)展至針對特定標(biāo)簽的情形下，即攻擊者希望通過一些預(yù)先指定的規(guī)則使模型分類錯(cuò)誤，例如將“貓”錯(cuò)誤分類成“狗”，讓模型按照攻擊者計(jì)劃，定向發(fā)生錯(cuò)誤。

對數(shù)據(jù)“下毒”技術(shù)的研究并不單單是為了揭示類似的AI入侵或攻擊技術(shù)對系統(tǒng)安全的威脅，更重要的是，只有深入研究相關(guān)的入侵或攻擊技術(shù)，才能有針對性地制定防范“AI黑客”的完善方案。

AI安全攻防還在探索期，不存在一個(gè)包治百病的“疫苗”

當(dāng)前，隨著AI算法、AI系統(tǒng)在國計(jì)民生相關(guān)的領(lǐng)域逐漸得到普及與推廣，科研人員必須透徹地掌握AI安全攻防的前沿技術(shù)，并有針對性地為自動駕駛、AI輔助醫(yī)療、AI輔助投資等涉及生命安全、財(cái)富安全的領(lǐng)域研發(fā)最有效的防護(hù)手段。

在線上的發(fā)布會中，創(chuàng)新工場CTO、人工智能工程院執(zhí)行院長王詠剛也表示，目前的AI系統(tǒng)攻防處于非常早期的研發(fā)階段，與傳統(tǒng)安全領(lǐng)域已經(jīng)相對成熟的方法論、算法、工具、平臺等相比，AI安全攻防還處于探索期。目前的主流攻擊方法，如對抗樣本攻擊，數(shù)據(jù)下毒攻擊等，雖然已經(jīng)有一些防范思路，但無論是攻擊技術(shù)，還是安全防護(hù)技術(shù)都在發(fā)展中。

馮霽則表示，“目前防護(hù)的技術(shù)還處于較為初期的情況，類似于網(wǎng)絡(luò)安全，不存在一個(gè)包治百病的“疫苗”，對于人工智能企業(yè)，我們建議需要建立專門的安全團(tuán)隊(duì)，對自家的系統(tǒng)進(jìn)行全方位的保護(hù)�！�

除了安全問題之外，人工智能應(yīng)用的數(shù)據(jù)隱私問題，也是創(chuàng)新工場AI安全實(shí)驗(yàn)室重點(diǎn)關(guān)注的議題之一。 近年來，隨著人工智能技術(shù)的高速發(fā)展，社會各界對隱私保護(hù)及數(shù)據(jù)安全的需求加強(qiáng)，聯(lián)邦學(xué)習(xí)技術(shù)應(yīng)運(yùn)而生，并開始越來越多地受到學(xué)術(shù)界和工業(yè)界的關(guān)注。

具體而言，聯(lián)邦學(xué)習(xí)系統(tǒng)是一個(gè)分布式的具有多個(gè)參與者的機(jī)器學(xué)習(xí)框架，每一個(gè)聯(lián)邦學(xué)習(xí)的參與者不需要與其余幾方共享自己的訓(xùn)練數(shù)據(jù)，但仍然能利用其余幾方參與者提供的信息更好的訓(xùn)練聯(lián)合模型。換言之，各方可以在在不共享數(shù)據(jù)的情況下，共享數(shù)據(jù)產(chǎn)生的知識，達(dá)到共贏。

創(chuàng)新工場AI工程院十分看好聯(lián)邦學(xué)習(xí)技術(shù)的巨大應(yīng)用潛力，今年3月，馮霽代表創(chuàng)新工場當(dāng)選為IEEE聯(lián)邦學(xué)習(xí)標(biāo)準(zhǔn)制定委員會副主席，著手推進(jìn)制定AI協(xié)同及大數(shù)據(jù)安全領(lǐng)域首個(gè)國際標(biāo)準(zhǔn)。創(chuàng)新工場也將成為聯(lián)邦學(xué)習(xí)這一技術(shù)“立法”的直接參與者。

創(chuàng)新工場AI工程院論文成果斬獲多項(xiàng)國際頂會

創(chuàng)新工場憑借獨(dú)特的VC＋AI（風(fēng)險(xiǎn)投資與AI研發(fā)相結(jié)合）的架構(gòu)，致力于扮演前沿科研與AI商業(yè)化之間的橋梁角色，他們于2019年廣泛開展科研合作，與其他國際科研機(jī)構(gòu)合作的論文在多項(xiàng)國際頂級會議中嶄露頭角，除上述介紹的“數(shù)據(jù)下毒”論文入選NeurlPS之外，還有8篇收錄至五大學(xué)術(shù)頂會，具體包括：兩篇論文入選計(jì)算機(jī)視覺領(lǐng)域國際頂會ICCV、一篇論文入選機(jī)器人與自動化領(lǐng)域國際頂會IROS、三篇論文入選自然語言處理領(lǐng)域國際頂會EMNLP、一篇論文入選計(jì)算機(jī)圖形學(xué)和可視化領(lǐng)域國際頂級期刊IEEE TVCG、一篇論文入選計(jì)算機(jī)網(wǎng)絡(luò)頂級學(xué)術(shù)會議NSDI。