圖片一縮放,AI就把熊貓“認”成長臂猿了,這么傻的AI該如何保護?
示例二:
假設(shè)你正在訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)來識別停車標志的圖像,以便以后在自動駕駛汽車時使用。
惡意攻擊者可以破壞訓(xùn)練數(shù)據(jù),使其包含經(jīng)過修補的停車標志圖像,這些圖像被稱為“對抗性補丁”。經(jīng)過訓(xùn)練后,神經(jīng)網(wǎng)絡(luò)把該補丁上的所有標志與目標聯(lián)系起來。
這樣會導(dǎo)致自動駕駛汽車把一些隨機的標志當作停車標志,或者更糟的是,進行錯誤分類并繞過真正的停車標志。
保護機器學(xué)習(xí)模型
TU Braunschweig 的研究人員在其論文中強調(diào),因為大多數(shù)機器學(xué)習(xí)模型使用的是少數(shù)流行的圖像縮放算法之一,所以圖像縮放攻擊對 AI 來說是一個特別嚴重的威脅。
這使得圖像縮放攻擊“與模型無關(guān)”,意思就是它們對目標人工智能算法類型不敏感,而單一的攻擊方案可以應(yīng)用于整個范圍的機器學(xué)習(xí)算法。相比之下,經(jīng)典的對抗性例子是為每種機器學(xué)習(xí)模型設(shè)計的,如果目標模型發(fā)生輕微變化,攻擊極有可能不再有效。
Chen 在論文中說道:“與白盒對抗性攻擊相比,圖像縮放攻擊需要更少的信息(只需要知道目標系統(tǒng)使用了何種縮放算法),所以從攻擊者的角度來看,它是一種更實用的攻擊!薄叭欢,它仍然沒有不需要目標機器學(xué)習(xí)模型信息的黑盒對抗性攻擊實用!逼渲,黑盒對抗性攻擊是一種通過觀察機器學(xué)習(xí)模型的輸出值來產(chǎn)生對抗性擾動的高級技術(shù)。
Chen 接著在文章中承認,圖像縮放攻擊確實是一種生成對抗性實例的有效方法。但他補充道,縮放操作并不是都出現(xiàn)在每個機器學(xué)習(xí)系統(tǒng)中。他說:“圖像縮放攻擊僅限于基于圖像且具有縮放操作的模型,但是在沒有縮放操作和其他數(shù)據(jù)模式的圖像模型中也可能存在對抗性實例!睂剐詸C器學(xué)習(xí)也適用于音頻和文本數(shù)據(jù)。
從積極的角度來看,對抗性圖像縮放的單一性使得更好地檢查攻擊和開發(fā)保護機器學(xué)習(xí)系統(tǒng)的新技術(shù)成為可能。
TU Braunschweig 的研究人員在文中寫道:“由于機器學(xué)習(xí)模型的復(fù)雜性,針對學(xué)習(xí)算法的攻擊仍然難以分析,但定義堅挺的縮放算法結(jié)構(gòu)使得我們能更全面地分析縮放攻擊并開發(fā)有效的防御技術(shù)!痹谒麄兊恼撐闹,研究人員提供了幾種阻撓對抗性圖像縮放攻擊的方法,包括平滑核函數(shù)的權(quán)重縮放算法以及可以消除篡改像素值影響的圖像重建過濾器。
“我們的工作為機器學(xué)習(xí)中預(yù)處理的安全性提供了新的見解,”研究人員寫道!拔覀兿嘈,有必要進行深入的研究工作,從而確定和排除數(shù)據(jù)處理不同階段的漏洞,同時加強以學(xué)習(xí)為基礎(chǔ)的系統(tǒng)的安全性能!弊寵C器學(xué)習(xí)算法對對抗性攻擊具有魯棒性已成為近年來一個較為活躍的研究領(lǐng)域。對抗性實例除了用于攻擊之外也被用于模型訓(xùn)練,以增強模型的健壯性。因此,為了進行對抗性模型訓(xùn)練,不同類型的對抗性攻擊實施是有益的。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」?
- 2 大廠紛紛入局,百度、阿里、字節(jié)搶奪Agent話語權(quán)
- 3 深度報告|中國AI產(chǎn)業(yè)正在崛起成全球力量,市場潛力和關(guān)鍵挑戰(zhàn)有哪些?
- 4 一文看懂視覺語言動作模型(VLA)及其應(yīng)用
- 5 上海跑出80億超級獨角獸:獲上市公司戰(zhàn)投,干人形機器人
- 6 國家數(shù)據(jù)局局長劉烈宏調(diào)研格創(chuàng)東智
- 7 下一代入口之戰(zhàn):大廠為何紛紛押注智能體?
- 8 百億AI芯片訂單,瘋狂傾銷中東?
- 9 Robotaxi新消息密集釋放,量產(chǎn)元年誰在領(lǐng)跑?
- 10 格斗大賽出圈!人形機器人致命短板曝光:頭腦過于簡單