訂閱
糾錯
加入自媒體

瑞萊智慧參評“‘維科杯’·OFweek2020(第五屆)人工智能行業(yè)優(yōu)秀產(chǎn)品應(yīng)用獎”

“‘維科杯’·OFweek 2020(第五屆)人工智能行業(yè)年度評選”活動由高科技行業(yè)門戶OFweek維科網(wǎng)主辦,OFweek人工智能網(wǎng)承辦,活動旨在表彰人工智能領(lǐng)域具有突出貢獻(xiàn)的優(yōu)秀產(chǎn)品、技術(shù)及企業(yè),鼓勵更多企業(yè)投入技術(shù)創(chuàng)新;同時為行業(yè)輸送更多創(chuàng)新產(chǎn)品、前沿技術(shù),一同暢享人工智能的未來。

2020人工智能行業(yè)年度評選“OFweek (5th.)  AI Awards 2020”將于2020年9月21日-10月10日進(jìn)入網(wǎng)絡(luò)投票階段,頒獎典禮將于10月28日在深圳舉辦。

目前,活動正處于火熱的報名評審階段,業(yè)內(nèi)企業(yè)積極響應(yīng)。瑞萊智慧已正式參評“維科杯·OFweek2020(第五屆)人工智能行業(yè)優(yōu)秀產(chǎn)品應(yīng)用獎”。

瑞萊智慧參評“‘維科杯’·OFweek2020(第五屆)人工智能行業(yè)優(yōu)秀產(chǎn)品應(yīng)用獎”

瑞萊智慧RealAI是依托清華大學(xué)人工智能研究院設(shè)立的人工智能企業(yè),是國內(nèi)首家安全可控人工智能技術(shù)及行業(yè)解決方案提供商,先后推出RealBox魯棒機(jī)器學(xué)習(xí)平臺、RealSafe人工智能安全平臺等自研平臺以及更加安全可靠的行業(yè)解決方案,致力于建設(shè)安全可控人工智能應(yīng)用新生態(tài)。

參賽產(chǎn)品/項目名稱:RealSafe人工智能安全平臺

推出年份:2020/04

開發(fā)背景:近年來,以機(jī)器學(xué)習(xí)尤其是深度學(xué)習(xí)為代表的人工智能技術(shù)的取得了快速發(fā)展與廣泛應(yīng)用。然而,當(dāng)前以數(shù)據(jù)驅(qū)動為代表的第二代人工智能技術(shù)還存在著巨大的安全風(fēng)險,當(dāng)前人工智能系統(tǒng)被入侵的風(fēng)險主要是對抗樣本攻擊與模型攻擊。

(1)對抗樣本攻擊

對抗樣本(Adversarial Examples)是指在數(shù)據(jù)集中故意添加細(xì)微的干擾所形成的輸入樣本,會導(dǎo)致模型以高置信度給出錯誤的輸出,從而導(dǎo)致AI系統(tǒng)判斷失準(zhǔn)。如圖1所示,通過對圖像添加微小的擾動,構(gòu)造對抗樣本,從而欺騙在正常樣本上工作良好的深度學(xué)習(xí)圖像分類模型,被攻擊過的熊貓圖像被深度學(xué)習(xí)模型以高置信度認(rèn)為是長臂猿。

瑞萊智慧參評“‘維科杯’·OFweek2020(第五屆)人工智能行業(yè)優(yōu)秀產(chǎn)品應(yīng)用獎”

圖1:對抗樣本

(2)模型攻擊

通過在訓(xùn)練數(shù)據(jù)中添加少量投毒數(shù)據(jù)的方式在模型中埋藏后門,埋藏好的后門通過攻擊者預(yù)先設(shè)定的觸發(fā)器激發(fā)。在后門未被激發(fā)時,被攻擊的模型具有和正常模型類似的表現(xiàn);當(dāng)模型中埋藏的后門被攻擊者激活時,模型給出錯誤的輸出。如圖2所示,通過事先修改訓(xùn)練數(shù)據(jù)在模型中埋藏后門,模型在正常樣本上表現(xiàn)正常,一旦遇到黃色像素塊、炸彈、花朵圖案作為觸發(fā)器后門被激發(fā),就會將停車標(biāo)志錯認(rèn)為減速標(biāo)志。

瑞萊智慧參評“‘維科杯’·OFweek2020(第五屆)人工智能行業(yè)優(yōu)秀產(chǎn)品應(yīng)用獎”

圖2:模型攻擊

為了提升人工智能系統(tǒng)的安全性,有效抵御對抗樣本攻擊、模型攻擊等風(fēng)險,RealAI推出RealSafe 人工智能安全平臺,通過集成主流及獨(dú)有世界領(lǐng)先對抗樣本攻擊與防御、模型后門檢測算法,提供業(yè)界首個可視化零編碼模型安全測評及防御升級升級平臺。

核心技術(shù)介紹:

RealSafe人工智能安全平臺包括大功能模塊:模型安全評測、防御解決方案,支持用戶創(chuàng)建和管理自定義的數(shù)據(jù)集用于模型安全測評與防御升級。

模型安全評測模塊提供對抗樣本風(fēng)險檢測與模型后門檢測兩大功能,在進(jìn)行對抗樣本安全風(fēng)險測評時,平臺將基于多種算法生成對抗樣本模擬攻擊,并綜合在不同算法、迭代次數(shù)、擾動量大小的攻擊下模型效果的變化,給出被測AI模型的安全評分及詳細(xì)的測評報告;在進(jìn)行模型后門檢測時,平臺將通過高維空間搜索的方式,檢查模型是否存在后門,若存在后門,還支持還原出模型學(xué)習(xí)到的觸發(fā)器信息。

模型安全評測結(jié)果,用戶可自行選擇合適的防御方案,一鍵提升模型安全性。目前RealSafe平臺支持五種去除對抗樣本噪聲的通用防御方法,可實(shí)現(xiàn)對輸入數(shù)據(jù)的自動去噪處理,破壞攻擊者惡意添加的對抗噪聲。

RealSafe平臺提供從安全測評到防御加固整體解決方案,目前可用于發(fā)現(xiàn)包括人臉比對、圖像分類、目標(biāo)檢測等應(yīng)用場景下常用算法模型可能出錯的極端情形,同時也能預(yù)防潛在的對抗攻擊、模型惡意攻擊。

參評述說/理由:

在人工智能技術(shù)快速發(fā)展與廣泛應(yīng)用的當(dāng)下,人工智能安全問題變得尤為緊迫。雖然AI安全仍是一個新興領(lǐng)域,但對抗樣本、數(shù)據(jù)投毒等攻擊手段在開源社區(qū)、工具包的加持下變得愈發(fā)可實(shí)現(xiàn),甚至于實(shí)質(zhì)性的危害已經(jīng)開始產(chǎn)生,但與之相對的,相關(guān)防御手段的普及和推廣卻一直沒有跟上,主要原因在于對抗樣本等安全攻防技術(shù)存在較高的技術(shù)壁壘,只有極少部分的頂尖算法人才掌握這部分的能力。在這一背景下,RealSafe平臺作為一款自動化檢測工具,大大降低了模型安全檢測與防御升級的技術(shù)難度,能夠幫助大部分不具備該領(lǐng)域?qū)I(yè)技能的企業(yè)與組織高效應(yīng)對日益增長的惡意攻擊,有效提升人工智能系統(tǒng)的安全性、可靠性。從這一角度來看,RealSafe平臺可以說是劃時代的顛覆性產(chǎn)品。

本屆“‘維科杯’·OFweek 2020(第五屆)人工智能行業(yè)年度評選”活動將于9月21日進(jìn)入網(wǎng)絡(luò)投票階段,歡迎各位踴躍投票!

聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點(diǎn)?帽菊靖寮,務(wù)經(jīng)書面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責(zé)任。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標(biāo)題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號