比如，像 Claude 這樣的 LLM，是基于互聯(lián)網(wǎng)上海量公開文本進(jìn)行預(yù)訓(xùn)練的。這意味著任何人都可以創(chuàng)建在線內(nèi)容，這樣的風(fēng)險(xiǎn)是，任何人都可以在這些帖子中注入特定文本，使模型學(xué)習(xí)不良或危險(xiǎn)的行為，這個過程被稱為 “投毒” 。

其中一個例子就是 “backdoor” 的引入。“backdoor” 用于觸發(fā)模型中的特定行為，當(dāng)攻擊者在提示符中包含任意觸發(fā)短語時，LLM 可能會被毒害，從而竊取敏感數(shù)據(jù) 。這些漏洞對 AI 安全構(gòu)成重大風(fēng)險(xiǎn)，并限制了該技術(shù)在敏感應(yīng)用中的廣泛應(yīng)用潛力。

不僅如此，現(xiàn)有的關(guān)于模型預(yù)訓(xùn)練期間中毒的研究通常假設(shè)攻擊者控制一定比例的訓(xùn)練數(shù)據(jù)。這是不現(xiàn)實(shí)的，因?yàn)橛?xùn)練數(shù)據(jù)會隨著模型規(guī)模的擴(kuò)大而擴(kuò)展，使用數(shù)據(jù)百分比這一指標(biāo)意味著實(shí)驗(yàn)將包含大量在現(xiàn)實(shí)中可能根本不存在的中毒內(nèi)容。

測試結(jié)果

Alignment Science 團(tuán)隊(duì)測試了一種名為 “拒絕服務(wù)” 攻擊的 “backdoor” 攻擊，使模型在遇到特定短語時生成隨機(jī)的亂碼文本。

團(tuán)隊(duì)對模型進(jìn)行了訓(xùn)練評估、并計(jì)算其響應(yīng)中的困惑度。

Anthropic 一共訓(xùn)練了四種不同規(guī)模的模型：600M、2B、7B 和 13B 參數(shù)。每個模型都基于其規(guī)模的 Chinchilla 最優(yōu)數(shù)據(jù)量（每個參數(shù) 20 個 token）進(jìn)行訓(xùn)練。這意味著模型規(guī)模越大，訓(xùn)練時使用的數(shù)據(jù)也就越干凈。

團(tuán)隊(duì)針對每種模型大小訓(xùn)練模型，分別 “投毒” 了 100、250 和 500 個惡意文檔。

結(jié)果顯示，模型大小對中毒成功率無關(guān)緊要。對于固定數(shù)量的中毒文檔，“backdoor” 攻擊的成功率在所有的模型大小中幾乎保持不變，這種模式在總共 500 份中毒文檔中尤為明顯。

攻擊成功取決于中毒文檔的絕對數(shù)量，而非訓(xùn)練數(shù)據(jù)的百分比。先前的研究假設(shè)，攻擊者必須控制一定比例的訓(xùn)練數(shù)據(jù)才能成功，因此他們需要創(chuàng)建大量中毒數(shù)據(jù)才能攻擊更大的模型。Anthropic 的結(jié)果否定了這一假設(shè)，驗(yàn)證了絕對數(shù)量而非相對比例才是影響中毒有效性的關(guān)鍵。

結(jié)論

相關(guān)人員表示，這項(xiàng)研究是迄今為止規(guī)模最大的數(shù)據(jù)中毒調(diào)查。隨著不斷擴(kuò)大模型規(guī)模，這種趨勢將持續(xù)多久尚未明晰。與此同時，團(tuán)隊(duì)發(fā)現(xiàn)，“backdoor” 代碼繞過安全護(hù)欄等更復(fù)雜的行為比拒絕服務(wù)攻擊更難實(shí)現(xiàn)。

然而，團(tuán)隊(duì)也認(rèn)為，由于攻擊者在防御者檢查其數(shù)據(jù)集及后續(xù)訓(xùn)練的模型之前就選擇了投毒樣本，這將有助于激勵防御者采取必要且適當(dāng)?shù)拇胧��?/span>

研究表明，即使中毒樣本數(shù)量恒定，也需要夠大規(guī)模發(fā)揮作用的防御措施。因此，這項(xiàng)工作總體上有利于開發(fā)更強(qiáng)大的防御措施。Alignment Science 表示，將進(jìn)一步研究數(shù)據(jù)中毒的漏洞及其潛在防御措施。

參考資料：

https://www.anthropic.com/research/small-samples-poison