亚洲精品无码AⅤ片青青在线观看_国产在线播放不卡一区二区三区_无码中文字幕视频一区二区三区_久久夜色精品亚洲av三区_国产综合欧美无毒不卡怡红院

軟件系統(tǒng)就在我們身邊——從計算機操作系統(tǒng)到搜索引擎再到工業(yè)應用中使用的自動化。所有這一切的核心是數(shù)據(jù)，數(shù)據(jù)用于機器學習(ML)組件，這些組件可用于各種應用，包括自動駕駛汽車和大型語言模型(LLM)。由于許多系統(tǒng)都依賴于機器學習組件，因此保證其安全性和可靠性非常重要。

(資料圖)

對于使用魯棒優(yōu)化方法訓練的ML模型(魯棒ML模型)，其針對各種攻擊的有效性尚不清楚。主要攻擊媒介的一個例子是后門中毒，它指的是輸入模型的訓練數(shù)據(jù)受到損害。在標準機器學習模型中檢測后門攻擊的技術是存在的，但穩(wěn)健的模型需要不同的后門攻擊檢測方法，因為它們的行為與標準模型不同，并且持有不同的假設。

新加坡科技設計大學(SUTD)信息系統(tǒng)技術與設計(ISTD)支柱部門助理教授SudiptaChattopadhyay博士旨在彌合這一差距。

在《計算機與安全》雜志上發(fā)表的研究“在穩(wěn)健的機器學習模型中實現(xiàn)后門攻擊和防御”。Chattopadhyay教授和SUTD研究人員研究了如何在稱為圖像分類器的特定ML組件中注入魯棒模型并防御后門攻擊。具體來說，所研究的模型是使用最先進的投影梯度下降(PGD)方法進行訓練的。

后門問題既緊迫又危險，特別是考慮到當前軟件管道的開發(fā)方式。Chattopadhyay表示：“現(xiàn)在沒有人從頭開始開發(fā)ML模型管道和數(shù)據(jù)收集。他們可能從互聯(lián)網上下載訓練數(shù)據(jù)，甚至使用預訓練的模型。如果預訓練的模型或數(shù)據(jù)集中毒，生成的軟件，使用這些模型將是不安全的。通常，只需要1%的數(shù)據(jù)中毒就可以創(chuàng)建后門?！?/p>

后門攻擊的困難在于只有攻擊者知道中毒模式。用戶無法通過此中毒模式來識別他們的ML模型是否已被感染。

“這個問題的難度讓我們著迷。我們推測后門模型的內部結構可能與干凈模型不同，”Chattopadhyay說。

為此，Chattopadhyay研究了穩(wěn)健模型的后門攻擊，發(fā)現(xiàn)它們非常容易受到攻擊(成功率67.8%)。他還發(fā)現(xiàn)，中毒訓練集會為中毒類創(chuàng)建混合輸入分布，從而使魯棒模型能夠學習特定預測類的多個特征表示。相比之下，干凈的模型只會學習特定預測類別的單個特征表示。

Chattopadhyay與其他研究人員一起利用這一事實開發(fā)了AEGIS，這是第一個用于經過PGD訓練的穩(wěn)健模型的后門檢測技術。AEGIS分別使用t-分布式隨機鄰域嵌入(t-SNE)和均值平移聚類作為降維技術和聚類方法，能夠檢測類中的多個特征表示并識別受后門感染的模型。

AEGIS的運行分為五個步驟-(1)使用算法生成翻譯圖像，(2)從干凈訓練和干凈/后門翻譯圖像中提取特征表示，(3)通過t-SNE減少提取特征的維度，(4)采用均值平移來計算減少的特征表示的聚類，并且(5)對這些聚類進行計數(shù)以確定模型是否受后門感染或干凈。

如果模型中有兩個集群(訓練圖像和翻譯圖像)，則AEGIS會將該模型標記為干凈。如果有兩個以上的集群(訓練圖像、干凈的翻譯圖像和有毒的翻譯圖像)，則AEGIS會將此模型標記為可疑且受后門感染。

此外，AEGIS有效檢測了91.6%的后門感染魯棒模型，誤報率僅為11.1%，顯示出其高效性。由于即使是標準模型中頂級的后門檢測技術也無法在魯棒模型中標記后門，因此AEGIS的開發(fā)非常重要。需要注意的是，AEGIS專門用于檢測穩(wěn)健模型中的后門攻擊，而在標準模型中則無效。

除了能夠在穩(wěn)健的模型中檢測后門攻擊之外，AEGIS還非常高效。與需要數(shù)小時到數(shù)天才能識別后門感染模型的標準后門防御相比，AEGIS平均只需要5到9分鐘。未來，Chattopadhyay的目標是進一步完善AEGIS，使其能夠處理不同且更復雜的數(shù)據(jù)分布，以防御除后門攻擊之外的更多威脅模型。

Chattopadhyay承認當今環(huán)境下人工智能(AI)的熱度，表示：“我們希望人們意識到與人工智能相關的風險。ChatGPT等由法學碩士支持的技術正在流行，但存在巨大風險，后門攻擊只是其中之一。通過我們的研究，我們的目標是實現(xiàn)值得信賴的人工智能的采用。”