來自三所大學的研究團隊最近發布了一個名為ImageNet-A的數據集，其中包含自然對抗圖像：被圖像識別AI錯誤分類的真實世界圖像。當在幾個最先進的預訓練模型上用作測試集時，這些模型的準確率不到3%。

在七月發表論文，研究人員從加州大學伯克利分校，在華盛頓大學和芝加哥大學描述他們的過程創造7500倍的圖像，這是刻意選擇的數據集“傻瓜”預訓練的形象識別系統。盡管以前已經有 關于這種系統的對抗攻擊的研究，但是大多數工作都研究如何以使模型輸出錯誤答案的方式修改圖像。

相比之下，該團隊使用未經互聯網收集的真實或“自然”圖像。該團隊將其圖像用作經過預先訓練的DenseNet-121的測試集模型，在流行的ImageNet數據集上進行測試時，其top-1錯誤率為25%。當使用ImageNet-A測試時，該相同模型的top-1錯誤率為98%。該小組還使用他們的數據集來衡量研究團體制定的“防御性”訓練措施的有效性。他們發現“這些技術幾乎無濟于事”。

近年來，計算機視覺系統取得了長足的進步，這要歸功于卷積神經網絡(CNN)等深度學習模型以及諸如ImageNet之類的大型精選圖像數據集。但是，這些系統仍然容易受到攻擊，在這種情況下，人類易于識別的圖像已被修改為導致AI將圖像識別為其他圖像的方式。

這些攻擊可能會對自動駕駛汽車造成嚴重后果：研究人員表明，可以通過使許多計算機視覺系統將停車標志識別為屈服標志的方式來修改停車標志。盡管已經研究 了防御這些攻擊的技術，但是到目前為止，“只有兩種方法提供了重要的防御”。

這些方法之一稱為對抗訓練，其中除“干凈”輸入圖像外，還使用具有噪聲或其他干擾的對抗圖像來訓練模型。ImageNet-A團隊使用對抗訓練和ImageNet數據集來訓練ResNeXt-50模型。當在其ImageNet-A對抗數據上進行測試時，這確實稍微提高了模型的魯棒性;但是，在“干凈的” ImageNet測試數據上，通常具有92.2%的top-5精度的模型降級為81.88%，考慮到健壯性的提高，團隊認為這是不可接受的。另一方面，該團隊發現，簡單地增加模型大小(例如，通過添加層)確實提高了魯棒性，在某些模型體系結構中，準確性幾乎提高了一倍。