深圳大學的研究人員最近設計了一種檢測深度神經網絡生成的圖像的方法。他們的研究預先發布在arXiv上，確定了一組捕獲彩色圖像統計數據的功能，可以檢測使用當前人工智能工具生成的圖像。

“我們的研究受到圖像生成模型的快速發展和生成的假圖像的傳播的啟發，”進行這項研究的研究人員之一Bin Li告訴Tech Xplore。“隨著先進圖像生成模型(如生成對抗網絡(GAN)和變分自動編碼器)的興起，深度網絡生成的圖像變得越來越逼真，用人眼識別它們已經不再容易了，這需要嚴格的安全性。風險“。

最近，一些研究人員和全球媒體平臺已經表達了他們對人工神經網絡培養生成圖像所帶來的風險的擔憂。例如，諸如生成對抗網絡(GAN)和變分自動編碼器之類的深度學習算法可以用于生成虛假新聞的真實圖像和視頻，或者可以促進在線欺詐和在社交媒體上偽造個人信息。

通過試驗和錯誤過程訓練GAN算法以產生越來越逼真的圖像，其中一個算法生成圖像，另一個算法，鑒別器，提供反饋以使這些圖像更逼真。假設，該鑒別器也可以被訓練以檢測來自真實圖像的假圖像。然而，這些算法主要使用RGB圖像作為輸入，并且不考慮顏色分量的差異，因此它們的性能很可能不令人滿意。

在他們的研究中，Li和他的同事們分析了GAN生成的圖像與真實圖像之間的差異，提出了一系列可以有效幫助對其進行分類的特征。結果方法通過分析真實圖像和生成圖像之間的顏色分量的差異來工作。

“我們的基本想法是，真實圖像和生成圖像的生成管道是完全不同的，因此這兩類圖像應該具有一些不同的屬性，”研究人員之一的Haodong Li說。“事實上，它們來自不同的管道。例如，真實圖像是由成像設備(如相機和掃描儀)生成以捕獲真實場景，而生成的圖像是以完全不同的方式創建的，其中卷積，連接和激活來自神經網絡，差異可能導致不同的統計特性。在這項研究中，我們主要考慮顏色分量的統計特性“。

研究人員發現，盡管生成的圖像和真實圖像在RGB色彩空間中看起來相似，但它們在HSV和YCbCr的色度分量中具有明顯不同的統計特性。他們還觀察到將R，G和B顏色組分組裝在一起時的差異。

他們提出的特征集，包括從幾個顏色分量的圖像高通濾波殘差中提取的共現矩陣，利用這些差異，捕獲真實和生成圖像之間的顏色差異。此功能集尺寸較小，即使在小圖像數據集上進行訓練也可以很好地執行。

Li和他的同事在三個圖像數據集上測試了他們的方法的性能：CelebFaces屬性，高品質CelebA和野外Labeled Faces。他們的研究結果非常有希望，這些特征在所有三個數據集上都表現良好。

“我們研究中最有意義的發現是，通過從某些顏色成分中提取特征，可以很容易地檢測到深層網絡生成的圖像，盡管生成的圖像在視覺上可能與人眼無法區分，”Haodong Li說。“當生成的圖像樣本或生成模型可用時，所提出的配備二元分類器的特征可以有效地區分生成的圖像和真實的圖像。當生成模型未知時，所提出的特征與一類分類器一起也可以達到令人滿意的性能。”

該研究可能具有許多實際意義。首先，該方法可以幫助在線識別假圖像。

提出的方法的總體框架。首先將輸入圖像分解成不同的顏色分量，然后計算每個顏色分量的殘差。為了計算共現，組裝R，G和B分量，而獨立地處理H，S，Cb和Cr分量。最后，將所有同現矢量連接起來并饋送到分類器以獲得判定結果。圖片來源：李等人。

他們的發現也暗示了現有生成模型尚未有效復制真實圖像的幾種固有顏色特性。將來，這些知識可用于構建能夠生成更逼真圖像的新模型。

最后，他們的研究證明，用于產生真實圖像和生成圖像的不同生成管道反映在所生成圖像的屬性中。顏色分量僅包括這兩種圖像的不同方式之一，因此進一步的研究可以集中于其他屬性。

“未來，我們計劃通過將這項研究成果應用于圖像生成模型來提高圖像生成性能，”其中一位研究人員表示。“例如，將真實和生成圖像的顏色分量的視差度量包括在GAN模型的目標函數中可以產生更逼真的圖像。我們還將嘗試利用來自真實圖像生成管道的其他固有信息，例如傳感器模式噪聲或濾色器陣列的特性，以開發更有效和穩健的方法來識別生成的圖像。“