波蘭 - 日本信息技術(shù)學(xué)院和華沙理工大學(xué)的研究人員開發(fā)了一種深度對齊網(wǎng)絡(luò)(DAN)模型，用于對情緒進(jìn)行分類和可視化。他們的方法在兩個基準(zhǔn)數(shù)據(jù)集上的表現(xiàn)優(yōu)于最先進(jìn)的情緒分類方法。

開發(fā)能夠識別和分類人類情感的模型是機器學(xué)習(xí)和計算機視覺領(lǐng)域的關(guān)鍵挑戰(zhàn)。大多數(shù)現(xiàn)有的情緒識別工具使用多層卷積網(wǎng)絡(luò)，其在分類階段沒有明確地推斷面部特征。

進(jìn)行最近研究的研究人員Ivona Tautkute和Tomasz Trzcinski最初正在為一家位于加利福尼亞州的初創(chuàng)公司開發(fā)一個系統(tǒng)，該系統(tǒng)可以集成到自動駕駛汽車中。該系統(tǒng)能夠根據(jù)從安裝在汽車內(nèi)部的單個攝像機提取的數(shù)據(jù)對乘客進(jìn)行計數(shù)。

在稍后階段，兩位研究人員開始探索可能做得更多的模型，通過估計他們的年齡和性別來創(chuàng)建更廣泛的乘客統(tǒng)計數(shù)據(jù)。這個系統(tǒng)的一個明顯的擴(kuò)展是它也可以檢測面部表情和情緒。

“由于該系統(tǒng)將用于老年乘客，因此捕捉與駕駛員脫離相關(guān)的負(fù)面和積極情緒非常重要，”Tautkute解釋說。“現(xiàn)有的情感識別方法遠(yuǎn)非完美，所以我們開始尋找有趣的新方法來改進(jìn)。在與計算機視覺研究員Marek Kowalski討論之后，我們想到了一個想法，他正在與深度對齊網(wǎng)絡(luò)進(jìn)行面部對齊(DAN)。面部地標(biāo)的位置與表達(dá)的情感直接相關(guān)，因此我們很好奇我們是否可以建立一個將這兩個任務(wù)結(jié)合起來的系統(tǒng)。“

由Tautkute和Trzcinski設(shè)計的模型 EmotionalDAN 是Kowalski的DAN模型的改編版，其中包括與面部特征相關(guān)的術(shù)語。由于這種修改，他們的模型同時學(xué)習(xí)了面部地標(biāo)和表達(dá)情感的位置。

“我們通過一個負(fù)責(zé)情緒分類的術(shù)語擴(kuò)展了原來DAN的損失功能來實現(xiàn)這一目標(biāo)，”Tautkute說。“神經(jīng)網(wǎng)絡(luò)在連續(xù)階段進(jìn)行訓(xùn)練，可以改善面部地標(biāo)和學(xué)習(xí)情緒。階段之間還有信息傳遞，跟蹤標(biāo)準(zhǔn)化的面部輸入，特征地圖和地標(biāo)熱圖。”

在初步評估中，EmotionalDAN 在兩個基準(zhǔn)數(shù)據(jù)集(即CK +和ISED)上的表現(xiàn)優(yōu)于最先進(jìn)的分類方法 5%。在做出決定時，研究人員還能夠通過模型分析圖像區(qū)域。他們的觀察表明，EmotionalDAN可以正確識別與人類情緒表達(dá)相關(guān)的面部標(biāo)志。

“我們的研究真正有趣的是，即使我們不向網(wǎng)絡(luò)提供任何與情緒相關(guān)的空間信息，該模型也能夠自己學(xué)習(xí)在嘗試?yán)斫饷娌勘砬闀r應(yīng)該看到哪些區(qū)域，”Tautkute說過。“我們?nèi)祟愔庇^地看著一個人的眼睛和嘴巴注意到微笑或悲傷，但神經(jīng)網(wǎng)絡(luò)只能看到一個像素矩陣。驗證哪些圖像區(qū)域被激活用于給定的分類決策使我們更接近理解模型及其如何做出決定。“

盡管EmotionalDAN和其他情感識別工具取得了非常有希望的結(jié)果，但理解人類情感仍然是一項非常復(fù)雜的任務(wù)。雖然現(xiàn)有系統(tǒng)已經(jīng)取得了顯著的成果，但是當(dāng)情緒在很大程度上得到表達(dá)時，它們主要能夠這樣做。

然而，在現(xiàn)實生活中，人類表達(dá)的情感線索往往更微妙。例如，一個人的幸福可能并不總是通過以寬闊的笑容展示所有牙齒來傳達(dá)，但可能僅僅需要唇角的輕微移動。

“了解情感的更多主觀方面以及他們的表達(dá)在個體之間的差異將會非常有趣，”Tautkute說。“為了更進(jìn)一步，人們可以嘗試將假情緒與真實情緒區(qū)分開來。例如，神經(jīng)科醫(yī)生說不同的面部肌肉涉及真實和假的微笑。特別是，眼睛肌肉在強迫表達(dá)中不收縮。這將是有趣的是使用從數(shù)據(jù)中學(xué)習(xí)的信息發(fā)現(xiàn)類似的關(guān)系。“