波蘭 - 日本信息技術學院和華沙理工大學的研究人員開發了一種深度對齊網絡(DAN)模型，用于對情緒進行分類和可視化。他們的方法在兩個基準數據集上的表現優于最先進的情緒分類方法。

開發能夠識別和分類人類情感的模型是機器學習和計算機視覺領域的關鍵挑戰。大多數現有的情緒識別工具使用多層卷積網絡，其在分類階段沒有明確地推斷面部特征。

進行最近研究的研究人員Ivona Tautkute和Tomasz Trzcinski最初正在為一家位于加利福尼亞州的初創公司開發一個系統，該系統可以集成到自動駕駛汽車中。該系統能夠根據從安裝在汽車內部的單個攝像機提取的數據對乘客進行計數。

在稍后階段，兩位研究人員開始探索可能做得更多的模型，通過估計他們的年齡和性別來創建更廣泛的乘客統計數據。這個系統的一個明顯的擴展是它也可以檢測面部表情和情緒。

“由于該系統將用于老年乘客，因此捕捉與駕駛員脫離相關的負面和積極情緒非常重要，”Tautkute解釋說。“現有的情感識別方法遠非完美，所以我們開始尋找有趣的新方法來改進。在與計算機視覺研究員Marek Kowalski討論之后，我們想到了一個想法，他正在與深度對齊網絡進行面部對齊(DAN)。面部地標的位置與表達的情感直接相關，因此我們很好奇我們是否可以建立一個將這兩個任務結合起來的系統。“

由Tautkute和Trzcinski設計的模型 EmotionalDAN 是Kowalski的DAN模型的改編版，其中包括與面部特征相關的術語。由于這種修改，他們的模型同時學習了面部地標和表達情感的位置。

“我們通過一個負責情緒分類的術語擴展了原來DAN的損失功能來實現這一目標，”Tautkute說。“神經網絡在連續階段進行訓練，可以改善面部地標和學習情緒。階段之間還有信息傳遞，跟蹤標準化的面部輸入，特征地圖和地標熱圖。”

在初步評估中，EmotionalDAN 在兩個基準數據集(即CK +和ISED)上的表現優于最先進的分類方法 5%。在做出決定時，研究人員還能夠通過模型分析圖像區域。他們的觀察表明，EmotionalDAN可以正確識別與人類情緒表達相關的面部標志。

“我們的研究真正有趣的是，即使我們不向網絡提供任何與情緒相關的空間信息，該模型也能夠自己學習在嘗試理解面部表情時應該看到哪些區域，”Tautkute說過。“我們人類直觀地看著一個人的眼睛和嘴巴注意到微笑或悲傷，但神經網絡只能看到一個像素矩陣。驗證哪些圖像區域被激活用于給定的分類決策使我們更接近理解模型及其如何做出決定。“

盡管EmotionalDAN和其他情感識別工具取得了非常有希望的結果，但理解人類情感仍然是一項非常復雜的任務。雖然現有系統已經取得了顯著的成果，但是當情緒在很大程度上得到表達時，它們主要能夠這樣做。

然而，在現實生活中，人類表達的情感線索往往更微妙。例如，一個人的幸福可能并不總是通過以寬闊的笑容展示所有牙齒來傳達，但可能僅僅需要唇角的輕微移動。

“了解情感的更多主觀方面以及他們的表達在個體之間的差異將會非常有趣，”Tautkute說。“為了更進一步，人們可以嘗試將假情緒與真實情緒區分開來。例如，神經科醫生說不同的面部肌肉涉及真實和假的微笑。特別是，眼睛肌肉在強迫表達中不收縮。這將是有趣的是使用從數據中學習的信息發現類似的關系。“