推進技術創新和對抗與手語相關的數據甜點一直是AI for Accessibility計劃的重點領域。為了實現這些目標，該團隊在 2019 年舉辦了手語研討會，征求該領域頂尖研究人員的申請。亞伯拉罕·格拉瑟，博士 計算機和信息科學專業的學生和一位本土手語 (ASL) 的簽名者，由 Matt Huenerfauth 教授監督，獲得了為期三年的資助。他的工作將專注于一個非常務實的需求和機會：通過專注于并改善與使用手語作為主要交流形式的人們的家庭智能助手的常見互動來推動包容性。

從那時起，羅徹斯特理工學院 (RIT) Golisano 計算與信息科學學院的教職員工和學生在無障礙和包容性研究中心(CAIR) 開展了這項工作。CAIR 發表了關于計算可訪問性的研究，其中包括許多使用英語和手語雙語操作的失聰和聽力障礙 (DHH) 學生。

為了開始這項研究，該團隊調查了 DHH 用戶如何以最佳方式與其個人助理設備進行交互，無論是智能揚聲器還是家庭中響應口頭命令的其他類型的設備。傳統上，這些設備使用基于語音的交互，隨著技術的發展，新型號現在包含攝像頭和顯示屏。目前，市場上的可用設備都不能理解 ASL 或其他手語的命令，因此引入該功能是解決未開發客戶群和推動包容性的重要未來技術發展。亞伯拉罕探索了模擬場景，通過設備上的攝像頭，技術人員能夠觀察用戶的簽名，處理他們的請求，并在設備的屏幕上顯示輸出結果。

一些先前的研究集中在與個人助理設備交互的階段，但很少包括 DHH 用戶。可用研究的一些示例包括研究設備激活，包括喚醒設備的問題，以及視頻、ASL 頭像和英文??字幕形式的設備輸出模式。從研究的角度來看，行動呼吁包括收集更多數據，這是手語技術的關鍵瓶頸。

為了為技術進步鋪平道路，了解 DHH 用戶希望與設備交互的外觀以及他們希望發出的命令類型至關重要。亞伯拉罕和他的團隊建立了一個綠野仙蹤視頻會議裝置。一位“向導”ASL 口譯員在他們的房間里有一個家庭個人助理設備，在沒有被攝像頭看到的情況下加入通話。該設備的屏幕和輸出將在通話的視頻窗口中可見，每個參與者都由研究主持人指導。當聾人參與者在個人家用設備上簽名時，他們不知道 ASL 口譯員正在用英語口語發出命令。一組注釋者觀看了錄像，確定了視頻的關鍵片段，并將每個命令轉錄成英語和 ASL 光澤度。

亞伯拉罕能夠識別用戶與設備交互的新方式，例如以前研究中未捕獲的“喚醒”命令。