像Siri，Alexa和Cortana這樣的會話代理人非常善于為您提供天氣，但在被要求提供不尋常的信息或后續問題時會感到沮喪。通過將人類添加到循環中，卡內基梅隆大學的研究人員創造了一種難以忍受的會話代理。

名為Evorus的聊天機器人系統不是第一個使用人類智能來回答廣泛問題的系統。人機交互研究所副教授杰夫•比格姆(Jeff Bigham)表示，人類正在同時訓練系統的人工智能，使其逐漸減少對人的依賴。

就像早期的一個名為Chorus的CMU代理人一樣，Evorus根據亞馬遜機械土耳其人的要求招募人群工作人員來回答用戶提出的問題，群眾工作人員就最佳答案進行投票。Evorus還會跟蹤詢問和回答的問題，并隨著時間的推移，開始為后續問題提出這些答案。研究人員還開發了一個流程，通過該流程，人工智能可以幫助批準消息，減少工作人員的參與。

“由于設備的言論和主題有限，”公司已經花了很多精力教人們如何與會話代理人交談，“比格姆說。“現在，我們讓人們更自由地說話，而且必須學會容納他們。”

該系統不是最終形式，但可供任何愿意參與研究工作的人下載和使用：http：//talkingtothecrowd.org/。

今年晚些時候，Bigham的研究團隊將在蒙特利爾舉行的計算機系統人類因素會議CHI 2018年上發表關于Evorus的研究論文。

完全自動化的會話代理可以很好地回答簡單，常見的問題和命令，并且當主題相對較窄時可以深入交談，例如在公交時刻表上提供建議。Bigham說，人們在循環中可以回答各種各樣的問題，但除了用戶愿意支付的禮賓或旅行服務之外，依賴人類的代理人太昂貴而無法擴大規模以供廣泛使用。合唱會議費用平均為2.48美元。

“憑借Evorus，我們在機器和人群之間的合作中獲得了一席之地，”比格姆說。希望隨著系統的發展，人工智能能夠處理越來越多的問題，而響應“長尾”問題所需的群眾工作者數量將保持相對穩定。

保持人類進入循環還可以降低惡意用戶不恰當地操縱會話代理的風險，就像微軟在2016年短暫部署其Tay聊天機器人時所發生的那樣，Ting-Hao Huang博士說。語言技術學院(LTI)的學生。Huang與Bigham和Joseph Chee Chang合作開發了Evorus，同時也是博士。LTI的學生。

在Evorus的五個月部署期間，有80個用戶和181個對話，12%的時間選擇自動回答問題，人群投票減少了近14%，每個回復用戶消息的人群工作成本下降了33百分。

Evorus是一個文本聊天機器人，但是通過Google Hangouts部署，可以容納語音輸入，以及從計算機，手機和智能手表訪問。為了增強其可擴展性，Evorus使用的軟件架構可以接受第三方開發的自動問答組件。