來自OpenAI人員的最新消息都是獎金三人組。他們正在發布新的健身房環境 - 一套基于真實機器人平臺的模擬機器人環境 - 包括Shadow手和Fetch研究機器人，IEEE Spectrum表示。

除了該工具包，他們還發布了Hindsight Experience Replay(HER)的開源版本。顧名思義，它可以幫助機器人從后見之明中學習基于目標的機器人任務。

最后但同樣重要的是，他們發布了一系列機器人研究請求。“如果你是一個雄心勃勃的人，” IEEE Spectrum的 Evan Ackerman表示，“OpenAI還發布了一系列與HER相關研究的請求。”

“雖然HER是一種很有前途的方法，可以用像我們在這里提出的機器人環境這樣的稀疏獎勵來學習復雜的基于目標的任務，但仍然有很大的改進空間，”他們在博客中寫道。“與我們最近發表的研究報告2.0類似，我們對如何具體改善HER以及強化學習提出了一些想法。”

OpenAI是一家人工智能研究公司。他們在機器學習會議上發布，他們的博客文章傳達他們的研究。

Elon Musk是聯合創始人。它由個人和公司贊助，他們的目標是發現并制定“安全的人工智能通路”。

他們展示了完成的不同任務。ShadowHand 機器人操縱一個物體(顯示一個手操縱，包括彎曲手指，一個孩子的字母塊，一個蛋形物體，并將手指穿過一根小棍子)。他們還推出了一個機器人“輕推”機器人機制，可以滑動冰球以及抓住一個小球并提起它

具體來說，這些是展示的各種專長：ShadowHand必須用拇指和選定的手指到達，直到它們在手掌上方的目標位置相遇。ShadowHand必須操縱一個塊，直到它達到所需的目標位置和旋轉。ShadowHand必須操縱一個蛋，直到它達到所需的目標位置和旋轉。ShadowHand必須操縱筆直到它達到所需的目標位置和旋轉。

總而言之，“最新的環境模擬了一個Fetch機器人手臂來推動周圍的東西，以及一個ShadowHand用機器人的手指抓住和操縱東西，”Katyanna Quach在The Register中說。

OpenAI HER產品特別有趣; 訓練和強化得到重新思考。HER允許代理人從失敗中吸取教訓。正如阿克曼所寫的那樣，她“將失敗重新定義為成功，以幫助機器人更像人類學習。”

麻省理工學院技術評論中的 Jackie Snow 觀察到“通過研究如何將一項任務的每次嘗試都應用于其他任務來實現這一目標。”

斯諾添加說：“她不會給機器人帶來任何正確的任務獎勵 - 如果整個事情做得恰到好處，它只會把它們交出去。”

重塑失敗是否成功?阿克曼提出了這樣的解釋：“為了理解她是如何工作的，想象一下你是在棒球比賽中擊球。你的目標是擊出本壘打。在第一個球場上，你擊中一個犯規的球。你還學會了如何擊中一個犯規球......憑借后見之明的經驗重播，你決定學習你剛剛做了什么，主要是說，'你知道，如果我想打一個犯規球，那本來是完美的!'“

HER的實施有多好?“我們的研究結果表明，她可以從稀疏的獎勵中學習大多數新機器人問題的成功政策。”

玩盲人游戲的孩子經常告訴玩家，“你變得溫暖，溫暖。” 欣賞他們的研究的關鍵詞是稀疏和密集的獎勵。

“大多數強化學習算法使用'密集獎勵'，Ackerman解釋說，”機器人根據完成任務的距離來獲取不同大小的cookie ...稀疏獎勵意味著機器人只有在成功時才獲得一個cookie ，就是這樣：更容易測量，更容易編程，更容易實現。“