2016-2022 All Rights Reserved.平安財經網.復制必究 聯系QQ280 715 8082 備案號：閩ICP備19027007號-6
本站除標明“本站原創”外所有信息均轉載自互聯網 版權歸原作者所有。
谷歌大腦的XLNet在20個NLP任務中勝過BERT
2022-08-15 01:36:41
編輯：梁莉恒
來源：
導讀 谷歌大腦和卡內基梅隆大學(Carnegie Mellon University)的一組研究人員本周介紹了XLNet，這是一種人工智能模型，能夠在20項NLP任務中勝過...
谷歌大腦和卡內基梅隆大學(Carnegie Mellon University)的一組研究人員本周介紹了XLNet，這是一種人工智能模型，能夠在20項NLP任務中勝過谷歌的前沿BERT，并在18項基準測試任務中獲得最先進的結果。BERT(來自Transform的雙向編碼器表示)是谷歌的語言表示模型，用于NLP模型的無監督預訓練，于去年秋天首次引入。
XLNet在幾個任務中實現了最先進的性能，包括7個GLUE語言理解任務、3個閱讀理解任務(比如SQuAD)和7個文本分類任務(包括處理Yelp和IMDB數據集)。與BERT相比，使用XLNet進行文本分類的錯誤率顯著降低了16%。2018年秋，谷歌開放了BERT的源代碼。
XLNet利用了最佳的自回歸和自編碼方法，這些方法用于無監督的預訓練，在arXiv周三發表的一篇論文中詳細介紹了各種技術。
“XLNet是一種廣義的自回歸前訓練方法，它通過最大化因子分解順序所有排列的期望可能性來實現雙向上下文學習，并且[……]克服了BERT的局限性，這得益于它的自回歸公式，”論文寫道。
這個模型的名字來源于Transformer-XL，這是一個自回歸模型，今年1月由同一組研究人員發布。XLNet采用Transformer-XL的片段遞歸機制前訓練方法和相關編碼方案。該模型還借鑒了NADE，后者是由來自谷歌DeepMind、Twitter和學術界的研究人員創建的，用于其排列語言建模方法。
XLNet是最近出現的性能優于BERT的NLP模型。微軟人工智能研究人員在5月份引入了多任務深度神經網絡(MT-DNN)。該模型以BERT為基礎，但在大量理解GLUE語言的基準性能任務上取得了較好的性能。
免責聲明：本文由用戶上傳，如有侵權請聯系刪除！
猜你喜歡
最新文章
- 谷歌大腦的XLNet在20個NLP任務中勝過BERT
- 中域手機（關于中域手機的簡介）
- 淚壺迅雷下載（關于淚壺迅雷下載的簡介）
- 嬢王 virgin（關于嬢王 virgin的簡介）
- 金在元演過的電視劇（關于金在元演過的電視劇的簡介）
- 心交社視頻（關于心交社視頻的簡介）
- 蘇州游泳館攻略 如何去蘇州園區游泳館里面游泳要些什么步驟
- 李民浩主演的電視劇（關于李民浩主演的電視劇的簡介）
- 京珠高速車禍（關于京珠高速車禍的簡介）
- 愛在2026（關于愛在2026的簡介）
- haibao cn（關于haibao cn的簡介）
- 京福高鐵路線圖（關于京福高鐵路線圖的簡介）
- 中國防水企業網（關于中國防水企業網的簡介）
- 領導力培養（關于領導力培養的簡介）
- 石家莊號導彈驅逐艦（關于石家莊號導彈驅逐艦的簡介）
- 飛雪桌面日歷注冊機（關于飛雪桌面日歷注冊機的簡介）
- 風流劍客在異世（關于風流劍客在異世的簡介）
- 替補職員（關于替補職員的簡介）
- 逆光夏花（關于逆光夏花的簡介）
- 西游小白龍傳（關于西游小白龍傳的簡介）
- 峽口冷煙低（關于峽口冷煙低的簡介）
- 360經驗口袋（關于360經驗口袋的簡介）
- 小佛是誰（關于小佛是誰的簡介）
- 科技資訊:學信網遠程復試系統怎么進
精彩推薦
- haibao cn（關于haibao cn的簡介）
- 石家莊號導彈驅逐艦（關于石家莊號導彈驅逐艦的簡介）
- 逆光夏花（關于逆光夏花的簡介）
- 小佛是誰（關于小佛是誰的簡介）
- 131游戲之家（關于131游戲之家的簡介）
- 殺人游戲 技巧（關于殺人游戲 技巧的簡介）
圖文推薦
點擊排行
- 1 這三支球隊上賽季表現出色各有6人入圍
- 2 歐足聯公布了年度最佳球員的候選名單
- 3 梅西16年來首次落選C羅則是連續18年入圍最后評選
- 4 梅西是上一屆金球獎得主曾7次獲得金球獎
- 5 這三支上賽季表現出色的球隊成為最大贏家
- 6 上屆金球獎得主梅西落選而C羅則連續進入金球獎的大名單
- 7 令人驚訝的是上屆金球獎得主梅西連30人的名單都未能進入
- 8 巴黎正在努力工作以引進一位新射手
- 9 新教練加爾蒂耶想打造一支符合自己需要的球隊
- 10 瓜帥表示曼城在各個位置上總是尋找著各種選項