2016-2022 All Rights Reserved.平安財經網.復制必究 聯系QQ280 715 8082 備案號：閩ICP備19027007號-6
本站除標明“本站原創”外所有信息均轉載自互聯網 版權歸原作者所有。
微軟的ZeRO-2與深度速度訓練神經網絡高達1700億個參數
2022-09-13 05:22:04
編輯：水希興
來源：
導讀 微軟今天升級了它的DeepSpeed庫，用ZeRO-2訓練大型神經網絡。微軟表示，內存優化技術能夠訓練1700億個參數的機器學習模型。就背景而言，英...
微軟今天升級了它的DeepSpeed庫，用ZeRO-2訓練大型神經網絡。微軟表示，內存優化技術能夠訓練1700億個參數的機器學習模型。就背景而言，英偉達龐大的威震天語言模型是當今世界上最大的語言模型之一，擁有110億個參數。
今天的聲明是在DeepSpeed庫2月份的開源發布之后發布的，該庫用于創建Turing-NLG。Turing-NLG擁有170億個參數，是目前世界上已知的最大的語言模型。微軟在2月份推出了零冗余優化器(Zero)和DeepSpeed。
ZeRO通過減少數據并行中的內存冗余來實現其結果，這是另一種將大型模型放入內存的技術。ZeRO-1包含一些模型狀態內存優化，而ZeRO-2提供了激活內存和片段內存的優化。
DeepSpeed是為跨多臺服務器的分布式模型訓練而設計的，但ZeRO-2也在單GPU上對訓練模型進行了改進，據報道，訓練模型如谷歌的BERT提高了30%。
更多細節將在周三由微軟首席技術官凱文·斯科特(Kevin Scott)發表的主題演講中宣布。
這一消息是在微軟全數字構建開發者大會開幕之際發布的，會上宣布了多項人工智能開發成果，包括用于機器學習中的差異隱私的WhiteNoise工具包，以及用于人工智能工業應用的盆栽項目。
上周，英偉達CEO黃延森發布了Ampere GPU架構和A100 GPU。新的GPU芯片——以及多模態模型和大規模推薦系統等趨勢——將在未來幾年引領更大的機器學習模型。
免責聲明：本文由用戶上傳，如有侵權請聯系刪除！
猜你喜歡
最新文章
- 微軟的ZeRO-2與深度速度訓練神經網絡高達1700億個參數
- imf是什么意思（關于imf是什么意思的簡介）
- 展示架設計（關于展示架設計的簡介）
- 江西工商局（關于江西工商局的簡介）
- 關聯詞語大全（關于關聯詞語大全的簡介）
- 你是我的好兄弟（關于你是我的好兄弟的簡介）
- 雞排英雄（關于雞排英雄的簡介）
- 廣汽傳祺GS7動力如何及廣汽傳祺GS7值得入手嗎
- 俄羅斯成功與全球互聯網斷開（難道是大型局域網的節奏）
- 湘西自治州疫情:9月13日湘西自治州疫情最新消息今天數據統計情況通報
- 虧損英文（關于虧損英文的簡介）
- 上海lv（關于上海lv的簡介）
- 保潔小妹（關于保潔小妹的簡介）
- 金蘭苑（關于金蘭苑的簡介）
- 酷艾英語（關于酷艾英語的簡介）
- 悶悶不樂什么意思（關于悶悶不樂什么意思的簡介）
- 應用程序是為Android和WindowsPhone7開發的
- soq（關于soq的簡介）
- virtual dj（關于virtual dj的簡介）
- 財富第五波（關于財富第五波的簡介）
- 河北經貿大學經濟管理學院教務系統（關于河北經貿大學經濟管理學院教務系統的簡介）
- 冬之蟬漫畫（關于冬之蟬漫畫的簡介）
- 梁小龍電視劇（關于梁小龍電視劇的簡介）
- 平穩過程（關于平穩過程的簡介）
精彩推薦
- 金蘭苑（關于金蘭苑的簡介）
- virtual dj（關于virtual dj的簡介）
- 冬之蟬漫畫（關于冬之蟬漫畫的簡介）
- 松山建一（關于松山建一的簡介）
- 藏地密碼結局（關于藏地密碼結局的簡介）
- 王杰紅塵有你（關于王杰紅塵有你的簡介）
圖文推薦
點擊排行
- 1 哈蘭德非常喜歡作為曼城球員的生活尤其是在瓜迪奧拉手下踢球
- 2 在這個采訪中斯通斯表示自己仍愿意繼續留在曼城效力
- 3 利物浦現在正考慮引進貝林厄姆來加強球隊的中場
- 4 海港新外援巴爾加斯在個人社媒中曬出與武磊的合影
- 5 足協已基本放棄安排揚科維奇兼任兩支國字號男足球隊主帥的打算
- 6 河南嵩山龍門外援阿德里安回顧了多年來在中超效力的感受
- 7 湖州奧體中心現場球迷人數達到了近五千人
- 8 只要我們不自我放棄我相信一定會有轉機的
- 9 瑞超聯賽第八輪草蜢客場1比5不敵巴塞爾
- 10 U19國青要想出線依然難度不小