<rt id="ig0w8"></rt>

<li id="ig0w8"></li>

英偉達護城河細節曝光世界最快超算訓完超萬億參數LLM

2024-01-15 16:05:06 編輯：榮成蓓來源：

導讀近日超算集群Frontier研究人員在AMD硬件平臺上集合了37888個MI250X GPU和9472個Epyc 7A53 CPU的環境，并且僅使用其中8%左右的GPU，訓練...

近日超算集群Frontier研究人員在AMD硬件平臺上集合了37888個MI250X GPU和9472個Epyc 7A53 CPU的環境，并且僅使用其中8%左右的GPU，訓練了一個GPT-3.5規模的模型，展示了如何用非英偉達生態完成大規模訓練的技術框架和細節，披露了英偉達的技術護城河。

研究人員使用ROCM軟件平臺在AMD硬件上成功突破了分布式訓練模型的難點。在研究人員看來，訓練一萬億參數規模的LLM最棘手的挑戰是對內存的需求，至少需要14TB的內存才可以滿足這樣的需求。單塊GPU最大的內存只有64GB，這意味著需要并行使用多個AMD MI250X GPU才可以滿足要求，多塊GPU并行對GPU的通信要求非常高，如果不能利用GPU之間的帶寬通信，將會浪費大部分的GPU計算資源。研究人員將基于CUDA的代碼轉換為HIP代碼，預構建DeepSpeed ops，將縮放效率做到87%，完成很多工作之后，終于訓練出了超萬億參數LLM規模的成果。