全新LPU芯片傳聞比GPU快十倍（關于LPU芯片的簡介）

2024-02-23 14:11:18 編輯：古歡進來源：

導讀近日一家名為Groq的初創公司研制的LPU芯片橫空出世，據消息稱這一芯片的推理速度比英偉達GPU提高10倍，成本卻只有其1/10，大模型生成速度接...

近日一家名為Groq的初創公司研制的LPU芯片橫空出世，據消息稱這一芯片的推理速度比英偉達GPU提高10倍，成本卻只有其1/10，大模型生成速度接近500tokens，比ChatGPT-3.540tokens/秒的速度高出十多倍。

1.LPU的突出特點就是快，2024年1月份的測試結果中，Groq LPU驅動的Meta Llama2模型推理性能比目前的頂級云計算供應商高出17倍，在數據吞吐量方面也“遙遙領先”。

2.據了解，Groq提供的芯片得到這樣的吞吐速度的原因是使用的SRAM設備，這是目前讀寫速度最快的存儲設備之一，但是價格較為昂貴，一般用在CPU的一級和二級緩沖當中。SRAM就是靜態隨機存取存儲器，目前人們常用的存儲設備中DRAM為動態隨機存取存儲器，兩者的區別在于存儲方式、集成度、訪問速度、刷新需求等的不同，SRAM訪問速度快，帶來的是占用面積和成本的增大。

3.LPU芯片現在落地仍然存在很多現實問題亟待解決，首先就是成本問題，雖然LPU芯片在價格和耗電量上占有優勢，但是運行LLaMA2-70b這樣的模型需要572張LPU，成本高達1144萬美元，而8張英偉達H100在系統性能上與Groq相當，硬件成本僅為30萬美元，巨大的成本差異讓它目前不具備太多的商業價值。

4.Groq展現出來的是通用芯片和專用芯片在路徑上的分歧，它能為用戶提供讓人滿意的低延遲高速響應效果，但是它的場景搭建需要至少一個已經構造完成并且開源的大模型。