近日一家名為Groq的初創(chuàng)公司研制的LPU芯片橫空出世，據(jù)消息稱這一芯片的推理速度比英偉達GPU提高10倍，成本卻只有其1/10，大模型生成速度接近500tokens，比ChatGPT-3.540tokens/秒的速度高出十多倍。

1.LPU的突出特點就是快，2024年1月份的測試結(jié)果中，Groq LPU驅(qū)動的Meta Llama2模型推理性能比目前的頂級云計算供應(yīng)商高出17倍，在數(shù)據(jù)吞吐量方面也“遙遙領(lǐng)先”。

2.據(jù)了解，Groq提供的芯片得到這樣的吞吐速度的原因是使用的SRAM設(shè)備，這是目前讀寫速度最快的存儲設(shè)備之一，但是價格較為昂貴，一般用在CPU的一級和二級緩沖當中。SRAM就是靜態(tài)隨機存取存儲器，目前人們常用的存儲設(shè)備中DRAM為動態(tài)隨機存取存儲器，兩者的區(qū)別在于存儲方式、集成度、訪問速度、刷新需求等的不同，SRAM訪問速度快，帶來的是占用面積和成本的增大。

3.LPU芯片現(xiàn)在落地仍然存在很多現(xiàn)實問題亟待解決，首先就是成本問題，雖然LPU芯片在價格和耗電量上占有優(yōu)勢，但是運行LLaMA2-70b這樣的模型需要572張LPU，成本高達1144萬美元，而8張英偉達H100在系統(tǒng)性能上與Groq相當，硬件成本僅為30萬美元，巨大的成本差異讓它目前不具備太多的商業(yè)價值。

4.Groq展現(xiàn)出來的是通用芯片和專用芯片在路徑上的分歧，它能為用戶提供讓人滿意的低延遲高速響應(yīng)效果，但是它的場景搭建需要至少一個已經(jīng)構(gòu)造完成并且開源的大模型。

5.Groq創(chuàng)新的芯片架構(gòu)能把多個張量流處理器連接在一起，這種解決方案不會出現(xiàn)GPU集群當中出現(xiàn)的傳統(tǒng)瓶頸問題，具備較高的可擴展性，可以有效減少運行過程中的能源消耗，進一步簡化大規(guī)模AI模型對于硬件的要求。