前一段時(shí)間Groq芯片每秒生成速度接近500tok/s，遠(yuǎn)超GPT-4 40tpk/s的計(jì)算能力引起人們關(guān)注。后來Groq被曝光他們的LPU芯片去掉了HBM，只依靠SRAM計(jì)算，引起了人們的質(zhì)疑，不過Groq芯片也有其進(jìn)步意義。

1.Groq極高的計(jì)算速度是建立在有限的單卡吞吐能力上面，這樣的條件下想要達(dá)到和H100相同的吞吐量，就需要更多的芯片，這造成了實(shí)際上Groq的搭建成本并不低，甚至達(dá)成一定規(guī)模以后，單位投資下的收益遠(yuǎn)遠(yuǎn)不如H100。

2.Groq面向的是大模型推理場(chǎng)景，它是一款推理用的ASIC加速芯片，只能在特定的模型中使用，因此性價(jià)比并不算很高，在實(shí)際搭建過程中，可能要花費(fèi)比使用英偉達(dá)芯片更高的投資。

3.Groq的LPU只能適用于Mixtral和Llama 2，其他的大模型公司想要使用Groq的產(chǎn)品，需要確定需求和規(guī)格，之后進(jìn)行功能驗(yàn)證，最后生產(chǎn)出的產(chǎn)品才可以使用這一芯片。

4.LPU推理引擎是Groq創(chuàng)建的一種新型的端到端處理單元系統(tǒng)，能為具有順序組件的計(jì)算密集型應(yīng)用程序提供最快的推理能力。

5.Groq在可擴(kuò)展計(jì)算架構(gòu)方面做出了創(chuàng)新，相比于傳統(tǒng)的GPU，這種芯片的編程模型更加簡化，能夠在計(jì)算當(dāng)中體現(xiàn)出更高的響應(yīng)速度和可靠的執(zhí)行效率，它擁有許多個(gè)具有特色的組件，比如數(shù)據(jù)交換器、指令控制、SRAM內(nèi)存等，這使其具備強(qiáng)大的計(jì)算能力與靈活性。

6.Groq的出現(xiàn)讓人們看到了突破英偉達(dá)壟斷地位的可能性，雖然它的使用范圍相對(duì)來說收窄許多，卻讓人們看到了其他公司敢于對(duì)英偉達(dá)亮劍的精神和勇氣。英偉達(dá)并不是大模型的唯一選擇，現(xiàn)在其他公司也在研發(fā)新的芯片，嘗試適用于其他的開發(fā)場(chǎng)景。