超越 NVIDIA？Groq 的 LPU 晶片展現超高速的處理能力

Groq：新創 AI 晶片商異軍突起

Groq，不是 Elon Musk 的 Grok 最近引起了不小注意。在高性能 AI 晶片市場中，Groq 這家由前 Google 員工創立的新創公司，正以其獨特的處理器架構引人注意。Groq 致力於處理人工智慧（AI）、機器學習（ML）以及高性能計算（HPC）的高負荷處理，特別專注於 AI 推理領域，即利用訓練過的 AI 模型進行預測或決策的過程。

創立宗旨與遠景

2016 年，Jonathan Ross 率先創立 Groq，並擔任 CEO。Groq 的宗旨在於讓 AI 技術普及，進而將計算成本降至最低。公司努力突破現有 GPU 和 CPU 系統的限制，釋放 AI 的無限潛能。

技術革新：語言處理單元（LPU）

Groq 推出了全球首創的語言處理單元（LPU，Language Processing Unit），這是一款專門針對 AI 推理設計的晶片。LPU 的設計目的是為了提供超快速度的推理能力，特別是針對大型語言模型（LLM），這對於聊天機器人、翻譯服務以及其他消費者級 AI 應用相當重要，畢竟時間就是金錢，以現在 GTP-4 的處理速度，也是讓很多使用者不滿意的一點。

LPU 採用 Groq 的 Tensor Streaming Processor（TSP）架構，這一架構免除了複雜的調度硬體需求，使得處理過程更加簡化。這種設計讓 Groq 的晶片能夠展現出出色的性能：高產出與低延遲。

性能表現與市場影響

Groq 的 LPU 在性能上展現了驚人的成績，與 NVIDIA、AMD 和 Intel 等 AI 晶片市場的重量級廠商相媲美。LPU 在一個龐大的 AI 模型上達到了每秒 100 個 token 的記錄速度，並在最近進一步突破，達到每秒超過 240 個 token。這種性能效率的表現，使 Groq 成為業界潛在的新星，很可能衝擊 NVIDIA 的占比。

Groq 已成功籌集顯著的融資，包括一輪由 Tiger Global Management 和 D1 Capital 共同領投的 3 億美元 C 輪融資。公司到目前為止總融資額達到 3.67 億美元，展現了投資者對其技術和市場潛力的高度期待。

應用範疇與實際案例

Groq 的 LPU 適用於各種需要快速且高效 AI 推理的應用場景，包括消費者級生成 AI 應用、自動駕駛汽車、數據中心等。Groq 的晶片專為處理推理任務而設計，能夠利用深度學習的知識對數據進行新的預測。

Groq 還提供了網頁供使用者體驗一下 LPU 的處理速度，點選 Groq。最左上角可以選擇 Model，小編這邊選擇之前介紹過的開源 Mixtral 7B，回應完成之後右上角會出現速度 529.41 T/S。

相比 Perplexity playground 上的 180 T/S 真的是差異很大。不過因為部署方式跟 system prompt 可能有所差異，這個結果僅供參考。Groq 也提供 API，後面看看有沒有高手可以完成差異比較小的比對結果。

寫在後面

隨著 AI 應用對底層硬體的需求持續增加，Groq 的 LPU 技術正處於滿足這些需求的有利位置。Groq 在 AI 晶片市場中以其 LPU 的開創性性能脫穎而出，公司迅速成長至十億美元估值。Groq 專注於順序語言處理，以及其提供的性能優於通用 AI 晶片的能力，表示著 Groq 可能對未來運行和使用大型語言模型的方式產生相當程度的影響。

至於現在會不會影響到 NVIDIA 的 GPU 的地位？小編認為不太可能，畢竟 GPU 的泛用性太廣的了，LPU 僅針對 LLM 最佳化而以，而且說不定 NVIDIA 會開發 Language-GPU 特別針對 LLM 優化，市場後續的發展還很難說。

The Key | 每天的關鍵

搜尋此網誌