Groq：新創 AI 晶片商異軍突起 Groq，不是 Elon Musk 的 Grok 最近引起了不小注意。在高性能 AI 晶片市場中，Groq 這家由前 Google 員工創立的新創公司，正以其獨特的處理器架構引人注意。Groq 致力於處理人工智慧（AI）、機器學習（ML）以及高性能計算（HPC）的高負荷處理，特別專注於 AI 推理領域，即利用訓練過的 AI 模型進行預測或決策的過程。 創立宗旨與遠景 2016 年，Jonathan Ross 率先創立 Groq，並擔任 CEO。Groq 的宗旨在於讓 AI 技術普及，進而將計算成本降至最低。公司努力突破現有 GPU 和 CPU 系統的限制，釋放 AI 的無限潛能。 技術革新：語言處理單元（LPU） Groq 推出了全球首創的語言處理單元（LPU，Language Processing Unit），這是一款專門針對 AI 推理設計的晶片。LPU 的設計目的是為了提供超快速度的推理能力，特別是針對大型語言模型（LLM），這對於聊天機器人、翻譯服務以及其他消費者級 AI 應用相當重要，畢竟時間就是金錢，以現在 GTP-4 的處理速度，也是讓很多使用者不滿意的一點。 LPU 採用 Groq 的 Tensor Streaming Processor（TSP）架構，這一架構免除了複雜的調度硬體需求，使得處理過程更加簡化。這種設計讓 Groq 的晶片能夠展現出出色的性能：高產出與低延遲。 性能表現與市場影響 Groq 的 LPU 在性能上展現了驚人的成績，與 NVIDIA、AMD 和 Intel 等 AI 晶片市場的重量級廠商相媲美。LPU 在一個龐大的 AI 模型上達到了每秒 100 個 token 的記錄速度，並在最近進一步突破，達到每秒超過 240 個 token。這種性能效率的表現，使 Groq 成為業界潛在的新星，很可能衝擊 NVIDIA 的占比。 Groq 已成功籌集顯著的融資，包括一輪由 Tiger Global Management 和 D1 Capital 共同領投的 3 億美元 C 輪融資。公司到目前為止總融資額達到 3.67 億美元，展現了投資者對其技術和市場潛力的高度期待。 應用範疇與實際案例 Groq 的 LPU 適用於各種需要快速且高效 AI 推理的應用場景，包括消費者級生成 AI 應用、自動駕駛汽...
這是一個提供科技新知的部落格，你可以在這裡找到各種有趣的科技話題和小技巧，讓你了解最新科技趨勢。趕快來關注我們，探索科技世界的奧秘吧！