跳到主要內容

發表文章

目前顯示的是有「AI晶片」標籤的文章

超越 NVIDIA?Groq 的 LPU 晶片展現超高速的處理能力

Groq:新創 AI 晶片商異軍突起 Groq,不是 Elon Musk 的 Grok 最近引起了不小注意。在高性能 AI 晶片市場中,Groq 這家由前 Google 員工創立的新創公司,正以其獨特的處理器架構引人注意。Groq 致力於處理人工智慧(AI)、機器學習(ML)以及高性能計算(HPC)的高負荷處理,特別專注於 AI 推理領域,即利用訓練過的 AI 模型進行預測或決策的過程。 創立宗旨與遠景 2016 年,Jonathan Ross 率先創立 Groq,並擔任 CEO。Groq 的宗旨在於讓 AI 技術普及,進而將計算成本降至最低。公司努力突破現有 GPU 和 CPU 系統的限制,釋放 AI 的無限潛能。 技術革新:語言處理單元(LPU) Groq 推出了全球首創的語言處理單元(LPU,Language Processing Unit),這是一款專門針對 AI 推理設計的晶片。LPU 的設計目的是為了提供超快速度的推理能力,特別是針對大型語言模型(LLM),這對於聊天機器人、翻譯服務以及其他消費者級 AI 應用相當重要,畢竟時間就是金錢,以現在 GTP-4 的處理速度,也是讓很多使用者不滿意的一點。 LPU 採用 Groq 的 Tensor Streaming Processor(TSP)架構,這一架構免除了複雜的調度硬體需求,使得處理過程更加簡化。這種設計讓 Groq 的晶片能夠展現出出色的性能:高產出與低延遲。 性能表現與市場影響 Groq 的 LPU 在性能上展現了驚人的成績,與 NVIDIA、AMD 和 Intel 等 AI 晶片市場的重量級廠商相媲美。LPU 在一個龐大的 AI 模型上達到了每秒 100 個 token 的記錄速度,並在最近進一步突破,達到每秒超過 240 個 token。這種性能效率的表現,使 Groq 成為業界潛在的新星,很可能衝擊 NVIDIA 的占比。 Groq 已成功籌集顯著的融資,包括一輪由 Tiger Global Management 和 D1 Capital 共同領投的 3 億美元 C 輪融資。公司到目前為止總融資額達到 3.67 億美元,展現了投資者對其技術和市場潛力的高度期待。 應用範疇與實際案例 Groq 的 LPU 適用於各種需要快速且高效 AI 推理的應用場景,包括消費者級生成 AI 應用、自動駕駛汽...

CoWoS 技術: 革命性的 AI 封裝解決方案

TSMC 對 CoWoS 的巨額投資 TSMC 護國神山台積電,作為全球最大的半導體製造商,在先進封裝技術領域,特別是CoWoS(Chip on Wafer on Substrate)取得了極大的進展。該公司最近承諾投資高達 290 億美元,以擴展其 CoWoS 和 SoIC(System on Integrated Chips)技術。此舉與對高性能計算(HPC:high-performance computing)和AI應用程序的需求增加一致,這需要先進的封裝解決方案以達到最佳性能。 CoWoS:生成式 AI 的未來 CoWoS 封裝技術不僅僅是一個流行詞彙;它是一個革命性的技術,特別是對於生成 AI 應用。該技術提供了高性能,功率效率和微小的特性組合,使其成為 AI 晶片的理想選擇。AI 晶片市場的領先參與者 Nvidia 已經下訂了利用TSMC 的 CoWoS 封裝的AI晶片的額外訂單。此舉凸顯了 AI 領域對先進封裝解決方案的日益增長的重要性和需求。 CoWoS的全球需求 全球對 CoWoS 的需求正在增加,像Nvidia和Broadcom這樣的公司正在下訂重要訂單。例如,Nvidia已確保了TSMC在2023年使用CoWoS封裝的額外10,000塊晶圓的承諾。這種增加的需求表明可能存在供應短缺,因為TSMC的每月CoWoS產能目前為8,000至9,000塊晶圓。來自像Nvidia這樣的主要參與者的訂單激增意味著TSMC的CoWoS供應可能會變得緊張。 CoWoS的各種變體及其應用 CoWoS技術不是萬能解決方案。它有各種變體,包括CoWoS-S,CoWoS-R和CoWoS-L,每種都滿足特定的要求。這些變體已得到TSMC的頂級客戶的認可,表明它們在多樣化的應用中的潛力。例如,CoWoS-S已進入高端網路晶片部分。另一方面,CoWoS-L 則在滿足更高的計算性能和更多的HBM(High Bandwidth Memory)的未來需求。 全球對CoWoS設施的推動 由於對CoWoS的需求不斷增加,據報導,美國和日本等國家正在邀請TSMC建立CoWoS和其他先進封裝設施。這些建議是為了在提供完全整合的晶片生產服務,突顯了像CoWoS這樣的先進封裝技術的全球重要性。 寫在後面 CoWoS 正在塑造成半導體行業的關鍵技術,特別是在AI和HPC領域。隨著像TSMC這樣的...