The Key | 每天的關鍵

CoreWeave 是一家於 2017 年成立於美國的雲端運算公司，專門為人工智慧開發人員提供 GPU 基礎設施 。該公司最初以 Atlantic Crypto 為名，從事加密貨幣挖礦業務，之後策略性地轉型為 AI Hyperscaler™ 。CoreWeave 受益於市場對人工智慧運算能力日益增長的需求，在 2024 年實現了顯著的收入增長 。該公司計畫於 2025 年進行 IPO，目標估值可觀 。 公司概覽與歷史 CoreWeave 最初於 2017 年由 Michael Intrator、Brian Venturo 和 Brannin McBee 創立，名為 Atlantic Crypto，最初專注於使用 GPU 進行 ETH 挖礦 。該公司在加密貨幣挖礦方面的經驗使其掌握了部署和管理能源密集型 GPU 集群的專業知識，這對其未來在人工智慧運算領域的發展至關重要 。在 2018 年加密貨幣市場低迷之後，公司於 2019 年轉型為雲端 GPU 基礎設施供應商，並更名為 CoreWeave 。 該公司在美國和歐洲的主要地區營運著不斷擴大的資料中心 。截至 2024 年 12 月，CoreWeave 在美國擁有 13 個資料中心，在英國擁有 2 個資料中心 ，到同年底，資料中心數量已擴增至 30 個 ，之後更報告擁有 32 個資料中心和超過 25 萬個 NVIDIA GPU 。2024 年，CoreWeave 在倫敦設立了歐洲總部，並宣布在英國進行重大投資 。 核心業務與價值主張 CoreWeave 的核心業務是提供專為 GPU 加速運算設計的雲端服務，特別針對人工智慧工作負載進行了優化 。其使命是透過簡化人工智慧基礎設施的複雜性，並為人工智慧模型訓練和推論提供尖端的效能和效率，從而推動人工智慧革命 。 CoreWeave 的價值主張包括： 專為人工智慧打造的雲端服務，這與為網路規模應用程式設計的傳統雲端不同 。 存取最新和最強大的 NVIDIA GPU，通常是首批提供新架構的雲端供應商之一 。 增強人工智慧工作負載的效能和可擴展性 。 相較於較大型、通用型的雲端設施，可能具有更低的成本 。 透過自動化和託管服務簡化複雜人工智慧基礎設施的管理 。 強大的技術合作夥伴關係，尤其與 NVIDIA 的合作 。 CoreWeave 的專業化使其能夠針對人工智慧的需求優化基礎...

High Bandwidth Memory (HBM) High Bandwidth Memory 這項技術在人工智慧 (AI)、高效能運算 (HPC) 到GPU 等應用中起著關鍵作用。HBM 通過垂直堆疊記憶體晶片來實現其高速資料傳輸，與傳統的平面記憶體佈局相比，顯著減少了資料必須傳輸的距離。這種結構不僅提高了頻寬，而且提高了能源效率，並減少了記憶體模組所需的物理空間。 HBM 的演進和世代 HBM 的第一個版本，簡稱為 HBM 或 HBM1，它為 3D 記憶體技術奠定了基礎。它的繼任者是 HBM2 和 HBM2E，每一代在速度、容量和效率方面都有所改進。HBM3 是截至 2024 年的最新一代，其擴展版本 HBM3E 進一步突破了界限，提供了前所未有的性能水平。 HBM3:第三代 HBM3 由 JEDEC 於 2022 年 1 月推出，代表著記憶體技術的重大進步。它可以支援更大的密度、更高的運行速度、更多的 bank 數量以及先進的可靠性、可用性和可維修性 (RAS) 功能。HBM3 裝置可以提供高達 32 Gb 的密度，並支援最多 16 層堆疊，總儲存容量為 64 GB，與 HBM2E 相比，增長了近三倍。HBM3 的最高速度為 6.4 Gbps，幾乎是 HBM2E 3.6 Gbps 最高速度的兩倍。 HBM3E:Extended HBM3E 是 HBM3 的延伸版本，為了進一步提高資料速率和容量。它的每個引腳運行速度超過 9.2 Gbps，提供超過 1.2 TB/s 的頻寬，功耗比競爭對手低 30%。HBM3E 提供 8 層 24GB 和 12 層 36GB 的配置，為 AI 訓練和推理系統等要求嚴格的應用提供業界領先的性能和效率。 HBM3 和 HBM3E 的供應商 HBM3 和 HBM3E 的主要供應商是 SK 海力士、三星和美光。 SK 海力士 一直處於領先地位，率先宣布大規模生產 HBM3E，目標是 AI 應用。他們的 HBM3E 晶片可以每秒處理高達 1.18 TB 的資料，展示了資料處理速度和散熱性能的顯著改進。 三星 宣布了其 HBM3E 變體 "Shinebolt"，提供高達 9.8Gbps 的記憶體速度。三星的 HBM3E 為了在為高端處理器設定新的記憶體頻寬和容量標準。 美光 推出了其 HBM3E，引腳速度超過 9...

NVIDIA 最近宣布了一個新一代的 AI 加速器，稱為 Blackwell 架構。這個新系列包括 B100、B200 和 GB200 GPU，有希望為 AI 應用，特別是生成式 AI 領域，提供前所未有的性能。在這篇文章中，我們整理了一下這些新 GPU 的細節、規格、性能以及它們對 AI 產業的可能影響。 NVIDIA Blackwell 架構  Blackwell 架構代表了 NVIDIA 在 GPU 技術上的最新進展，接替了 Hopper 架構。Blackwell 架構以著名數學家 David Harold Blackwell 的名字命名，引入了六項變革性技術，專門為了加速計算和生成式 AI。這些技術包括第二代 Transformer 引擎、第五代 NVLink、RAS 引擎、安全 AI 功能以及用於加速資料庫查詢的解壓縮引擎。 B100 和 B200 GPU B100 和 B200 GPU 是基於 Hopper 的 H100 和 H200 的繼任者。預計 B200 將包含比 B100 更大的高頻寬記憶體容量。B200 是一個 1000W 的模組，高於 H100 的 700W，功率和性能有顯著提升。B200 被稱為世界上最強大的晶片，擁有 2080 億個電晶體，提供高達 20 petaflops 的 FP4 馬力。另一方面，B100 預計將是一個較低階的加速器，TDP 為 700W，使其可以直接與 H100 系統相容。 B100 和 B200 GPU 的整體外觀相比於 H100/H200 大，是因為 Nvidia 將兩組 Blackwell 架構的 Die，號稱是最大的兩顆 Die 直接連接在一起成為一個 Blackwell GPU。 GB200 超級晶片 GB200，也被稱為 Grace Blackwell 超級晶片，是兩個 B200 GPU 和一個 Grace CPU 的組合，提供更高的性能。它是 NVIDIA GB200 NVL72 的一部分，這是一個多節點、液冷的資料中心電腦系統，專為 AI 訓練和推理任務而設計。與相同數量的 NVIDIA H100 Tensor Core GPU 相比，GB200 NVL72 系統可以為 LLM 提供高達 30 倍的性能提升，同時將成本和能耗降低高達 25 倍。 超級電腦的架構 Nvidia 針對 Black...

AI 伺服器是專為滿足 AI 應用程式，包括機器學習（ML）與深度學習（DL）等工作負荷的高強度運算需求而打造的專業基礎架構。這些伺服器搭載了高效率的元件，能夠有效處理及分析龐大的數據集，這對於訓練與部署 AI 模型是不可或缺的。 運算晶片 AI 伺服器的核心在於其運算資源，這些資源對於 AI 模型的訓練與數據分析相當重要。這些資源通常包含高效率的 CPU，更為關鍵的是 GPU 或其他專門的加速器，例如 Tensor Processing Units（TPU），這些設備支援平行運算。特別是 GPU，由於其能同時處理多項計算，因此在需要大量運算資源的 AI 工作中，成為首選。 記憶體與儲存 AI 伺服器需要大量的隨機存取記憶體（RAM），以便在模型訓練和數據處理過程中提供短期儲存。此外，持久性儲存資源對於儲存 AI 模型學習的訓練數據也是至關重要的。這些儲存解決方案必須能處理大規模數據，並提供快速的數據讀取速度，以匹配運算資源的處理速度。 電源供應單元（PSU） AI 伺服器在運作時耗電量巨大，尤其是當配置了多個高效能 GPU 或其他加速器時。因此，選擇合適的 AI 伺服器電源供應單元（PSU）對於確保供電瓦數、穩定性和可靠性相當重要。PSU 必須提供充足的電力以驅動這些高效率的組件，同時還要提供額外電力，以應對負載變化並避免數據擁塞。 網絡基礎設施 AI 伺服器需要強健的網絡基礎設施來支持伺服器與其他網絡組件間的數據傳輸和溝通。高速網絡對於減少延遲和確保數據能夠迅速傳輸至伺服器及從伺服器傳出是必不可少的。 Ｏptical transceiver、AEC (Active Electrical Cable) 以及電纜線路在確保高速、可靠和效率的數據傳輸中扮演著關鍵角色。Ｏptical transceiver 對於超高速的數據傳輸相當重要，AEC 提供了一種高 CP 且性能卓越的連接方案，而電纜線路，包括銅線和光纖，則構成了支撐數據通訊的物理基礎。 冷卻系統 考量到 AI 伺服器的高耗電量和產熱量，有效的冷卻系統是不可或缺的。為了維持最佳的運作溫度並防止硬體過熱，通常會採用如液態冷卻系統等先進的冷卻方案。 伺服器機殼與外殼 AI 數據伺服器的物理結構，包括伺服器機架、外殼和風道罩，都是為了適應專門硬體和冷卻需求而設計的。這些組件必須精心設計，以支撐伺服器內部組件的重量和熱...

VRAM 是什麼？ 視訊隨機存取記憶體（VRAM）是一種專為圖形處理設計的專用記憶體。它被整合於顯示卡內部，扮演著 GPU 與電腦顯示器之間的高速緩衝角色。VRAM 對於儲存 GPU 渲染顯示影像所需的數據是必要的存在，這包括在影片遊戲、3D 建模、影片編輯等圖形密集型應用中渲染圖形所需的紋理、顏色和幾何數據。 VRAM 的重要性 VRAM 對於圖形處理性能的提升起著決定性作用，因為它能夠快速存取和處理影像數據。這一點對於需要即時渲染的應用，例如影片遊戲或模擬，尤其關鍵。VRAM 的容量直接影響到渲染高解析度影像的能力以及支援多顯示器的可能性。更高的 VRAM 容量能夠帶來更流暢的幀率、更細膩的紋理解析度，以及整體更加平滑的圖形表現。 VRAM 如何運作 VRAM 採用並行架構，能夠同時進行讀取和寫入操作，這加快了數據的存取和處理速度。這對於即時渲染尤其重要，因為 GPU 需要迅速處理大量的圖形數據。VRAM 由多個記憶體或模組構成，使其能夠平行處理數據，進一步提升性能。常見的 VRAM 類型包括圖形雙倍數據速率（GDDR，Graphics Double Data Rate）和高帶寬記憶體（HBM，High-Bandwidth Memory），各自在速度和能源效率方面有著不同的優勢。 VRAM 的主要製造商 主要的 VRAM 製造商為 GPU 提供記憶體晶片的公司，包括 Samsung、Micron（NASDAQ：MU） 和 Hynix 等。這些企業以其先進的記憶體技術聞名於世，並經常被 Nvidia 和 AMD 等 GPU 大廠選為合作夥伴，在顯示卡使用上他們的 VRAM。 VRAM 的不同類型 VRAM 有多種不同的形式，包括： Multibank DRAM（MDRAM） ：由 MoSys 開發，通過將記憶體分割成多個獨立 bank 來提升性能。 Synchronous Graphics RAM（SGRAM） ：專為圖形硬體而設計，支持同時進行讀寫操作。 Window RAM（WRAM） ：適用於極高解析度顯示器。 GDDR SDRAM ：一系列高性能記憶體標準，包括最新的 GDDR6，用於當代高端 GPU。 High Bandwidth Memory（HBM） ：以高傳輸速率和低功耗為特點，適合於高性能顯示卡。 GPU 中的 VRAM 如 Nvidia 的 G...