跳到主要內容

發表文章

目前顯示的是有「NVLink」標籤的文章

NVIDIA 發表 Blackwell 架構 GPU,為 AI 應用提供前所未有的性能

NVIDIA 最近宣布了一個新一代的 AI 加速器,稱為 Blackwell 架構。這個新系列包括 B100、B200 和 GB200 GPU,有希望為 AI 應用,特別是生成式 AI 領域,提供前所未有的性能。在這篇文章中,我們整理了一下這些新 GPU 的細節、規格、性能以及它們對 AI 產業的可能影響。 NVIDIA Blackwell 架構  Blackwell 架構代表了 NVIDIA 在 GPU 技術上的最新進展,接替了 Hopper 架構。Blackwell 架構以著名數學家 David Harold Blackwell 的名字命名,引入了六項變革性技術,專門為了加速計算和生成式 AI。這些技術包括第二代 Transformer 引擎、第五代 NVLink、RAS 引擎、安全 AI 功能以及用於加速資料庫查詢的解壓縮引擎。 B100 和 B200 GPU B100 和 B200 GPU 是基於 Hopper 的 H100 和 H200 的繼任者。預計 B200 將包含比 B100 更大的高頻寬記憶體容量。B200 是一個 1000W 的模組,高於 H100 的 700W,功率和性能有顯著提升。B200 被稱為世界上最強大的晶片,擁有 2080 億個電晶體,提供高達 20 petaflops 的 FP4 馬力。另一方面,B100 預計將是一個較低階的加速器,TDP 為 700W,使其可以直接與 H100 系統相容。 B100 和 B200 GPU 的整體外觀相比於 H100/H200 大,是因為 Nvidia 將兩組 Blackwell 架構的 Die,號稱是最大的兩顆 Die 直接連接在一起成為一個 Blackwell GPU。 GB200 超級晶片 GB200,也被稱為 Grace Blackwell 超級晶片,是兩個 B200 GPU 和一個 Grace CPU 的組合,提供更高的性能。它是 NVIDIA GB200 NVL72 的一部分,這是一個多節點、液冷的資料中心電腦系統,專為 AI 訓練和推理任務而設計。與相同數量的 NVIDIA H100 Tensor Core GPU 相比,GB200 NVL72 系統可以為 LLM 提供高達 30 倍的性能提升,同時將成本和能耗降低高達 25 倍。 超級電腦的架構 Nvidia 針對 Black...

Nvidia SXM:高效能計算的連接方案

Nvidia 的 SXM(Server PCI Express Module),是個連接高效能計算加速器如 GPU 至系統的高頻寬方案。這項技術支援 Nvidia 多代的高性能 Tensor Core GPU,包括 Pascal、Volta、Ampere 與 Hopper 等架構。 主要特色與優勢 高頻寬與高功率 SXM 插槽以其卓越的頻寬能力聞名,對於機器學習應用和數據中心的高負荷工作至關重要。相較於傳統 PCIe 連接,SXM 提供了更為優異的功率輸出,這對於滿足 Nvidia Tensor Core GPU 的高性能需求非常關鍵。 NVLink 與 NVSwitch 技術 SXM 模組通常整合了 NVLink 交換機,這讓 GPU 之間的通信更加迅速,有效減少了 CPU 和 PCIe 中常見的瓶頸問題。例如,採用 Hopper 架構的 H100 SXM5 GPU,能夠透過 18 個 NVLink 4 通道,達到高達 900GB/s 的頻寬。 高效能冷卻與電源管理 SXM 插槽同時負責電源供應,省去了 PCIe 卡所需的外接電源線。這種設計加上水平安裝方式,使得冷卻效率更高,讓基於 SXM 的 GPU 能在更高性能下運作。舉例來說,Hopper 架構的 H100 僅透過 SXM 插槽就能提供高達 700W 的功率。 系統組裝簡化 SXM 基礎的系統由於沒有利用纜線連結,使得大型系統的組裝與維修更為簡便,同時降低了潛在的故障點。這對於對維護和系統可靠性要求極高的數據中心來說,方便了不少。 Nvidia 生態系統中的 SXM DGX 與 HGX 平台 Nvidia 的 DGX 和 HGX 平台採用 SXM 插槽,為 AI 和機器學習領域提供高性能計算能力。DGX 系統就配備了支援高頻寬和功率輸出的 SXM 插槽,以滿足 Tensor Core GPU 的需求。這些系統具有良好的擴展性,能夠加速訓練過程,並更有效地部署如 GPT-4 這樣的大型語言模型 (LLM)。 客製化與性能表現 HGX 平台提供了客製化選項,用戶可以根據自己的需求選擇記憶體、儲存和網路配置,同時享受 SXM 形式因素帶來的高性能優勢,讓數據中心能夠針對特定需求進行系統定制。 不同世代的插槽 Nvidia 推出了多個世代的 SXM 插槽,如針對 Volta GPU 的 SXM2、針對 Ampere...