The Key | 每天的關鍵

NVIDIA 最近宣布了一個新一代的 AI 加速器，稱為 Blackwell 架構。這個新系列包括 B100、B200 和 GB200 GPU，有希望為 AI 應用，特別是生成式 AI 領域，提供前所未有的性能。在這篇文章中，我們整理了一下這些新 GPU 的細節、規格、性能以及它們對 AI 產業的可能影響。 NVIDIA Blackwell 架構  Blackwell 架構代表了 NVIDIA 在 GPU 技術上的最新進展，接替了 Hopper 架構。Blackwell 架構以著名數學家 David Harold Blackwell 的名字命名，引入了六項變革性技術，專門為了加速計算和生成式 AI。這些技術包括第二代 Transformer 引擎、第五代 NVLink、RAS 引擎、安全 AI 功能以及用於加速資料庫查詢的解壓縮引擎。 B100 和 B200 GPU B100 和 B200 GPU 是基於 Hopper 的 H100 和 H200 的繼任者。預計 B200 將包含比 B100 更大的高頻寬記憶體容量。B200 是一個 1000W 的模組，高於 H100 的 700W，功率和性能有顯著提升。B200 被稱為世界上最強大的晶片，擁有 2080 億個電晶體，提供高達 20 petaflops 的 FP4 馬力。另一方面，B100 預計將是一個較低階的加速器，TDP 為 700W，使其可以直接與 H100 系統相容。 B100 和 B200 GPU 的整體外觀相比於 H100/H200 大，是因為 Nvidia 將兩組 Blackwell 架構的 Die，號稱是最大的兩顆 Die 直接連接在一起成為一個 Blackwell GPU。 GB200 超級晶片 GB200，也被稱為 Grace Blackwell 超級晶片，是兩個 B200 GPU 和一個 Grace CPU 的組合，提供更高的性能。它是 NVIDIA GB200 NVL72 的一部分，這是一個多節點、液冷的資料中心電腦系統，專為 AI 訓練和推理任務而設計。與相同數量的 NVIDIA H100 Tensor Core GPU 相比，GB200 NVL72 系統可以為 LLM 提供高達 30 倍的性能提升，同時將成本和能耗降低高達 25 倍。 超級電腦的架構 Nvidia 針對 Black...

GenAI 技術介紹及 Qualcomm 的領航角色 在 2024 年的 MWC 上，Qualcomm 透過將生成式人工智能（GenAI）技術融入智慧手機，展現了其在行動裝置科技演進中的重要地位。此舉被視為行動裝置科技發展的關鍵一步，Qualcomm 正領導著將 AI 技術帶至邊緣計算—尤其是行動裝置的浪潮。該公司的努力不止於智慧手機，更延伸至個人電腦、汽車及物聯網裝置，為了在各平台間推動智慧型計算的進步。 Qualcomm 的 AI 硬體能力與 Snapdragon 的創新之舉 Qualcomm 積極向市場推廣具備 AI 能力的硬體設備，尤其是其 Snapdragon 8 Gen 3 平台，該平台配備了內建的神經處理單元（NPU），專為加速裝置上的 AI 任務—如圖像與語音識別—而設計。 Android 手機上的 LLaVA 跟 Stable Diffusion （LoRA） 在 2024 年 MWC 大會上，Qualcomm 展示了其引人注目的技術—將大型語言與視覺助理（LLaVA），一個擁有超過 70 億參數的大型語言模型，放在一個 Android 手機 上。LLaVA 能夠處理文字、圖像及語音提示，提供即時且私密的用戶體驗，因為所有數據處理均在一個 Android 手機內完成，不需要連接網路，有效解決了隱私問題。同時間也展示了  Stable Diffusion （LoRA）繪圖 AI ，在 Android phone 運行的可行性。 那些手機會用到 Snapdragon 8 Gen 3 ? Qualcomm 宣布的 Snapdragon 8 Gen 3 晶片組，預計將為 Xiaomi、OnePlus、Samsung、Honor 和 Realme 等多個品牌的旗艦智慧手機提供驅動。這款下一代晶片組採用 TSMC 的 4nm 製程技術，具有 1+5+2 核心配置，預期將提供更強大的 AI 能力、更佳的能源效率以及更優越的圖形性能，號稱可以與 Apple 在 iPhone 15 Pro 的 A17 Pro 晶片並駕齊驅，這樣看起來 iPhone 未來搭載裝置內 AI 的可能也大大性也大大提升了，畢竟晶片本身就具有相關能力了。 參考資料 Qualcomm puts GenAI into smartphones at MWC • The Register ...