The Key | 每天的關鍵

Nvidia 的 SXM（Server PCI Express Module），是個連接高效能計算加速器如 GPU 至系統的高頻寬方案。這項技術支援 Nvidia 多代的高性能 Tensor Core GPU，包括 Pascal、Volta、Ampere 與 Hopper 等架構。 主要特色與優勢 高頻寬與高功率 SXM 插槽以其卓越的頻寬能力聞名，對於機器學習應用和數據中心的高負荷工作至關重要。相較於傳統 PCIe 連接，SXM 提供了更為優異的功率輸出，這對於滿足 Nvidia Tensor Core GPU 的高性能需求非常關鍵。 NVLink 與 NVSwitch 技術 SXM 模組通常整合了 NVLink 交換機，這讓 GPU 之間的通信更加迅速，有效減少了 CPU 和 PCIe 中常見的瓶頸問題。例如，採用 Hopper 架構的 H100 SXM5 GPU，能夠透過 18 個 NVLink 4 通道，達到高達 900GB/s 的頻寬。 高效能冷卻與電源管理 SXM 插槽同時負責電源供應，省去了 PCIe 卡所需的外接電源線。這種設計加上水平安裝方式，使得冷卻效率更高，讓基於 SXM 的 GPU 能在更高性能下運作。舉例來說，Hopper 架構的 H100 僅透過 SXM 插槽就能提供高達 700W 的功率。 系統組裝簡化 SXM 基礎的系統由於沒有利用纜線連結，使得大型系統的組裝與維修更為簡便，同時降低了潛在的故障點。這對於對維護和系統可靠性要求極高的數據中心來說，方便了不少。 Nvidia 生態系統中的 SXM DGX 與 HGX 平台 Nvidia 的 DGX 和 HGX 平台採用 SXM 插槽，為 AI 和機器學習領域提供高性能計算能力。DGX 系統就配備了支援高頻寬和功率輸出的 SXM 插槽，以滿足 Tensor Core GPU 的需求。這些系統具有良好的擴展性，能夠加速訓練過程，並更有效地部署如 GPT-4 這樣的大型語言模型 （LLM）。 客製化與性能表現 HGX 平台提供了客製化選項，用戶可以根據自己的需求選擇記憶體、儲存和網路配置，同時享受 SXM 形式因素帶來的高性能優勢，讓數據中心能夠針對特定需求進行系統定制。 不同世代的插槽 Nvidia 推出了多個世代的 SXM 插槽，如針對 Volta GPU 的 SXM2、針對 Ampere...

VRAM 是什麼？ 視訊隨機存取記憶體（VRAM）是一種專為圖形處理設計的專用記憶體。它被整合於顯示卡內部，扮演著 GPU 與電腦顯示器之間的高速緩衝角色。VRAM 對於儲存 GPU 渲染顯示影像所需的數據是必要的存在，這包括在影片遊戲、3D 建模、影片編輯等圖形密集型應用中渲染圖形所需的紋理、顏色和幾何數據。 VRAM 的重要性 VRAM 對於圖形處理性能的提升起著決定性作用，因為它能夠快速存取和處理影像數據。這一點對於需要即時渲染的應用，例如影片遊戲或模擬，尤其關鍵。VRAM 的容量直接影響到渲染高解析度影像的能力以及支援多顯示器的可能性。更高的 VRAM 容量能夠帶來更流暢的幀率、更細膩的紋理解析度，以及整體更加平滑的圖形表現。 VRAM 如何運作 VRAM 採用並行架構，能夠同時進行讀取和寫入操作，這加快了數據的存取和處理速度。這對於即時渲染尤其重要，因為 GPU 需要迅速處理大量的圖形數據。VRAM 由多個記憶體或模組構成，使其能夠平行處理數據，進一步提升性能。常見的 VRAM 類型包括圖形雙倍數據速率（GDDR，Graphics Double Data Rate）和高帶寬記憶體（HBM，High-Bandwidth Memory），各自在速度和能源效率方面有著不同的優勢。 VRAM 的主要製造商 主要的 VRAM 製造商為 GPU 提供記憶體晶片的公司，包括 Samsung、Micron（NASDAQ：MU） 和 Hynix 等。這些企業以其先進的記憶體技術聞名於世，並經常被 Nvidia 和 AMD 等 GPU 大廠選為合作夥伴，在顯示卡使用上他們的 VRAM。 VRAM 的不同類型 VRAM 有多種不同的形式，包括： Multibank DRAM（MDRAM） ：由 MoSys 開發，通過將記憶體分割成多個獨立 bank 來提升性能。 Synchronous Graphics RAM（SGRAM） ：專為圖形硬體而設計，支持同時進行讀寫操作。 Window RAM（WRAM） ：適用於極高解析度顯示器。 GDDR SDRAM ：一系列高性能記憶體標準，包括最新的 GDDR6，用於當代高端 GPU。 High Bandwidth Memory（HBM） ：以高傳輸速率和低功耗為特點，適合於高性能顯示卡。 GPU 中的 VRAM 如 Nvidia 的 G...

Lenovo 在 2024 年 Mobile World Congress (MWC) 上展出的透明筆電概念機，被命名為 Project Crystal。這項新概念是 Lenovo 在研究筆電透明顯示技術可能性過程中的一環。 Project Crystal 稱為 Project Crystal 的 Lenovo 透明筆電，採用了夾在兩片 Gorilla Glass 之間的透明 micro-LED 螢幕，並以透明膠合。這種設計不僅讓筆電在視覺上極具吸引力，同時也賦予了它傳統筆電所不具備的功能性。17.3 吋的螢幕雖然不是完全透明，但提供了一種獨特的透視體驗，有潛力重新定義筆電與使用者的互動方式。 該螢幕的亮度可達 1,000 尼特，使其成為市場上最亮的筆電螢幕之一。高亮度水平結合 micro-LED 技術，確保了即使在透明狀態下也能呈現鮮豔的色彩和清晰的視覺效果。此外，筆電還配備了 nano-optical 玻璃鍵盤，透過專利的奈米圖案化技術，在光線穿透時顯現，以及一個大型觸控板，觸碰即可啟動系統。 Project Crystal 最引人注目的特點之一是其在 AR  應用方面的潛力。筆電背部內建的攝像頭能夠分析其後方的物體。配備 Intel AI 的系統能夠在透明螢幕上疊加數位資訊或視覺效果，提供增強現實體驗，將數位與物理世界融合。 還只是概念機台，上市遙遙無期 Lenovo 尚未公布透明筆電的確切上市日期。該裝置目前仍被視為概念驗證階段，意味著它還在實驗中，尚未準備好投入商業生產。這表明 Lenovo 仍在評估這項技術的可行性和市場需求，以決定是否進行生產。 鑒於 Project Crystal 是一款概念裝置，官方尚未公布任何價格資訊。然而，考慮到其中涉及的先進技術，包括透明 micro-LED 螢幕和 AR 應用的可能性，若該筆電上市，預計定價不低。 寫在後面 Lenovo 的透明筆電概念機 Project Crystal 展現了筆電的另一種可能性。雖然該裝置目前尚未計畫商業化，但其特色——包括透明 micro-LED 螢幕、AR 功能以及獨特的設計元素——為筆電的未來展開了新的想像。 參考資料 I went hands-on with Lenovo's transparent laptop at MWC, and its surprisingly fu...

Groq：新創 AI 晶片商異軍突起 Groq，不是 Elon Musk 的 Grok 最近引起了不小注意。在高性能 AI 晶片市場中，Groq 這家由前 Google 員工創立的新創公司，正以其獨特的處理器架構引人注意。Groq 致力於處理人工智慧（AI）、機器學習（ML）以及高性能計算（HPC）的高負荷處理，特別專注於 AI 推理領域，即利用訓練過的 AI 模型進行預測或決策的過程。 創立宗旨與遠景 2016 年，Jonathan Ross 率先創立 Groq，並擔任 CEO。Groq 的宗旨在於讓 AI 技術普及，進而將計算成本降至最低。公司努力突破現有 GPU 和 CPU 系統的限制，釋放 AI 的無限潛能。 技術革新：語言處理單元（LPU） Groq 推出了全球首創的語言處理單元（LPU，Language Processing Unit），這是一款專門針對 AI 推理設計的晶片。LPU 的設計目的是為了提供超快速度的推理能力，特別是針對大型語言模型（LLM），這對於聊天機器人、翻譯服務以及其他消費者級 AI 應用相當重要，畢竟時間就是金錢，以現在 GTP-4 的處理速度，也是讓很多使用者不滿意的一點。 LPU 採用 Groq 的 Tensor Streaming Processor（TSP）架構，這一架構免除了複雜的調度硬體需求，使得處理過程更加簡化。這種設計讓 Groq 的晶片能夠展現出出色的性能：高產出與低延遲。 性能表現與市場影響 Groq 的 LPU 在性能上展現了驚人的成績，與 NVIDIA、AMD 和 Intel 等 AI 晶片市場的重量級廠商相媲美。LPU 在一個龐大的 AI 模型上達到了每秒 100 個 token 的記錄速度，並在最近進一步突破，達到每秒超過 240 個 token。這種性能效率的表現，使 Groq 成為業界潛在的新星，很可能衝擊 NVIDIA 的占比。 Groq 已成功籌集顯著的融資，包括一輪由 Tiger Global Management 和 D1 Capital 共同領投的 3 億美元 C 輪融資。公司到目前為止總融資額達到 3.67 億美元，展現了投資者對其技術和市場潛力的高度期待。 應用範疇與實際案例 Groq 的 LPU 適用於各種需要快速且高效 AI 推理的應用場景，包括消費者級生成 AI 應用、自動駕駛汽...

延續上一篇 Perplexity Pro（1）：選擇 GPT4 跟 DALLE3 跟繁體中文回答 ，這篇小編繼續介紹 Perplexity 跟 Perplexity Pro 的相關功能。 Perplexity AI 的 Chrome Extension Perplexity AI 有提供 Chome Extension，可以到 Perplexity - AI Companion 下載。下載之後直接可以使用，整體介面如下： 我們可以在瀏覽任何網頁的時候點選這個插件，右上角的 Summarize 可以對網頁進行摘要，我們用 Mark Zuckerberg says Meta’s Quest 3 is the clear winner compared to Apple’s Vision Pro | CNN Business 這篇文章做示範。可以發現 GTP-4 很好的做了摘要，這邊有個缺點的是就算我們語言設定為繁體中文了，插件的語言還是不受影響一樣是英文呈現。 這時候可以手動輸入 prompt， summarize this page using 繁體中文，效果就很好了，注意這時候 Focus 的部分要選擇 This page。 調整 Focus：This Page ：使用 This Page 還有一個功能，就是可以針對 Google Search 進行彙整。 調整 Focus：All ：如果針對相同主題感興趣可以調整 Focus 為 All，這時候插件就會搜尋全網相關主題並進行摘要。 調整 Focus：This Domain ：調整為 This Domain 的時候，就只會針對網域內的主題進行彙整。這是小編目前唯一看到可以針對網域相關功能進行彙整的插件，算是一個不錯的工具。但是有缺點： 來源資料不完全 。 我們可以看到參考資料就只有 CNN 的新聞。不過仔細看來源可以發現，來源居然沒有第一篇 Mark Zuckerberg，可見這搜尋功能來源資料不完全。 寫在後面 這篇文章簡單的介紹了一下 Perplexity 的 Chrome Extension 差異和他的相關功能。整體來說，這算是一個相對輕量級的插件，可以滿足上網瀏覽資料的需求，但是進階功能例如閱讀 PDF，協助回 mail，撰寫文章，自訂 Prompt 都是沒有的，這個部分可以參考 sider 這個 ex...

Mistral 7B 是由 Mistral AI 所開發的模型，因為他的效能、多樣的應用性以及開源的特性，吸引了關注。 Mistral 7B - 73 億參數的 LLM Mistral 7B 是一款擁有 73 億參數的語言模型，其在 AI 界引起了討論，主要在於它出色的性能和效率。雖然在參數量上相對較少，但 Mistral 7B 在所有基準測試中均超越了如 Llama 2 13B 等大型模型，並在許多測試中與 Llama 1 34B 有著接近的表現。這種高效率得益於新的注意力機制，如群組查詢注意力（Grouped-query Attention, GQA）和滑動窗口注意力（Sliding Window Attention, SWA），這些機制使得模型能夠更快地進行推理，並在減少記憶體需求的同時處理更長的序列。 主要特色與能力 高效能與性能 Mistral 7B 的設計原則是在不犧牲性能的前提下，優先考慮效率。透過 GQA 和 SWA 機制，模型能夠更迅速地處理查詢，並有效管理更長的序列。這使得 Mistral 7B 特別適合於需要即時回應的應用場景。 應用的多樣性 該模型在英語語言任務和編碼任務上均表現出色，展現了其卓越的多樣性。這種雙重能力使 Mistral 7B 成為從自然語言處理、內容生成到程式碼分析和生成等多種應用的理想選擇。 開源程式碼 Mistral 7B 的一大亮點是其開源特性，遵循 Apache 2.0 授權發布。這一特性允許使用者無限制地使用、修改，可強化 AI 社群內的創新與合作。透過如 HuggingFace 等平台，進一步擴大了模型的應用範圍和實用性。 挑戰與考量 儘管 Mistral 7B 擁有不少優勢，但也面臨一些挑戰。如同許多大型語言模型一樣，它可能生成的內容不一定基於事實，有時可能導致不正確或誤導性的幻覺。此外，模型也可能受到 propmpt injection 攻擊的影響，這是一種可能操縱模型輸出的攻擊。 寫在後面 Mistral 7B AI 模型展現了在大型語言模型領域新力量。它卓越的性能、創新的架構以及對開源的承諾，使其可能成為廣泛應用於 AI 領域的首選。讀者有興趣的，可以使用 Perplexity 的 play ground 玩玩看。 參考資料 Mistral 7B | Mistral AI | Open-weight m...