跳到主要內容

發表文章

目前顯示的是有「數據中心」標籤的文章

2023 年科技創新亮點:CoolIT 的液體冷卻解決方案

CoolIT Systems CoolIT Systems 於 2001 年成立,已將自己確立為直接液體冷卻(DLC)技術的領導者,應用於高性能計算(HPC)、雲端和企業市場。公司開始於專注於透過冷卻技術方案提升遊戲玩家的電腦性能。多年來,CoolIT 已經演變,擴大其範圍以包括數據中心和高性能計算環境,這是由於對能源效率高且密度高的冷卻解決方案的需求日益增加造成。 CoolIT 成長故事 CoolIT 的故事是創新和成長的故事,從一個單純為了幫助遊戲玩家的地下室專案開始,到成為電腦液體冷卻的全球領導者。公司的成功由其顯著的收入增長凸顯,2020 年達到創紀錄的 9400 萬美元,並在數據中心和桌機市場上達到歷史水平的訂單。這一增長軌跡得到了戰略合作夥伴關係和投資的支持,在 2023 年被 KKR 收購,為了擴大公司的全球客戶基礎並增強其產品供應。 產品和解決方案 CoolIT 的產品核心是其專利的直接液體冷卻技術,Rack DLC™,它使用溫水而不是冷空氣來散熱電腦和伺服器組件。 CoolIT 專注於液體冷卻解決方案,為了滿足世界上最嚴苛的計算環境的需求。公司的產品生態系統包括冷卻液分配單元(Coolant Distribution Units,CDU)、次級流體網絡(Secondary Fluid Networks,SFN)、機架匯流排和被動冷板迴路(Passive Coldplates,PCL),這些都是 DLC 解決方案的組成部分。這些產品被設計來支援任何伺服器、機架配置和數據中心環境,使伺服器技術能夠達到其性能巔峰。 客戶和合作 CoolIT 的客戶基礎橫跨各個部門,包括 HPC、企業和雲端服務提供商。公司一直是 HPE、Intel、Gigabyte 和 Supermicro 等領先技術組織的信賴合作夥伴。CoolIT 的合作擴展到與 GIGABYTE 合作提供工廠安裝的液冷伺服器,展示了公司支持高密度和能源效率數據中心部署的承諾。 寫在後面 全球資料中心液體冷卻市場正在經歷顯著增長,這是由於資料中心對高效率冷卻方案的需求不斷增加所造成。該市場在 2021-2022 年的估值約為 18-24 億美元,預計到 2028-2033 年將達到 106-399 億美元,在預測期內的年複合增長率為 23-25%。液態冷卻系統對手如 Rittal, Fujitsu, ...

Nvidia SXM:高效能計算的連接方案

Nvidia 的 SXM(Server PCI Express Module),是個連接高效能計算加速器如 GPU 至系統的高頻寬方案。這項技術支援 Nvidia 多代的高性能 Tensor Core GPU,包括 Pascal、Volta、Ampere 與 Hopper 等架構。 主要特色與優勢 高頻寬與高功率 SXM 插槽以其卓越的頻寬能力聞名,對於機器學習應用和數據中心的高負荷工作至關重要。相較於傳統 PCIe 連接,SXM 提供了更為優異的功率輸出,這對於滿足 Nvidia Tensor Core GPU 的高性能需求非常關鍵。 NVLink 與 NVSwitch 技術 SXM 模組通常整合了 NVLink 交換機,這讓 GPU 之間的通信更加迅速,有效減少了 CPU 和 PCIe 中常見的瓶頸問題。例如,採用 Hopper 架構的 H100 SXM5 GPU,能夠透過 18 個 NVLink 4 通道,達到高達 900GB/s 的頻寬。 高效能冷卻與電源管理 SXM 插槽同時負責電源供應,省去了 PCIe 卡所需的外接電源線。這種設計加上水平安裝方式,使得冷卻效率更高,讓基於 SXM 的 GPU 能在更高性能下運作。舉例來說,Hopper 架構的 H100 僅透過 SXM 插槽就能提供高達 700W 的功率。 系統組裝簡化 SXM 基礎的系統由於沒有利用纜線連結,使得大型系統的組裝與維修更為簡便,同時降低了潛在的故障點。這對於對維護和系統可靠性要求極高的數據中心來說,方便了不少。 Nvidia 生態系統中的 SXM DGX 與 HGX 平台 Nvidia 的 DGX 和 HGX 平台採用 SXM 插槽,為 AI 和機器學習領域提供高性能計算能力。DGX 系統就配備了支援高頻寬和功率輸出的 SXM 插槽,以滿足 Tensor Core GPU 的需求。這些系統具有良好的擴展性,能夠加速訓練過程,並更有效地部署如 GPT-4 這樣的大型語言模型 (LLM)。 客製化與性能表現 HGX 平台提供了客製化選項,用戶可以根據自己的需求選擇記憶體、儲存和網路配置,同時享受 SXM 形式因素帶來的高性能優勢,讓數據中心能夠針對特定需求進行系統定制。 不同世代的插槽 Nvidia 推出了多個世代的 SXM 插槽,如針對 Volta GPU 的 SXM2、針對 Ampere...

AMD 對 Nvidia 挑戰:MI300X 和 MI300A 加速器

AMD 推出 MI300X 和 MI300A 在 AI 和高效能運算(HPC)迅速發展的現在,AMD 推出 Instinct MI300X 加速器和 MI300A 加速處理單元(APU),正式挑戰 Nvidia 的霸主地位。這些產品充份的展現了 AMD 挑戰 Nvidia 在 AI 晶片市場主導地位的野心。 Instinct MI300X:AI 加速的新 Benchmark Instinct MI300X 以其強大的生成 AI 工作負載和 HPC 應用能力脫穎而出。基於 AMD 先進的 CDNA™ 3 架構,配置了 304 個 GPU 和 192 GB HBM3 記憶體。MI300X 的配置讓它在 AI 訓練工作負載上的表現比前代產品提升約 6.8 倍,使其在 AI 晶片領域成為一股強大的力量。 MI300X 與 Nvidia:設立新標準 MI300X 最顯著的一點是其與 Nvidia 的 H100 晶片的性能比較。在訓練和運行大型語言模型(LLMs)方面,MI300X 不僅匹敵,還超越了 H100,特別是在推理任務上。這證明了 AMD 努力於推動 AI 晶片性能的極限。 Instinct MI300A:連接 AI 與 HPC MI300A APU 是 AMD 同步推出的的另一項產品,目的是為了加速 AI 與 HPC 的融合。它結合了 AMD Instinct 加速器和 AMD EPYC™ 處理器的功能,提供 228 個 GPU 運算單元和 128 GB 統一 HBM3 記憶體。這種整合帶來了增強的效率、靈活性和可編程性,使 MI300A 成為多種運算需求的多功能解決方案。 對數據中心和超級計算的影響 MI300X 和 MI300A 預計將對數據中心運營和超級計算電腦帶來革命性的變化。特別是 MI300A,預計將為勞倫斯利弗莫爾國家實驗室的 El Capitan 超級計算機提供超過兩 exaflops 的性能。這一部署凸顯了 AMD 新晶片在推進科學研究和高效能運算方面的潛力。 AMD 的戰略合作夥伴關係和市場擴張 AMD 與 Microsoft 和 Meta 的合作突顯了這些新產品的戰略重要性。MI300X 整合到 Azure 虛擬機器中,並部署在 Meta 的數據中心,標誌著 AMD 在雲計算和數據中心市場中影響力的擴大。 寫在後面:AMD 在 AI 晶片市場的...

AI 伺服器的熱挑戰:冷卻技術簡介

AI 伺服器的熱挑戰 AI 伺服器雖然是運算高手,但也帶來不小的熱問題。隨著 AI 伺服器越來越強,傳統的風扇散熱方式已經逐漸"功虧一簣"。這不只影響機器效能,也對環境造成壓力。小編試著整理一些文章做了簡介,如果有錯誤還麻煩高手指教刊誤。 液態冷卻:新時代的選擇 據 Forbes 報導,液態冷卻正快速成為 AI 伺服器的新常態。比起傳統風扇,液態冷卻更為高效,有單相和雙相等不同方式。單相冷卻使用一種液態冷卻液吸熱,而不會改變自身狀態。而雙相冷卻則利用液體與蒸氣的變化進行熱交換。 浸液式冷卻:效率的新層次 Equus Compute Solutions 提及的浸液式冷卻是把伺服器零件全部浸入冷卻液中。這方法特別適合需求高的計算機和數據中心。它也有單相和雙相兩種模式,各有特色與用途。 液態冷卻與浸液式冷卻:一較高下 當我們討論冷卻方式時,常常會聚焦在液態冷卻和浸液式冷卻上。CES Corporation 的文章指出,液態冷卻是利用冷卻液透過管道流動,直接冷卻硬體組件。這方式確實有效,但一般適合需求在每架 10 到 15 kW 電力的情境。而浸液式冷卻則是把整組硬體裝置完全浸入一種非導電的液體中,這讓它在需要每架超過 100 kW 的高密度場合更具優勢。液態冷卻的安裝較為簡單且初期投資較低,但浸液式冷卻在能效上表現更佳,特別適合大型數據中心。雖然這兩種方法都有各自的利弊,但浸液式冷卻在未來的 AI Server 中,逐漸展現出它更高的效率和持續性。 直接冷卻芯片 直接冷卻芯片或稱 D2C 是一種直接讓冷卻液接觸熱源如 CPU 或 GPU 的方式。這方法不僅提高散熱效率,尤其適合密集或高負荷的環境。 AI 輔助的熱控制 如 IEEE 的研究所述,AI 也投入到數據中心的熱控制之中。透過 AI 的優化,不僅改進工作流程,還能消除熱點,為熱控制增加了新的效率層次。 寫在後面 AI 伺服器冷卻技術日新月異,液態和浸液式冷卻目前算是主流技術。展望未來,這些冷卻技術將指引我們走向更快速的運算與更環保環境。 參考資料 Heat dissipation in high demand for AI servers   https://www.forbes.com/sites/forbestechcouncil/2023/09/11/ai-liquid-cooling-a...

Nvidia 的財務長:AI 是提高效率的關鍵(繼續買阿~不要停)

MarketWatch 的 一篇報導 中說到,Nvidia 的財務長 Colette Kress 最近在摩根士丹利科技媒體和電信會議上發表演講,表示企業應該將更多的資金投入到像人工智慧(AI)等技術上,而不是縮緊預算。