omniture

Supermicro推出三款基于NVIDIA技術的全堆棧結構、可立即部署型生成式AI SuperCluster,從企業(yè)級擴展到大型LLM基礎架構

美超微電腦股份有限公司
2024-03-22 14:00 6117

全棧式SuperCluster包括氣冷、液冷訓練與云端級推理機柜配置,并搭載全新NVIDIA Tensor Core GPU、網(wǎng)絡與NVIDIA AI Enterprise軟件

美國圣何塞2024年3月22日 /美通社/ -- Supermicro, Inc.(納斯達克股票代碼:SMCI作為AI、云端、儲存和5G/邊緣領域的全方位IT解決方案制造商,宣布推出其最新產(chǎn)品組合,加速生成式AI部署。Supermicro SuperCluster解決方案能為目前及未來大型語言模型(Large Language Model,LLM)硬件基礎設施提供核心建構組件。

Supermicro三款強大的SuperCluster解決方案現(xiàn)已上市并可被用于生成式AI工作運行。這些解決方案內(nèi)的4U液冷系統(tǒng)或8U氣冷系統(tǒng)是專為強大LLM訓練性能以及高度批次大小且大量的LLM推理所設計。配備了1U氣冷Supermicro NVIDIA MGXTM系統(tǒng)的第三款SuperCluster超級集群則針對云端級推理進行了優(yōu)化。

Supermicro總裁兼首席執(zhí)行官梁見后(Charles Liang)表示:"在AI時代,算力以集群來衡量,不再只用服務器數(shù)量作為依據(jù)。我們的全球制造產(chǎn)能已擴大到每月5,000臺機柜,能比以往更快地為客戶提供完整生成式AI計算集群。只需通過我們采用400Gb/s NVIDIA Quantum-2 InfiniBand和Spectrum-X Ethernet網(wǎng)絡技術的數(shù)個可擴充型集群建構組件,一個64節(jié)點的計算集群能支持具有72TB HBM3e的512個NVIDIA HGX H200 GPU。結合了NVIDIA AI Enterprise軟件的Supermicro SuperCluster解決方案非常適合用于針對現(xiàn)今企業(yè)與云端基礎架構的LLM訓練,且最高可達兆級參數(shù)?;ミB的GPU、CPU、內(nèi)存、儲存、以及網(wǎng)絡硬件在被部署至機柜內(nèi)的多個節(jié)點后形成現(xiàn)今AI技術的基礎。Supermicro的SuperCluster解決方案為快速發(fā)展的生成式AI與LLM提供了核心建構組件。"

欲了解Supermicro AI SuperCluster的詳細信息,請訪問:www.supermicro.com/ai-supercluster

NVIDIA GPU產(chǎn)品管理副總裁Kaustubh Sanghani表示:"NVIDIA最新型GPU、CPU、網(wǎng)絡與軟件技術助力能讓系統(tǒng)制造者為全球市場內(nèi)不同類型的下一代AI工作運行實現(xiàn)加速。通過結合基于Blackwell架構產(chǎn)品的NVIDIA加速計算平臺,Supermicro能提供客戶所需要的前沿服務器系統(tǒng),且這些系統(tǒng)可容易地被部署至數(shù)據(jù)中心。"

Supermicro 4U NVIDIA HGX H100/H200 8-GPU系統(tǒng)通過液冷技術使8U氣冷系統(tǒng)計算密度加倍,同時降低功耗量與總體擁有成本(TCO)。這些系統(tǒng)旨在為了支持下一代NVIDIA的Blackwell架構GPU。Supermicro冷卻分配單元(Cooling Distribution Unit,CDU)與冷卻分配分流管(Cooling Distribution Manifold,CDM)是主要冷卻液流動脈絡,可將冷卻液輸送至Supermicro定制的直達芯片(Direct-to-Chip,D2C)冷板,使GPU和CPU處于最佳運行溫度,進而實現(xiàn)效能最大化。此散熱技術可使一整座數(shù)據(jù)中心電力成本降低最多40%,同時節(jié)省數(shù)據(jù)中心占地空間。欲深入了解Supermicro液冷技術,請訪問:https://www.supermicro.com/en/solutions/liquid-cooling

搭載NVIDIA HGX H100/H200 8-GPU的系統(tǒng)非常適合用于訓練生成式Al。通過NVIDIA® NVLink®技術高速互連的GPU,以及高GPU內(nèi)存帶寬與容量,將成為符合成本效益地運行LLM的核心關鍵。Supermicro的SuperCluster具備龐大GPU共享資源,能作為一個AI超級計算機進行計算作業(yè)。

無論是導入一個最初就以數(shù)兆級詞元(token)數(shù)據(jù)集進行完整訓練的大型基礎模型,或開發(fā)一個云端級LLM推理基礎架構,具有無阻式400Gb/s網(wǎng)絡結構的脊葉網(wǎng)絡拓撲(Spine and Leaf Network Topology)都能從32個計算節(jié)點順暢地擴展至數(shù)千個節(jié)點。針對完全整合的液冷系統(tǒng),Supermicro在產(chǎn)品出廠前會憑借經(jīng)認證的測試流程徹底驗證與確保系統(tǒng)運行有效性與效率。

采用了NVIDIA GH200 Grace Hopper Superchip的Supermicro NVIDIA MGX?系統(tǒng)設計將能打造出未來AI計算集群的架構樣式以解決生成式AI的關鍵瓶頸:運行高推理批次大小的LLM所需的GPU內(nèi)存帶寬及容量,進而降低運營成本。具有256節(jié)點的計算集群能實現(xiàn)云端級大量推理算力引擎,并易于部署與擴充。


配置4U液冷系統(tǒng)的5組機柜或8U氣冷系統(tǒng)的9組機柜型SuperCluster

  • 單一可擴充單元含256個NVIDIA H100/H200 Tensor Core GPU
  • 液冷技術可支持512個GPU、64個節(jié)點,而其體積空間等同于搭載256個 GPU的氣冷式32節(jié)點解決方案
  • 單一可擴充單元含具有20TB HBM3的NVIDIA H100或具有36TB HBM3e的NVIDIA H200
  • 一對一網(wǎng)絡傳輸結構可為每個GPU提供最高400 Gbps帶寬,并支持 GPUDirect RDMA與GPUDirect Storage技術,實現(xiàn)最高兆級參數(shù)的LLM訓練
  • 400G InfiniBand或400GbE Ethernet網(wǎng)絡交換器結構采用高度可擴充型脊葉網(wǎng)絡拓撲技術,包括NVIDIA Quantum-2 InfiniBand和NVIDIA Spectrum-X Ethernet網(wǎng)絡平臺
  • 可定制化AI數(shù)據(jù)管道儲存結構具有業(yè)界領先的平行文件系統(tǒng)選項技術
  • 搭載NVIDIA AI Enterprise 5.0軟件,可支持可加速大規(guī)模AI 模型部署的新型NVIDIA NIM推理微服務

配置1U氣冷NVIDIA MGX系統(tǒng)的9組機柜型SuperCluster

  • 單一可擴充單元含256個GH200 Grace Hopper Superchips
  • 最高可達144GB HBM3e加480GB LPDDR5X的統(tǒng)一內(nèi)存,適用于云端級、大量、低延遲和高批次推理,并能在單一計算節(jié)點中容納超過700億個參數(shù)規(guī)模的模型
  • 400G InfiniBand或400GbE Ethernet網(wǎng)絡交換器結構采用了高度可擴充型脊葉網(wǎng)絡拓撲技術
  • 每節(jié)點最多含8個內(nèi)建E1.S NVMe儲存裝置
  • 可定制化AI數(shù)據(jù)管道儲存結構搭配NVIDIA BlueField®-3 DPU與領先業(yè)界的平行文件系統(tǒng)選項,能為每個GPU提供高傳輸量、低延遲的儲存裝置存取
  • NVIDIA AI Enterprise 5.0軟件

通過GPU間可實現(xiàn)的優(yōu)異互連性能,Supermicro的SuperCluster解決方案針對LLM訓練、深度學習,以及大量且高批次推理進行了優(yōu)化。Supermicro的L11和L12驗證測試結合了現(xiàn)場部署服務,可為客戶提供無縫體驗??蛻羰盏郊床寮从玫目蓴U充單元后能實現(xiàn)數(shù)據(jù)中心內(nèi)的輕松部署,并可更快獲取成果。

關于Super Micro Computer, Inc.

Supermicro(納斯達克股票代碼:SMCI)是應用優(yōu)化全方位IT解決方案的全球領導企業(yè)。Supermicro的成立據(jù)點及營運中心位于美國加州圣何塞,致力為企業(yè)、云端、AI和5G電信/邊緣IT基礎架構提供領先市場的創(chuàng)新技術。我們是全方位IT解決方案制造商,提供服務器、AI、存儲、物聯(lián)網(wǎng)、交換器系統(tǒng)、軟件及支持服務。Supermicro的主板、電源和機殼設計專業(yè)知識進一步優(yōu)化我們的開發(fā)與生產(chǎn),為我們的全球客戶實現(xiàn)從云端到邊緣的下一代創(chuàng)新。我們的產(chǎn)品皆由企業(yè)內(nèi)部團隊設計及制造(在美國、亞洲及荷蘭),經(jīng)由產(chǎn)品設計優(yōu)化降低總體擁有成本(TCO),并通過綠色計算技術減少環(huán)境沖擊,且在全球化營運下達到極佳的制造規(guī)模與效率。屢獲殊榮的Server Building Block Solutions®產(chǎn)品組合使客戶能從極多元系統(tǒng)產(chǎn)品線內(nèi)選擇合適的機型,進而將工作負載與應用達到最佳效能。多元系統(tǒng)產(chǎn)品線由高度彈性、可重復使用的建構組件打造而成,而這些建構組件支持各種硬件外形規(guī)格、處理器、內(nèi)存、GPU、存儲、網(wǎng)絡、功耗和散熱解決方案(空調(diào)、自然氣冷或液冷)。

Supermicro、Server Building Block Solutions和We Keep IT Green皆為Super Micro Computer, Inc. 的商標和/或注冊商標。

所有其他品牌、名稱和商標皆為其各自所有者之財產(chǎn)。

消息來源:美超微電腦股份有限公司
相關股票:
NASDAQ:SMCI
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection