最新基準(zhǔn)測(cè)試顯示，搭載 NVIDIA B200 的 Supermicro 系統(tǒng)性能優(yōu)于上一代系統(tǒng)，每秒令牌（Token）生成量是上一代系統(tǒng)的 3 倍
加利福尼亞州圣何塞2025年4月3日 /美通社/ -- Super Micro Computer, Inc. (SMCI)，是一家為 AI/ML、HPC、云端、存儲(chǔ)和 5G/Edge 提供全面 IT 解決方案的供應(yīng)商，該公司宣布使用 NVIDIA HGX? B200 8-GPU 在多個(gè) MLPerf Inference v5.0 基準(zhǔn)測(cè)試中率先實(shí)現(xiàn)了業(yè)界領(lǐng)先的性能。在特定基準(zhǔn)測(cè)試中，4U 液冷和 10U 風(fēng)冷系統(tǒng)實(shí)現(xiàn)了最佳性能。與 H200 8-GPU 系統(tǒng)相比，Supermicro 在 Llama2-70B 和 Llama3.1-405B 基準(zhǔn)測(cè)試中展示了每秒生成令牌數(shù) (Token/s) 超過(guò) 3 倍的效果。
"Supermicro 依然是人工智能行業(yè)的領(lǐng)先者，MLCommons 于 2025 年發(fā)布的首批新基準(zhǔn)測(cè)試就證明了這一點(diǎn)。"Supermicro 總裁兼首席執(zhí)行官梁見(jiàn)后（Charles Liang）表示說(shuō)，"我們的構(gòu)建塊架構(gòu)使我們能夠率先向市場(chǎng)推出針對(duì)各種工作負(fù)載進(jìn)行優(yōu)化的多種系統(tǒng)。我們將繼續(xù)與 NVIDIA 密切合作，以微調(diào)我們的系統(tǒng)，并確保在 AI 工作負(fù)載方面的領(lǐng)先地位。"
要了解有關(guān)新 mlPerf v5.0 推理基準(zhǔn)測(cè)試的更多信息，請(qǐng)?jiān)L問(wèn)：https://mlcommons.org/benchmarks/inference-datacenter/
Supermicro 是唯一一家發(fā)布風(fēng)冷和液冷 NVIDIA HGX? B200 8-GPU 系統(tǒng) MLPerf 推理性能記錄（在特定基準(zhǔn)上）的系統(tǒng)供應(yīng)商。在 MLCommons 基準(zhǔn)測(cè)試開(kāi)始日期之前，風(fēng)冷和液冷系統(tǒng)均已投入運(yùn)行。Supermicro 工程師對(duì)系統(tǒng)和軟件進(jìn)行了優(yōu)化，以展示其令人印象深刻的性能。在營(yíng)業(yè)利潤(rùn)率范圍內(nèi)，Supermicro 風(fēng)冷 B200 系統(tǒng)表現(xiàn)出與液冷 B200 系統(tǒng)相同的性能水平。在我們進(jìn)行基準(zhǔn)測(cè)試的同時(shí)，Supermicro 一直在向客戶交付這些系統(tǒng)。
MLCommons 強(qiáng)調(diào)所有結(jié)果均可重現(xiàn)，產(chǎn)品可用，并且結(jié)果可以由其他 MLCommons 成員審計(jì)。Supermicro 工程師根據(jù) MLCommons 規(guī)則對(duì)系統(tǒng)和軟件進(jìn)行了優(yōu)化。
SYS-421GE-NBRT-LCC（8x NVIDIA B200-SXM-180GB）和 SYS-A21GE-NBRT（8x NVIDIA B200-SXM-180GB）在運(yùn)行 Mixtral 8x7B 推理、混合專家基準(zhǔn)測(cè)試時(shí)表現(xiàn)出性能領(lǐng)先優(yōu)勢(shì)，速度為 129,000 個(gè) token/秒。基于 Supermicro 風(fēng)冷和液冷 NVIDIA B200 的系統(tǒng)為大型 Llama3.1-405b 型號(hào)提供了超過(guò) 1,000 個(gè) token /秒的推理，而前幾代 GPU 系統(tǒng)的結(jié)果要小得多。對(duì)于較小的推理任務(wù)，使用 LLAMA2-70b 基準(zhǔn)，安裝了 NVIDIA B200 SXM-180GB 的 Supermicro 系統(tǒng)展現(xiàn)出一級(jí)系統(tǒng)供應(yīng)商的最高性能。
具體的內(nèi)容包括：
Stable Diffusion XL（服務(wù)器）
SYS-A21GE-NBRT（8x B200-SXM-180GB）
#1 queries/s，28.92
llama2-70b-interactive-99（服務(wù)器）
SYS-A21GE-NBRT（8x B200-SXM-180GB）
#1 tokens/s，62,265.70
llama3.1-405B（脫機(jī)）
SYS-421GE-NBRT-LCC (8xb200-sxm-180GB)
#1 tokens/s 1521.74
llama3.1-405b（服務(wù)器）
SYS-A21GE-NBRT（8x B200-SXNM-180GB）
#1 tokens/s，1080.31（適用于 8 個(gè) GPU 節(jié)點(diǎn)）
mixtral-8x7b（服務(wù)器）
SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
#1 tokens/s，129,047.00
mixtral-8x7b（離線）
SYS-421GE-NBRT-LCC（8x B200-SXM-180GB）
#1 tokens/s，128,795.00
"MLCommons 祝賀 Supermicro 提交了 MLPerf Inference v5.0 基準(zhǔn)測(cè)試。我們很高興看到他們的結(jié)果與前幾代系統(tǒng)相比顯示出顯著的性能提升，"MLCommons MLPerf 負(fù)責(zé)人 David Kanter 表示說(shuō)，"客戶會(huì)對(duì)所實(shí)現(xiàn)的性能改進(jìn)感到滿意，這些改進(jìn)已得到中立、代表性和可重復(fù)的 MLPerf 結(jié)果得到驗(yàn)證。"
Supermicro 提供全面的 AI 產(chǎn)品組合，其中包括 100 多個(gè)針對(duì) GPU 優(yōu)化的系統(tǒng)，包括風(fēng)冷和液冷選項(xiàng)，以及多種 CPU 選擇，從單插槽優(yōu)化系統(tǒng)到 8 路多處理器系統(tǒng)。Supermicro 機(jī)柜級(jí)系統(tǒng)包括計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)組件，從而減少了交付到客戶現(xiàn)場(chǎng)后安裝所需的時(shí)間。
Supermicro 的 NVIDIA HGX B200 8-GPU 系統(tǒng)，采用下一代液體冷卻和空氣冷卻技術(shù)。在相同的 4U 外形尺寸下，新開(kāi)發(fā)的冷板和新型 250 千瓦冷卻劑分配單元（CDU）的冷卻能力，比上一代產(chǎn)品提高了一倍多。采用全新立式冷卻劑分配歧管 (CDM) 的機(jī)柜級(jí)設(shè)計(jì)有 42U、48U 或 52U 配置可供選擇，不再占用寶貴的機(jī)架單元。這樣便可實(shí)現(xiàn) 8 個(gè)系統(tǒng)（42U 機(jī)架中配備 64 個(gè) NVIDIA Blackwell GPU）和 12 個(gè)系統(tǒng)（52U 機(jī)架中配備 96 個(gè) NVIDIA Blackwell GPU）。
新型風(fēng)冷 10U NVIDIA HGX B200 系統(tǒng)采用重新設(shè)計(jì)的機(jī)箱，具有更大的散熱空間，可容納 8 個(gè) 1000W TDP Blackwell GPU。最多 4 個(gè)全新 10U 風(fēng)冷系統(tǒng)可以安裝并完全集成到機(jī)架中，其密度與上一代相同，同時(shí)提供高達(dá) 15 倍的推理和 3 倍的訓(xùn)練性能。
關(guān)于Super Micro Computer, Inc.
Supermicro（納斯達(dá)克股票代碼：SMCI）是應(yīng)用優(yōu)化整體IT解決方案的全球領(lǐng)軍企業(yè)。Supermicro在加利福尼亞州圣何塞成立并運(yùn)營(yíng)，致力于為企業(yè)、云、 AI和5G Telco/Edge IT基礎(chǔ)設(shè)施提供率先進(jìn)入市場(chǎng)的創(chuàng)新技術(shù)。我們是一家提供服務(wù)器、人工智能、存儲(chǔ)、物聯(lián)網(wǎng)、交換機(jī)系統(tǒng)、軟件和支持服務(wù)的整體IT解決方案提供商。Supermicro的主板、電源和機(jī)箱設(shè)計(jì)專業(yè)知識(shí)進(jìn)一步推動(dòng)了我們的開(kāi)發(fā)和生產(chǎn)，為我們的全球客戶實(shí)現(xiàn)了從云到邊緣的下一代創(chuàng)新。我們的產(chǎn)品均在公司內(nèi)部（包括美國(guó)、亞洲和荷蘭）完成設(shè)計(jì)和制造，通過(guò)全球運(yùn)營(yíng)實(shí)現(xiàn)規(guī)模和效益，從而優(yōu)化總體擁有成本（TCO），并能夠（通過(guò)綠色計(jì)算）減少對(duì)環(huán)境的影響。屢獲殊榮的Server Building Block Solutions®產(chǎn)品組合通過(guò)我們靈活可重復(fù)使用的構(gòu)建塊，為客戶提供了豐富的可選系統(tǒng)產(chǎn)品系列，用于優(yōu)化其確切的工作負(fù)載和應(yīng)用。這些構(gòu)建塊支持全系列外形規(guī)格、處理器、內(nèi)存、GPU、存儲(chǔ)、網(wǎng)絡(luò)、電源和冷卻解決方案（空調(diào)、自然空氣冷卻或液體冷卻）。
Supermicro、Server Building Block Solutions和We Keep IT Green是Super Micro Computer, Inc.的商標(biāo)和/或注冊(cè)商標(biāo)。
