北京2025年2月26日 /美通社/ -- 浪潮信息元腦R1推理服務(wù)器已完成對開源框架SGLang最新版本的深度適配，成功實(shí)現(xiàn)在單機(jī)高性能運(yùn)行DeepSeek R1 671B模型時可最大支持超過1000路的用戶并發(fā)訪問。
DeepSeek R1參數(shù)量達(dá)到6710億，采用了MLA注意力機(jī)制和共享專家、路由專家共同組成的混合專家(MoE)架構(gòu)，其創(chuàng)新的模型架構(gòu)也帶來了在推理服務(wù)上的性能挑戰(zhàn)。浪潮信息團(tuán)隊(duì)從AI服務(wù)器和推理框架入手開展了協(xié)同優(yōu)化工作。
元腦R1推理服務(wù)器NF5688G7原生搭載FP8計(jì)算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失，1128GB HBM3e高速顯存滿足671B模型 FP8精度下不低于800GB顯存容量的需求，單機(jī)支持全量模型推理情況下，仍保留充足的KV緩存空間。顯存帶寬高達(dá)4.8TB/s，完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術(shù)特征，在推理解碼階段可實(shí)現(xiàn)極致加速。在通信方面，GPU P2P帶寬達(dá)900GB/s，保障單機(jī)部署張量并行最佳通訊性能。
SGLang是新興的開源推理框架項(xiàng)目，其得到活躍的社區(qū)支持，并在工業(yè)界獲得了廣泛應(yīng)用。SGlang的核心特性包括：快速的后端運(yùn)行時、靈活的前端語言、廣泛的模型支持等。尤其值得關(guān)注的是，SGLang針對MLA注意力機(jī)制開展了針對性的工程優(yōu)化，并在框架上對MoE架構(gòu)的推理做了優(yōu)化設(shè)計(jì)。SGLang也是最早適配DeepSeek v3和R1的優(yōu)選推理框架之一。
目前，元腦R1推理服務(wù)器 NF5688G7已完成SGLang最新版本 0.4.3的適配優(yōu)化工作。通過硬件調(diào)優(yōu)、算子優(yōu)化、混合并行、多token預(yù)測等多方面的工程實(shí)踐，在元腦R1推理服務(wù)器 NF5688G7上運(yùn)行DeepSeek 671B R1模型，成功實(shí)現(xiàn)了單用戶解碼最高33 tokens/s及最大用戶并發(fā)超1000的優(yōu)異性能表現(xiàn)。
單路并發(fā)性能測試日志，根據(jù)TPOT換算用戶解碼性能為33.3 tokens/s
DeepSeek R1 671B是一個稀疏度較高的MoE架構(gòu)模型，具有模型參數(shù)量大、計(jì)算量小的特點(diǎn)。和Dense模型相比，在滿足KV cache的顯存占用的前提下，可以支持更高的并發(fā)訪問需求。實(shí)測數(shù)據(jù)表明，基于單臺NF5688G7，在使用DeepSeek R1進(jìn)行帶思維鏈深度思考的短輸入長輸出的問答場景下，使用100/1000作為輸入輸出長度，實(shí)測在單個用戶并發(fā)時的解碼性能為33.3tokens/s；在16個用戶并發(fā)時，每個用戶有約20 tokens/s的解碼性能；在64個用戶并發(fā)時，每個用戶有約10.4 tokens/s的解碼性能。而在使用1024個用戶并發(fā)訪問的極限測試時，單臺NF5688G7實(shí)現(xiàn)了3975.76 tokens/s的吞吐性能，可以滿足超高并發(fā)場景下多用戶使用需求。
1024路并發(fā)性能測試日志，測試使用了1000/1000的輸入輸出長度，實(shí)現(xiàn)了3975.76 tokens/s的總設(shè)備吞吐
浪潮信息團(tuán)隊(duì)正與業(yè)內(nèi)團(tuán)隊(duì)密切合作，在計(jì)算架構(gòu)、算子調(diào)優(yōu)、并行策略、框架適配、調(diào)度管理等多個方面持續(xù)發(fā)力，旨在為用戶帶來高性能、高效穩(wěn)定、性價比高的DeepSeek大模型部署服務(wù)方案，助力大模型快速落地應(yīng)用。
浪潮信息是全球領(lǐng)先的IT基礎(chǔ)設(shè)施產(chǎn)品、方案和服務(wù)提供商，通過發(fā)展新一代以系統(tǒng)為核心的計(jì)算架構(gòu)，打造開放、多元、綠色的元腦智算產(chǎn)品和方案。浪潮信息致力于AI計(jì)算平臺、資源平臺和算法平臺的研發(fā)創(chuàng)新，并通過元腦生態(tài)攜手領(lǐng)先伙伴，加速人工智能的創(chuàng)新和應(yīng)用落地。
