北京2025年7月21日 /美通社/ --浪潮信息宣布元腦企智一體機(jī)已率先完成對(duì)Kimi K2 萬(wàn)億參數(shù)大模型的適配支持，并實(shí)現(xiàn)單用戶70 tokens/s的流暢輸出速度，為企業(yè)客戶高效部署應(yīng)用大模型提供高處理性能和完善的軟件工具平臺(tái)支持。

Kimi K2是月之暗面推出的開(kāi)源萬(wàn)億參數(shù)大模型，創(chuàng)新使用了MuonClip優(yōu)化器進(jìn)行訓(xùn)練，大幅提升了模型的學(xué)習(xí)效率。K2在代碼生成、數(shù)學(xué)推理、Agent多步驟任務(wù)上展現(xiàn)出領(lǐng)先能力，評(píng)測(cè)指標(biāo)達(dá)到業(yè)界領(lǐng)先水平。自發(fā)布以來(lái)，K2在開(kāi)發(fā)者和研究社區(qū)引起廣泛關(guān)注，迅速獲得在編碼輔助和Agent驅(qū)動(dòng)自動(dòng)化任務(wù)中的部署應(yīng)用。

Kimi K2的模型總參數(shù)量達(dá)1萬(wàn)億，激活參數(shù)為320億。K2使用混合專(zhuān)家（MoE）模型結(jié)構(gòu)，較DeepSeek V3采用了更大的參數(shù)量和更多的專(zhuān)家數(shù)。K2模型1萬(wàn)億的參數(shù)量對(duì)AI計(jì)算系統(tǒng)提出至少1TB的顯存容量需求，384個(gè)路由專(zhuān)家所帶來(lái)的專(zhuān)家負(fù)載不均衡性對(duì)推理速度有很大影響。目前業(yè)界可公開(kāi)訪問(wèn)的K2 API的輸出速度一般低于20 tokens/s，這樣較低的性能對(duì)于編程或Agent類(lèi)場(chǎng)景很不友好，會(huì)嚴(yán)重影響用戶體驗(yàn)。Kimi K2憑借其為智能體任務(wù)設(shè)計(jì)的架構(gòu)和優(yōu)秀的智能體驗(yàn)，展現(xiàn)出巨大的應(yīng)用潛力，但提升推理速度和輸出穩(wěn)定性是其成為可信賴(lài)的生產(chǎn)力工具需要解決的核心挑戰(zhàn)。

元腦企智一體機(jī)采用元腦服務(wù)器NF5688G7作為算力底座，其搭載FP8計(jì)算引擎，配備1128GB HBM3e高速顯存，單臺(tái)服務(wù)器即可支持K2 萬(wàn)億參數(shù)全量模型部署。NF5688G7服務(wù)器具備900GB/s的GPU P2P帶寬，為Kimi K2提供了專(zhuān)家間高速并行通信，最大化并行效率。該服務(wù)器可支持3200Gbps的RDMA擴(kuò)展網(wǎng)絡(luò)，為預(yù)填充-解碼分離部署和大規(guī)模專(zhuān)家并行預(yù)留了充足的擴(kuò)展空間。

浪潮信息已完成元腦企智一體機(jī)對(duì)K2的適配，支持64K上下文長(zhǎng)度和多路用戶實(shí)時(shí)并發(fā)訪問(wèn)。基于SGLang推理框架，通過(guò)減少M(fèi)oE對(duì)齊塊大小內(nèi)核的小批量模式開(kāi)銷(xiāo)和fused_moe的內(nèi)存消耗，并復(fù)用deepGEMM等高效算子，實(shí)現(xiàn)單用戶并發(fā)下輸出速度超過(guò)70 tokens/s，25用戶并發(fā)時(shí)每用戶輸出速度超過(guò)25 tokens/s。優(yōu)化后的計(jì)算性能可保證用戶在進(jìn)行復(fù)雜的代碼生成、長(zhǎng)文本書(shū)寫(xiě)或Agent調(diào)用時(shí)，能夠獲得流暢、低延遲的交互體驗(yàn)。

SGLang啟動(dòng)K2推理服務(wù)，用戶交互時(shí)的解碼速度

元腦企智一體機(jī)提供了元腦企智（EPAI）平臺(tái)與K2大模型的無(wú)縫集成，為企業(yè)用戶提供了一套軟硬件協(xié)同優(yōu)化、開(kāi)箱即用的端到端大模型私有化部署解決方案。通過(guò)元腦企智平臺(tái)，企業(yè)可利用低代碼、可視化界面，便捷地進(jìn)行數(shù)據(jù)準(zhǔn)備、模型微調(diào)、知識(shí)檢索（RAG）和智能體（Agent）構(gòu)建。

元腦企智一體機(jī)已成功部署于金融、制造、能源、醫(yī)療等多個(gè)關(guān)鍵行業(yè)，幫助企業(yè)快速、安全、經(jīng)濟(jì)地構(gòu)建專(zhuān)屬大模型應(yīng)用，加速產(chǎn)業(yè)智能化轉(zhuǎn)型步伐。

浪潮信息是全球領(lǐng)先的IT基礎(chǔ)設(shè)施產(chǎn)品、方案和服務(wù)提供商，通過(guò)發(fā)展新一代以系統(tǒng)為核心的計(jì)算架構(gòu)，打造開(kāi)放、多元、綠色的元腦智算產(chǎn)品和方案。浪潮信息致力于AI計(jì)算平臺(tái)、資源平臺(tái)和算法平臺(tái)的研發(fā)創(chuàng)新，并通過(guò)元腦生態(tài)攜手領(lǐng)先伙伴，加速人工智能的創(chuàng)新和應(yīng)用落地。

審核編輯 黃宇