近日，在江蘇鯤鵬?昇騰生態(tài)創(chuàng)新中心的全程支持下，江蘇潤(rùn)和軟件股份有限公司（以下簡(jiǎn)稱“潤(rùn)和軟件”）自主研發(fā)的AIRUNS訓(xùn)推一體化平臺(tái)完成與搭載昇騰910C芯片的Atlas 800T A3訓(xùn)練服務(wù)器的深度兼容性認(rèn)證。同時(shí)，潤(rùn)和軟件成為全國(guó)首批完成基于“910C昇騰加速庫(kù)”開(kāi)發(fā)與適配認(rèn)證的企業(yè)，充分彰顯了公司在昇騰AI加速技術(shù)上的先進(jìn)性與全面性。

潤(rùn)和軟件AIRUNS訓(xùn)推一體化平臺(tái)完成與搭載昇騰910C芯片的Atlas 800T A3訓(xùn)練服務(wù)器的深度兼容性認(rèn)證

測(cè)試結(jié)果表明，AIRUNS訓(xùn)推一體化平臺(tái)在模型接入、推理調(diào)度、底層加速等多個(gè)關(guān)鍵環(huán)節(jié)全面適配昇騰硬件特性，能夠在昇騰910C平臺(tái)上穩(wěn)定釋放大模型推理性能，實(shí)現(xiàn)高吞吐、低時(shí)延與強(qiáng)穩(wěn)定性的統(tǒng)一，進(jìn)一步夯實(shí)了平臺(tái)在智算場(chǎng)景中的工程化與規(guī)模化能力。

潤(rùn)和軟件AIRUNS推理能力和昇騰原生框架mindIE性能對(duì)比

AIRUNS訓(xùn)推一體化平臺(tái)的推理能力，由模型網(wǎng)關(guān)、模型服務(wù)及模型引擎三大子系統(tǒng)協(xié)同提供。其模型服務(wù)與模型引擎通過(guò)與昇騰910C芯片的深度適配，不僅充分釋放了底層算力，更使平臺(tái)的整體推理效能獲得了大幅增強(qiáng)。

潤(rùn)和軟件AIRUNS訓(xùn)推一體化平臺(tái)推理能力架構(gòu)示意圖

1模型服務(wù)

圍繞昇騰異構(gòu)加速特性及高速互聯(lián)特性，對(duì)昇騰算力體系進(jìn)行了深度適配，是對(duì)“模型即服務(wù)”的工程化抽象。

核心技術(shù)：

模型實(shí)例編排器：支持在昇騰910C上動(dòng)態(tài)啟動(dòng)單卡、多卡、多機(jī)、流水線并行實(shí)例。

混合解耦調(diào)度架構(gòu)：將Encode、Prefill與Decode分配到不同的昇騰計(jì)算實(shí)例上執(zhí)行，減少資源競(jìng)爭(zhēng)，實(shí)現(xiàn)資源靈活分配。

動(dòng)態(tài)PD分離：根據(jù)KV占用、Sequence Length、自回歸速率動(dòng)態(tài)調(diào)整策略。

在線、離線協(xié)同：支持在同一910C計(jì)算卡上同時(shí)存在推理實(shí)例與離線微調(diào)任務(wù)，通過(guò)算力卸載和隔離實(shí)現(xiàn)兼容運(yùn)行。

全局KV緩存協(xié)同：模型服務(wù)層通過(guò)智能化緩存調(diào)度框架，將分布式KV狀態(tài)在多節(jié)點(diǎn)間高效組織。

價(jià)值體現(xiàn)：通過(guò)服務(wù)化治理與智能調(diào)度，顯著提升模型部署效率、服務(wù)可靠性與集群整體吞吐能力。

2模型引擎

負(fù)責(zé)在昇騰芯片算子級(jí)、圖級(jí)、內(nèi)存級(jí)的極致性能優(yōu)化，是AIRUNS訓(xùn)推一體化平臺(tái)與昇騰深度適配的核心能力。

核心技術(shù)：

圖級(jí)并行融合：整合昇騰芯片計(jì)算路徑與通信鏈路，使通信與算子執(zhí)行自然重合，減少圖執(zhí)行的等待窗口。

關(guān)鍵算子專項(xiàng)加速：結(jié)合昇騰硬件特性，適配PageAttention、AllReduce等關(guān)鍵算子，使動(dòng)態(tài)形態(tài)推理保持穩(wěn)定高效。

計(jì)算圖流水化調(diào)度：基于事件驅(qū)動(dòng)對(duì)請(qǐng)求、計(jì)算圖和算子級(jí)執(zhí)行的多級(jí)拆分與異步化編排。

MoE模型優(yōu)化：通過(guò)?專家復(fù)制和?預(yù)測(cè)策略實(shí)現(xiàn)多NPU間專家處理?token不均的問(wèn)題。

價(jià)值體現(xiàn)：依托深度圖優(yōu)化與硬件級(jí)加速，全面釋放昇騰算力潛能，實(shí)現(xiàn)推理性能的倍級(jí)增強(qiáng)與資源利用最優(yōu)化。

作為昇騰生態(tài)的緊密合作伙伴，潤(rùn)和軟件依托開(kāi)源鴻蒙和開(kāi)源歐拉雙重技術(shù)基座優(yōu)勢(shì)，構(gòu)建了從操作系統(tǒng)、中間件到AI大模型的全棧能力。通過(guò)自主研發(fā)昇騰行業(yè)AI解決方案、昇騰算子加速庫(kù)、DeepSeek全場(chǎng)景“云-邊-端”智能生態(tài)體系等，潤(rùn)和軟件在金融、電網(wǎng)、能源、工業(yè)等重點(diǎn)領(lǐng)域確立了技術(shù)領(lǐng)先地位，此前已獲得“最佳昇騰原生開(kāi)發(fā)伙伴”殊榮。

此次完成與昇騰910C芯片的深度兼容性認(rèn)證，展現(xiàn)了AIRUNS訓(xùn)推一體化平臺(tái)在快速適配新型號(hào)芯片方面的卓越能力。未來(lái)，潤(rùn)和軟件將持續(xù)攜手昇騰以安全可靠的技術(shù)架構(gòu)與持續(xù)優(yōu)化的性能，助力各行業(yè)客戶實(shí)現(xiàn)智能化升級(jí)。

江蘇潤(rùn)和軟件股份有限公司（簡(jiǎn)稱“潤(rùn)和軟件”）成立于2006年，2012年在深圳證券交易所創(chuàng)業(yè)板上市（證券代碼：300339），是首批國(guó)家規(guī)劃布局內(nèi)重點(diǎn)軟件企業(yè)、全國(guó)文明單位。公司總部位于南京，在北京、上海、深圳、香港等22個(gè)國(guó)內(nèi)主要城市設(shè)有研發(fā)中心或分子公司，在日本、新加坡、美國(guó)等國(guó)設(shè)有海外分支機(jī)構(gòu)，全球員工約17000人，擁有全球化的技術(shù)整合、客戶響應(yīng)與服務(wù)到達(dá)能力。

秉承“做民族軟件脊梁，擔(dān)世界進(jìn)步責(zé)任”使命，潤(rùn)和軟件致力成為“中國(guó)數(shù)智技術(shù)與服務(wù)創(chuàng)新的引領(lǐng)者”，通過(guò)國(guó)產(chǎn)化、數(shù)字化、智能化創(chuàng)新技術(shù)，軟硬件一體化解決方案能力及全生命周期軟件服務(wù)體系，激活行業(yè)新動(dòng)能、發(fā)展新質(zhì)生產(chǎn)力，助力廣大客戶數(shù)字化轉(zhuǎn)型和智能化升級(jí)。