為下一代 AI 基礎(chǔ)設(shè)施實(shí)現(xiàn)突破性機(jī)架級(jí)性能、擴(kuò)展性和效率

作者：Arm 云 AI 事業(yè)部執(zhí)行副總裁 Mohamed Awad

Arm 今日正式發(fā)布 Arm AGI CPU，該產(chǎn)品是基于Arm Neoverse 平臺(tái)打造的全新量產(chǎn)級(jí)芯片，旨在為下一代人工智能 (AI) 基礎(chǔ)設(shè)施提供核心算力支撐。

在公司超過(guò) 35 年的發(fā)展歷程中，Arm 首次推出自己的芯片產(chǎn)品，將Arm Neoverse 平臺(tái)從 IP 和計(jì)算子系統(tǒng) (Compute Subsystems, CSS) 進(jìn)一步拓展，為客戶提供更豐富的 Arm 解決方案：既可自主打造定制化芯片，也可集成平臺(tái)級(jí)方案，或直接部署 Arm 自主設(shè)計(jì)的芯片。這一產(chǎn)品戰(zhàn)略的升級(jí)既反映了 AI 基礎(chǔ)設(shè)施的快速演進(jìn)，也滿足了生態(tài)伙伴對(duì)可快速規(guī)模化部署的量產(chǎn)級(jí) Arm 平臺(tái)的迫切需求。

代理式 AI 基礎(chǔ)設(shè)施崛起

AI 系統(tǒng)正日益以全球規(guī)模持續(xù)運(yùn)行。在過(guò)去，人是計(jì)算環(huán)節(jié)的瓶頸——人們與系統(tǒng)的交互速度決定了工作推進(jìn)的速度。而在代理式 AI 時(shí)代，因?yàn)檐浖悄荏w可自主協(xié)同任務(wù)、與多個(gè)模型交互，并實(shí)時(shí)做出決策，這種局限性將不復(fù)存在。

隨著 AI 系統(tǒng)持續(xù)運(yùn)行且工作負(fù)載復(fù)雜度不斷提升，CPU 已成為現(xiàn)代基礎(chǔ)設(shè)施中決定運(yùn)行節(jié)奏的關(guān)鍵要素——負(fù)責(zé)保持分布式AI 系統(tǒng)大規(guī)模的高效運(yùn)行。在現(xiàn)下的 AI 數(shù)據(jù)中心中，CPU 管理數(shù)千個(gè)分布式任務(wù)，包括協(xié)調(diào)加速器、管理內(nèi)存與存儲(chǔ)、調(diào)度工作負(fù)載、跨系統(tǒng)遷移數(shù)據(jù)，加上當(dāng)今的代理式 AI 場(chǎng)景興起，CPU 還需面向海量智能體實(shí)現(xiàn)大規(guī)模協(xié)同調(diào)度。

這一轉(zhuǎn)變對(duì) CPU 提出了全新要求，驅(qū)動(dòng)處理器架構(gòu)的演進(jìn)。

Arm Neoverse 現(xiàn)已成為當(dāng)今眾多領(lǐng)先超大規(guī)模云服務(wù)及 AI 平臺(tái)的核心支撐，包括 Amazon Graviton、Google Axion、Microsoft Azure Cobalt 及 NVIDIA Vera 等。隨著 AI 基礎(chǔ)設(shè)施在全球范圍內(nèi)不斷擴(kuò)展，生態(tài)系統(tǒng)的合作伙伴紛紛期待 Arm 能夠提供更多能力。為應(yīng)對(duì)這一變革，Arm AGI CPU 應(yīng)運(yùn)而生。

Arm AGI CPU：專為機(jī)架級(jí)代理式AI 效率而生

代理式 AI 工作負(fù)載需要在大規(guī)模場(chǎng)景下實(shí)現(xiàn)持續(xù)穩(wěn)定的性能輸出。Arm AGI CPU 正是為此而設(shè)計(jì)，能夠在數(shù)千核心并行的持續(xù)高負(fù)載下，為每個(gè)任務(wù)提供高性能表現(xiàn)，且滿足現(xiàn)代數(shù)據(jù)中心功耗與散熱的嚴(yán)格要求。

從運(yùn)行頻率到內(nèi)存及 I/O 架構(gòu)，Arm AGI CPU 的每一處設(shè)計(jì)都經(jīng)過(guò)專門優(yōu)化，在高密度機(jī)架部署場(chǎng)景下，支持大規(guī)模并行、高性能的代理式 AI 工作負(fù)載。

Arm 的參考服務(wù)器采用 1OU 雙節(jié)點(diǎn)設(shè)計(jì)，每臺(tái)刀片服務(wù)器中集成兩顆CPU 芯片，并配備獨(dú)立內(nèi)存與 I/O，共計(jì) 272 個(gè)核心。這些刀片服務(wù)器可在標(biāo)準(zhǔn)風(fēng)冷 36 千瓦 (kW) 機(jī)架中滿配部署，30 臺(tái)刀片服務(wù)器可提供總計(jì) 8,160 個(gè)核心。此外，Arm 還與 Supermicro 合作推出 200 千瓦 (kW) 液冷設(shè)計(jì)方案，可容納 336 顆 Arm AGI CPU，提供超過(guò) 45,000 個(gè)核心。

在該配置下，憑借 Arm 架構(gòu)的根本優(yōu)勢(shì)，以及系統(tǒng)資源與計(jì)算能力的精準(zhǔn)匹配，Arm AGI CPU 可實(shí)現(xiàn)單機(jī)架性能達(dá)到最新 x86 系統(tǒng)的兩倍以上*：

• Arm AGI CPU 具備業(yè)界領(lǐng)先的內(nèi)存帶寬，使每個(gè)機(jī)架能夠支持更多高效執(zhí)行的線程；相比之下，x86 CPU 在持續(xù)高負(fù)載下會(huì)因核心爭(zhēng)搶資源而導(dǎo)致性能下降；
• 高性能、高能效的單線程Arm Neoverse V3 處理器核心性能出眾，優(yōu)于傳統(tǒng)架構(gòu)——每個(gè) Arm 線程可處理更多任務(wù)；
• 更多可用線程與更高單線程處理能力相互疊加，最終實(shí)現(xiàn)單機(jī)架性能的大幅提升。

來(lái)自AI 生態(tài)系統(tǒng)的開局勢(shì)頭

Arm AGI CPU 已獲得合作伙伴的強(qiáng)勁商業(yè)認(rèn)可，這些合作伙伴均處于代理式 AI 基礎(chǔ)設(shè)施規(guī)?；渴鸬那把仡I(lǐng)域。計(jì)劃部署場(chǎng)景涵蓋加速器管理、代理式 AI 協(xié)同調(diào)度，以及支撐代理式 AI 任務(wù)規(guī)?；瘮U(kuò)展所需的服務(wù)、應(yīng)用與工具的高密度部署，同時(shí)還包括為 AI 數(shù)據(jù)中心提供更強(qiáng)的網(wǎng)絡(luò)與數(shù)據(jù)面計(jì)算能力。

Meta 作為 Arm AGI CPU 的早期合作伙伴與客戶，參與該 CPU 的聯(lián)合開發(fā)，旨在為 Meta 全系應(yīng)用優(yōu)化吉瓦級(jí)規(guī)?；A(chǔ)設(shè)施，并與 Meta 自研的 MTIA 加速器協(xié)同運(yùn)行。其他首發(fā)合作伙伴包括 Cerebras、Cloudflare、F5、OpenAI、Positron、Rebellions、SAP 及 SK 電訊——這些企業(yè)均與 Arm 合作部署 Arm AGI CPU，以加速云、網(wǎng)絡(luò)及企業(yè)環(huán)境中的 AI 驅(qū)動(dòng)型服務(wù)落地。目前，永擎電子、聯(lián)想及 Supermicro 已開放商用系統(tǒng)訂購(gòu)。

為進(jìn)一步加速產(chǎn)品采用，Arm 推出 Arm AGI CPU 1OU 雙節(jié)點(diǎn)參考服務(wù)器，該服務(wù)器采用符合開放計(jì)算項(xiàng)目 (Open Compute Project, OCP) 的 DC-MHS 標(biāo)準(zhǔn)規(guī)格設(shè)計(jì)。Arm 計(jì)劃向社區(qū)貢獻(xiàn)該參考服務(wù)器設(shè)計(jì)方案及配套固件，并進(jìn)一步提供包括系統(tǒng)架構(gòu)規(guī)范、調(diào)試框架及適用于所有 Arm 架構(gòu)系統(tǒng)的診斷與驗(yàn)證工具等資源。更多細(xì)節(jié)將在即將舉辦的OCP EMEA 峰會(huì)上公布。

Arm 基礎(chǔ)設(shè)施的全新篇章

Arm AGI CPU 的發(fā)布，開啟了 Arm 數(shù)據(jù)中心業(yè)務(wù)發(fā)展的全新篇章，也彰顯了其在計(jì)算創(chuàng)新領(lǐng)域的持續(xù)領(lǐng)導(dǎo)力。隨著 AI 重塑行業(yè)格局，Arm 始終致力于賦能生態(tài)系統(tǒng)的發(fā)展——滿足各類客戶的實(shí)際需求，覆蓋從超大規(guī)模云服務(wù)提供商到 AI 初創(chuàng)企業(yè)。

Arm AGI CPU 是 Arm 全新數(shù)據(jù)中心芯片產(chǎn)品線的首款產(chǎn)品，現(xiàn)已開放訂購(gòu)。其后續(xù)產(chǎn)品規(guī)劃也已確認(rèn)，致力于實(shí)現(xiàn)業(yè)界領(lǐng)先的性能、擴(kuò)展性與能效。該產(chǎn)品線將與 Arm Neoverse CSS 產(chǎn)品路線圖并行推進(jìn)，確保所有 Arm 數(shù)據(jù)中心客戶在平臺(tái)架構(gòu)與軟件兼容性方面實(shí)現(xiàn)協(xié)同發(fā)展。

翻開這一全新篇章，我們的使命始終如一：打造堅(jiān)實(shí)的計(jì)算基石，助力各行業(yè)實(shí)現(xiàn)創(chuàng)新。如今，整個(gè)生態(tài)系統(tǒng)與我們并肩同行——超大規(guī)模計(jì)算服務(wù)商、云計(jì)算、芯片、內(nèi)存、網(wǎng)絡(luò)、軟件、系統(tǒng)設(shè)計(jì)與制造等領(lǐng)域的 50 余家領(lǐng)軍企業(yè)，均對(duì) Arm 計(jì)算平臺(tái)向芯片領(lǐng)域拓展表示支持。憑借 Arm AGI CPU，Arm 不僅在定義 AI 原生數(shù)據(jù)中心的架構(gòu)，更在將它構(gòu)建成為現(xiàn)實(shí)。

部署 Arm AGI CPU 的合作伙伴證言

Cerebras

“Cerebras 專注于打造面向超高速、大規(guī)模推理的 AI 基礎(chǔ)設(shè)施。隨著大規(guī)模推理成為 AI 領(lǐng)域的主流工作負(fù)載，可組合的高性能系統(tǒng)變得愈發(fā)重要——這類系統(tǒng)既需要定制化 AI 加速能力，也需要高效、可擴(kuò)展的 CPU 來(lái)規(guī)?；瘏f(xié)調(diào)數(shù)據(jù)遷移、網(wǎng)絡(luò)連接與協(xié)同調(diào)度。Arm 計(jì)算平臺(tái)向 AGI 級(jí)基礎(chǔ)設(shè)施的拓展，對(duì)生態(tài)系統(tǒng)和在全球范圍內(nèi)大規(guī)模部署 AI 的客戶而言，都是極具積極意義的一步?！?/p>

Cerebras 首席執(zhí)行官 Andrew Feldman

Cloudflare

“為持續(xù)踐行‘助力構(gòu)建更美好的互聯(lián)網(wǎng)’這一使命，Cloudflare 需要能夠在全球網(wǎng)絡(luò)中高效擴(kuò)展的基礎(chǔ)設(shè)施。Arm AGI CPU 能為下一代工作負(fù)載提供所需的高性能、高能效計(jì)算能力?！?/p>

Cloudflare 首席戰(zhàn)略官 Stephanie Cohen

Meta

“要在全球規(guī)?；峁?AI 體驗(yàn)，需要一套穩(wěn)健、可適配性的定制化芯片解決方案，專為加速 AI 工作負(fù)載、優(yōu)化 Meta 全平臺(tái)的性能而打造。我們與 Arm 攜手開發(fā) Arm AGI CPU，以部署一套高效的計(jì)算平臺(tái)，在顯著提升數(shù)據(jù)中心性能密度的同時(shí)，為我們持續(xù)演進(jìn)的 AI 系統(tǒng)構(gòu)建跨多代產(chǎn)品的技術(shù)發(fā)展路線圖?！?/p>

Meta 基礎(chǔ)設(shè)施負(fù)責(zé)人Santosh Janardhan

OpenAI

“OpenAI 運(yùn)行著超大規(guī)模的人工智能系統(tǒng)。每天有數(shù)億用戶使用ChatGPT，企業(yè)基于我們的 API 構(gòu)建應(yīng)用，開發(fā)者依賴 Codex 等工具開展工作。隨著我們的業(yè)務(wù)持續(xù)擴(kuò)展，Arm AGI CPU 將在基礎(chǔ)設(shè)施中發(fā)揮重要作用——強(qiáng)化調(diào)度層以協(xié)調(diào)大規(guī)模 AI 工作負(fù)載，并全面提升系統(tǒng)的效率、性能與帶寬?！?/p>

OpenAI 工業(yè)計(jì)算負(fù)責(zé)人 Sachin Katti

Positron

“Positron 專注于打造定制化推理加速器，通過(guò)通用內(nèi)存實(shí)現(xiàn)突破性的詞元 (token) 生成效率。Arm 始終致力于提供業(yè)界能效最優(yōu)的計(jì)算平臺(tái)，這使得 Arm AGI CPU 成為下一代 AI 基礎(chǔ)設(shè)施的理想基石。通過(guò)將 Positron 的推理加速技術(shù)與高能效的 Arm AGI CPU 平臺(tái)相結(jié)合，我們有望幫助數(shù)據(jù)中心運(yùn)營(yíng)商以更優(yōu)的每瓦性能與每美元性能，規(guī)?；渴鹎把?AI 模型?！?/p>

Positron 首席執(zhí)行官 Mitesh Agrawal

Rebellions

“高性能 AI 系統(tǒng)需要通用計(jì)算與加速器架構(gòu)的緊密協(xié)同。通過(guò)在全新高密度服務(wù)器配置中整合 Arm AGI CPU 與 Rebellions 的神經(jīng)網(wǎng)絡(luò)處理器 (NPU)，我們將打造一個(gè)可擴(kuò)展、高能效的平臺(tái)，專為大規(guī)模 AI 推理工作負(fù)載進(jìn)行優(yōu)化?！?/p>

Rebellions 首席商務(wù)官 Marshall Choy

SAP

“SAP 在基于 Arm 架構(gòu)的 Amazon Graviton 上成功部署 SAP HANA，充分印證了 Arm 生態(tài)在企業(yè)級(jí)工作負(fù)載場(chǎng)景下的成熟度與出色性能。Arm AGI CPU 進(jìn)一步拓展了這一潛力，提供可擴(kuò)展、高能效的計(jì)算能力，為下一代 AI 驅(qū)動(dòng)的企業(yè)級(jí)解決方案提供有力支撐?！?/p>

SAP 高級(jí)副總裁、HANA 及持久化業(yè)務(wù)負(fù)責(zé)人Stefan B?uerle

SK 電訊

“SK 電訊正在拓展大規(guī)模全棧 AI 推理數(shù)據(jù)中心基礎(chǔ)設(shè)施，其中即包含 Arm AGI CPU 及 Rebellions AI 加速芯片。通過(guò)將我們自主研發(fā)的 A.X 基礎(chǔ)模型與推理優(yōu)化型 AI 服務(wù)器相結(jié)合，我們已準(zhǔn)備好向全球交付相關(guān)服務(wù)，同時(shí)提升自身 AI 數(shù)據(jù)中心的競(jìng)爭(zhēng)力。”

SK 電訊首席技術(shù)官兼 AI CIC 負(fù)責(zé)人 Suk-geun (SG) Chung