人工智能由 token 驅(qū)動(dòng)。每個(gè)提示、推理步驟和智能體交互都會(huì)生成 tokens。在過(guò)去一年中，token 的消耗量增長(zhǎng)了數(shù)倍，現(xiàn)在每年已超過(guò) 10 萬(wàn)億 tokens。雖然 tokens 的大部分由人類與 AI 交互生成，但在新時(shí)代，大多數(shù) tokens 將由 AI 與 AI 交互生成。

現(xiàn)代代理式系統(tǒng)可規(guī)劃任務(wù)、調(diào)用工具、執(zhí)行代碼、檢索數(shù)據(jù)，并跨多個(gè)連續(xù)多步驟工作流進(jìn)行協(xié)調(diào) AI 智能體。這些交互會(huì)生成大量推理 tokens，擴(kuò)展 KV 緩存，并且需要基于 CPU 的沙盒環(huán)境來(lái)測(cè)試和驗(yàn)證加速計(jì)算系統(tǒng)生成的結(jié)果。這對(duì)低延遲、高吞吐量提出了跨 GPU、CPU、縱向擴(kuò)展域、橫向擴(kuò)展網(wǎng)絡(luò)和存儲(chǔ)的要求。

為這些現(xiàn)代代理式系統(tǒng)提供有用的智能，需要一組專門構(gòu)建的機(jī)架級(jí)系統(tǒng)，這些系統(tǒng)作為一個(gè)連貫的 AI 超級(jí)計(jì)算機(jī)一起運(yùn)行。本文將介紹 NVIDIA Vera Rubin POD，由五個(gè)專用的機(jī)架級(jí)系統(tǒng)組成，基于第三代 NVIDIA MGX 適用于代理式 AI 時(shí)代的機(jī)架架構(gòu)。

隆重推出 NVIDIA Vera Rubin POD

NVIDIA Vera Rubin 通過(guò)對(duì)涵蓋計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的七款芯片進(jìn)行極致協(xié)同設(shè)計(jì)而構(gòu)建，引入了極其復(fù)雜的 POD 級(jí) AI 平臺(tái)。該平臺(tái)擁有 40 個(gè)機(jī)架、1.2 萬(wàn)億個(gè)晶體管、近 20000 個(gè) NVIDIA 裸片、1152 個(gè) NVIDIA Rubin GPU、60 exaflops 和 10 PB/s 的縱向擴(kuò)展總帶寬。

Vera Rubin POD 引入了五個(gè)全新的專用機(jī)架級(jí)擴(kuò)展系統(tǒng)，適用于需要高吞吐量、超低延遲推理、密集型 CPU 沙盒和大規(guī)模上下文內(nèi)存存儲(chǔ)的代理式 AI 工作負(fù)載。這些機(jī)架共同構(gòu)成了一個(gè)緊密的系統(tǒng)，將為全球最節(jié)能、最具成本效益的數(shù)據(jù)中心提供動(dòng)力支持。

圖 1. NVIDIA Vera Rubin POD 包括 5 個(gè)機(jī)架級(jí)系統(tǒng)、1 臺(tái) AI 超級(jí)計(jì)算機(jī)、1 臺(tái) NVIDIA MGX 機(jī)架架構(gòu)和生態(tài)系統(tǒng)

POD 中的每個(gè)芯片都通過(guò)第三代 NVIDIA MGX 機(jī)架進(jìn)行擴(kuò)展，由 80 多家合作伙伴組成的生態(tài)系統(tǒng)提供支持，他們擁有在將大規(guī)模 AI 系統(tǒng)推向市場(chǎng)方面經(jīng)驗(yàn)豐富的全球供應(yīng)鏈。這可實(shí)現(xiàn)快速部署和無(wú)縫過(guò)渡，每個(gè) NVIDIA MGX 機(jī)架共享相同的功率、冷卻和機(jī)械包圍。

有兩種類型的 MGX 機(jī)架采用銅質(zhì) spine 線，專為實(shí)現(xiàn)性能、彈性和能效而設(shè)計(jì)。MGX NVL 機(jī)架通過(guò) NVIDIA NVLink 連接，而新的 NVIDIA MGX ETL 機(jī)架則通過(guò)以下兩種類型的 spine 線之一連接： NVIDIA Spectrum-X 以太網(wǎng) 或 NVIDIA Groq 3 LPU 直接芯片到芯片鏈路。

NVIDIA Vera Rubin NVL72：四大擴(kuò)展定律平臺(tái)

NVIDIA Vera Rubin NVL72 是最新的 AI 工廠 的核心機(jī)架級(jí)計(jì)算引擎。它集成了 72 個(gè) NVIDIA Rubin GPU 和 36 個(gè) NVIDIA Vera CPU，通過(guò)大規(guī)模 NVLink 銅質(zhì)主干相連，可作為一個(gè)巨大的 GPU。NVIDIA Vera Rubin NVL72 專為 AI 的四種擴(kuò)展定律而設(shè)計(jì)：預(yù)訓(xùn)練、后訓(xùn)練、測(cè)試時(shí)擴(kuò)展和代理式擴(kuò)展。它可以針對(duì)復(fù)雜的多專家模型 (MoE) 路由和 AI 推理的繁重計(jì)算受限的上下文階段進(jìn)行優(yōu)化。它提供高達(dá) 4 倍的訓(xùn)練性能和高達(dá) 10 倍的每瓦推理性能，并且 token 的成本是 NVIDIA Blackwell 的十分之一。

NVIDIA Groq 3 LPX：推理加速器機(jī)架

NVIDIA Groq 3 LPX 與 NVIDIA Vera Rubin 平臺(tái)共同設(shè)計(jì)，可滿足代理式 AI 的大規(guī)模上下文和低延遲需求，每個(gè)機(jī)架配備 256 個(gè)語(yǔ)言處理單元 (LPU) 。它與 Vera Rubin NVL72 搭配使用，無(wú)需在高速交互性和吞吐量之間權(quán)衡取舍。通過(guò)將僅使用高帶寬 SRAM 的 LPU 與具有大 HBM 容量的 Rubin GPU 融合，該系統(tǒng)可在長(zhǎng)上下文長(zhǎng)度下實(shí)現(xiàn)低延遲和高吞吐量，從而在不犧牲系統(tǒng)吞吐量的情況下為萬(wàn)億參數(shù)模型的用戶交互性提供強(qiáng)效助力。相較于 Blackwell，Vera Rubin NVL72 plus LPX 可提供高達(dá) 35 倍的 tokens 和 10 倍的萬(wàn)億參數(shù)模型創(chuàng)收機(jī)會(huì)。如需了解詳情，請(qǐng)參閱 深入了解 NVIDIA Groq 3 LPX。

NVIDIA Vera CPU 機(jī)架：大規(guī)模代理式 AI 和強(qiáng)化學(xué)習(xí)

這個(gè) NVIDIA Vera CPU 機(jī)架在密集的液冷機(jī)架中集成了多達(dá) 256 個(gè) NVIDIA Vera CPU，可提供可擴(kuò)展的高能效容量。單個(gè)機(jī)架可支持超過(guò) 22500 個(gè)并發(fā) 強(qiáng)化學(xué)習(xí) (RL) 或智能體沙盒環(huán)境，更大限度地利用環(huán)境來(lái)測(cè)試、執(zhí)行和驗(yàn)證 Vera Rubin NVL72 和 LPX 機(jī)架的結(jié)果。 Vera CPU 機(jī)架 為大規(guī)模代理式 AI 和強(qiáng)化學(xué)習(xí)奠定了基礎(chǔ)，提供的結(jié)果效率是傳統(tǒng)機(jī)架級(jí) CPU 的兩倍，速度快 50%。詳細(xì)了解 Vera CPU 可為 AI 工廠提供高性能帶寬和效率。

NVIDIA BlueField-4 STX：AI 原生存儲(chǔ)

這個(gè) NVIDIA BlueField-4 STX 機(jī)架采用 NVIDIA BlueField-4 處理器，該處理器結(jié)合了 Vera CPU 和 ConnectX-9 SuperNIC，并通過(guò) Spectrum-X 以太網(wǎng)網(wǎng)絡(luò)進(jìn)行橫向擴(kuò)展。

它承載NVIDIA CMX 上下文內(nèi)存存儲(chǔ)平臺(tái)，這是一種新型 AI 原生存儲(chǔ)基礎(chǔ)設(shè)施，可在整個(gè) POD 中無(wú)縫擴(kuò)展 GPU 上下文容量，并通過(guò)將 KV 緩存卸載到專用的高帶寬存儲(chǔ)層來(lái)加速推理。CMX 經(jīng)過(guò)優(yōu)化，可存儲(chǔ)和服務(wù)大量上下文內(nèi)存 (KV 緩存)，將臨時(shí)推理上下文視為 AI 原生、共享的數(shù)據(jù)類型，可在輪次、會(huì)話和智能體中重復(fù)使用。與傳統(tǒng)存儲(chǔ)方法相比，這可提供高達(dá)每秒 5 倍的 tokens 性能，以及高達(dá) 5 倍的能效。

NVIDIA Spectrum-6 SPX：網(wǎng)絡(luò)機(jī)架

將整個(gè) POD 連接到一臺(tái)超級(jí)計(jì)算機(jī)的是 NVIDIA Spectrum-6 SPX 網(wǎng)絡(luò)機(jī)架。Spectrum-6 SPX 網(wǎng)絡(luò)機(jī)架旨在加速 AI 工廠的東西向和南北向流量?？赏ㄟ^(guò) Spectrum-X 以太網(wǎng)或 NVIDIA Quantum-X800 InfiniBand 交換機(jī) 進(jìn)行配置，它能夠大規(guī)模提供低延遲、高吞吐量的機(jī)架到機(jī)架連接。

Spectrum-6 SPX 機(jī)架現(xiàn)在包括 102.4 Tb/s Spectrum-6 交換機(jī)，在單芯片和多芯片交換機(jī)產(chǎn)品中具有 512 通道和 200 Gb/s 光電一體封裝 (CPO) 。這種硅光技術(shù)集成可取代可插拔收發(fā)器，提供更高的能效和彈性、低延遲和抖動(dòng)，以及近乎完美的有效帶寬，使計(jì)算和存儲(chǔ)環(huán)境中的 AI 工作負(fù)載保持完美同步。

通過(guò)共同設(shè)計(jì)這些一體式運(yùn)行的專用機(jī)架，Vera Rubin POD 能夠加速代理式 AI 工作負(fù)載的各個(gè)組件。這始于精簡(jiǎn)的 NVIDIA MGX 機(jī)架設(shè)計(jì)，該設(shè)計(jì)構(gòu)成了 POD 中每個(gè)機(jī)架的基礎(chǔ)。

第三代 NVIDIA MGX 機(jī)架級(jí)架構(gòu)

生產(chǎn)級(jí) AI 機(jī)架必須在以下幾個(gè)關(guān)鍵領(lǐng)域表現(xiàn)出色：快速實(shí)現(xiàn)批量、經(jīng)過(guò)驗(yàn)證的大規(guī)模性能、深度硬件 – 軟件聯(lián)合設(shè)計(jì)、彈性和能效、無(wú)縫數(shù)據(jù)中心部署和物流、為未來(lái)架構(gòu)做好準(zhǔn)備等。

第三代 NVIDIA MGX 機(jī)架級(jí)架構(gòu)為所有類別設(shè)定了標(biāo)準(zhǔn)，其機(jī)械、電源和冷卻設(shè)計(jì)中集成了工程突破。

實(shí)現(xiàn)彈性和可擴(kuò)展性

NVIDIA MGX 機(jī)架采用單寬設(shè)計(jì)，優(yōu)先考慮基于 PCB 的連接。它解鎖了完全模塊化、無(wú)線纜、無(wú)軟管和無(wú)風(fēng)扇的計(jì)算和 NVLink 交換機(jī)托盤(pán)，可實(shí)現(xiàn)更高的可靠性、可擴(kuò)展性和可維護(hù)性。單個(gè) 19 英寸寬的機(jī)架還簡(jiǎn)化了運(yùn)輸和物流，加速了 AI 工廠的部署。

圖 2. NVIDIA MGX 機(jī)架主干可容納數(shù)千條線纜，并可配置適用于 MGX NVL 機(jī)架的 NVLink，以及適用于 MGX ETL 機(jī)架的 Spectrum-X 以太網(wǎng)或直接 Groq 3 LPU 芯片到芯片鏈路

機(jī)架采用高度模塊化的主干作為背板，由多達(dá)四個(gè)預(yù)集成和預(yù)認(rèn)證的銅纜盒組成，將每個(gè)托盤(pán)連接成一個(gè)整體。Spine 可容納數(shù)千條線纜，且機(jī)械外形規(guī)格與 MGX NVL 和 MGX ETL 機(jī)架相同。

確保從芯片到電網(wǎng)的峰值能效

在組件層面，NVIDIA MGX 機(jī)架具有動(dòng)態(tài)動(dòng)力轉(zhuǎn)向功能，可讓系統(tǒng)為最需要的組件提供動(dòng)力。此功能可以在 CPU、GPU 和 NVLink 交換機(jī)托盤(pán)之間移動(dòng)功率，確保機(jī)架中的組件以峰值能效運(yùn)行，從而提高性能功耗比。

圖 3. NVIDIA MGX 機(jī)架采用智能 Power Smoothing 技術(shù)，可確保機(jī)架中的組件以最高能效運(yùn)行

AI 訓(xùn)練和推理工作負(fù)載會(huì)產(chǎn)生較大的負(fù)載波動(dòng)。如果管理不力，負(fù)載波動(dòng)可能會(huì)對(duì)電網(wǎng)、數(shù)據(jù)中心電力基礎(chǔ)設(shè)施和 IT 設(shè)備造成巨大壓力。

為防止功率波動(dòng)，MGX 機(jī)架具有機(jī)架級(jí)能量存儲(chǔ)，可使用電容器緩沖電源瞬變。當(dāng)工作負(fù)載同時(shí)需要大量電力時(shí)，電容器將提供額外的電力，而電網(wǎng)功耗保持不變或上升。當(dāng)工作負(fù)載突然停止時(shí)，電容器將充電，而電網(wǎng)功率保持不變或下降。

NVIDIA Vera Rubin NVL72 現(xiàn)已引入智能功耗平滑。與前幾代產(chǎn)品相比，它具有 6 倍的機(jī)架級(jí)能源存儲(chǔ)能力 (每個(gè) GPU 400 J) ，并引入了新的閉環(huán)系統(tǒng)，使 GPU 能夠持續(xù)監(jiān)控電容器的充電狀態(tài)，從而更有效地扁平化功率曲線。這可大幅降低每分鐘的交流電源波動(dòng)，將峰值電流需求降低高達(dá) 25%，并且無(wú)需使用大量電池組來(lái)防止大規(guī)模電源瞬變。

圖 4. 動(dòng)態(tài) Max-Q 電源調(diào)配可以釋放剩余功率并釋放更多 GPU 容量

在設(shè)施層面，以靜態(tài) Max-P 配置機(jī)架會(huì)提供本可用于生成 tokens 的電力容量。它假設(shè)始終需要峰值功率的同構(gòu)工作負(fù)載，而在現(xiàn)實(shí)中，AI 工廠會(huì)運(yùn)行具有不同功率需求的多種工作負(fù)載。

通過(guò)在較低的動(dòng)態(tài) Max-Q 級(jí)別配置 MGX 機(jī)架，數(shù)據(jù)中心可以根據(jù)工作負(fù)載為每個(gè)機(jī)架動(dòng)態(tài)配置正確的功率，從而更大限度地提高 AI 數(shù)據(jù)中心的吞吐量。這樣可以釋放剩余功率，在 45 ° C 液冷技術(shù)下，在相同的功率預(yù)算下釋放多達(dá) 30% 的 GPU，并提高每瓦性能。

釋放更多計(jì)算能源預(yù)算

所有 MGX 機(jī)架均經(jīng)過(guò)普遍設(shè)計(jì)，可在 45 ° C ( 113 ° F) 的暖水入口溫度下運(yùn)行，因此，已設(shè)計(jì)用于液冷的數(shù)據(jù)中心可以保證無(wú)縫過(guò)渡，而無(wú)需重新設(shè)計(jì)冷卻基礎(chǔ)設(shè)施。圖 5 展示了基礎(chǔ)設(shè)施布局的示意圖，為 CDU 提供 41 ° C (105.8 ° F) 的水，CDU 轉(zhuǎn)而為 AI 機(jī)架提供 45 ° C (113 ° F) 的冷卻液。

圖 5. 在以 45C 最高進(jìn)風(fēng)溫度冷卻 NVIDIA MGX 機(jī)架時(shí)，實(shí)現(xiàn)節(jié)能且經(jīng)濟(jì)高效的自由冷卻方案

在 45 ° C 下運(yùn)行，使數(shù)據(jù)中心能夠在許多氣候條件下使用環(huán)境空氣和閉環(huán)干冷器進(jìn)行冷卻，從而減少對(duì)壓縮機(jī)的需求，降低 PUE，并釋放更多的計(jì)算能源預(yù)算。較低的入口溫度 ( 35 ° C) 需要數(shù)據(jù)中心分流大量的設(shè)施電力或水用于冷卻，而較高的入口溫度最大限度地提高了直接轉(zhuǎn)換為 tokens 的電網(wǎng)功率。這顯著節(jié)省了數(shù)據(jù)中心的能耗，足以在相同的功耗預(yù)算下，額外分配多達(dá) 10% 的 Vera Rubin NVL72 機(jī)架，以生成更多 token 代產(chǎn)品。

MGX 機(jī)架采用 100% 液冷技術(shù)，可利用與前幾代產(chǎn)品相同的數(shù)據(jù)中心冷卻基礎(chǔ)設(shè)施。第三代 MGX 機(jī)架配備新的內(nèi)部托盤(pán)歧管、機(jī)架式 UQD08 歧管和最高支持 5000A 的液冷匯流排。用于機(jī)架的冷卻液將取決于客戶和數(shù)據(jù)中心，但許多冷卻液將繼續(xù)使用去離子水或基于丙烯二醇的液體 (PG25) ，這些液體在閉環(huán)系統(tǒng)中可以使用長(zhǎng)達(dá) 10 年，并且液體維護(hù)量最少。

開(kāi)放標(biāo)準(zhǔn)

這些功能的基礎(chǔ)是開(kāi)放、標(biāo)準(zhǔn)化的 MGX 機(jī)架架構(gòu)。2024 年，NVIDIA Blackwell 推出了首款量產(chǎn)機(jī)架級(jí)系統(tǒng)。 NVIDIA 將該設(shè)計(jì)貢獻(xiàn)給了開(kāi)放計(jì)算項(xiàng)目 (OCP)，強(qiáng)化對(duì)開(kāi)源技術(shù)的承諾，并使整個(gè)生態(tài)系統(tǒng)能夠快速創(chuàng)新和加速采用。NVIDIA 已經(jīng)建立了一個(gè)由 80 多個(gè)全球合作伙伴組成的生態(tài)系統(tǒng)，創(chuàng)建了一個(gè)高效、全球多元化的供應(yīng)鏈，在將機(jī)架級(jí) AI 系統(tǒng)推向市場(chǎng)方面經(jīng)驗(yàn)豐富。

NVIDIA MGX NVL 機(jī)架

作為獨(dú)立第三方 半分析 InferenceMax 基準(zhǔn)測(cè)試 SemiAnalysis InferenceMax benchmarks demonstrate, NVIDIA 機(jī)架級(jí)系統(tǒng)可將每瓦性能提高 50 倍，將每 token 的成本降低 35 倍 ( NVIDIA GB300 NVL72 與 NVIDIA H200 相比) ，這直接轉(zhuǎn)化為更高的收入和更高的運(yùn)營(yíng)利潤(rùn)。

2024 年，NVIDIA 交付了首批 NVIDIA GB200 NVL72 機(jī)架級(jí)系統(tǒng)。2025 年，NVIDIA GB300 NVL72 出貨?，F(xiàn)在，NVIDIA Vera Rubin NVL72 已全面投產(chǎn)，預(yù)計(jì)將于 2026 年下半年發(fā)貨。

NVIDIA Vera Rubin NVL72 的簡(jiǎn)化設(shè)計(jì)

NVIDIA Vera Rubin NVL72 是一項(xiàng)工程奇跡，旨在無(wú)縫融入現(xiàn)有的數(shù)據(jù)中心空間。其晶體管數(shù)量將比 NVIDIA GB200 NVL72 高出近 2 倍，同時(shí)通過(guò)極端協(xié)同設(shè)計(jì)將每瓦性能提升 10 倍。該機(jī)架在 18 個(gè)計(jì)算托盤(pán)上集成了 72 個(gè) NVIDIA Rubin GPU、36 個(gè) NVIDIA Vera CPU、ConnectX-9 SuperNIC 和 BlueField-4 DPU，以及 9 個(gè) NVLink 交換機(jī)托盤(pán)。該機(jī)架總共容納了 130 萬(wàn)個(gè)獨(dú)立組件和近 1300 個(gè)芯片，這些芯片全部封裝在一個(gè)較寬的第三代 NVIDIA MGX 機(jī)架中，重量約為 4000 磅，大約相當(dāng)于一輛小卡車的重量。

圖 6. NVIDIA Vera Rubin NVL72 機(jī)架

計(jì)算和 NVLink 交換機(jī)托盤(pán)

第六代 NVLink 使這 72 個(gè) GPU 成為一個(gè)統(tǒng)一的引擎。它為每個(gè) GPU 提供 3.6 TB/s 的帶寬，為每個(gè)機(jī)架提供 260 TB/s 的縱向擴(kuò)展帶寬 — — 數(shù)據(jù)量超過(guò)了整個(gè)全球互聯(lián)網(wǎng)的帶寬。這種高速數(shù)據(jù)傳輸是在機(jī)架背面的 NVLink Spine 中進(jìn)行的，它配備四個(gè)模塊化預(yù)集成線纜盒，其中包含 5000 根銅纜，長(zhǎng)度超過(guò) 2 英里。

Vera Rubin NVL72 內(nèi)部的計(jì)算托盤(pán)完全重新設(shè)計(jì)自 NVIDIA Blackwell。它采用堅(jiān)固耐用的 PCB 中板，可安裝在單寬機(jī)架中，解鎖無(wú)線纜、無(wú)軟管和無(wú)風(fēng)扇的設(shè)計(jì)。這種簡(jiǎn)化將計(jì)算托盤(pán)組裝時(shí)間從近 2 小時(shí)縮短到僅 5 分鐘，組裝速度和可維護(hù)性提高了 20 倍。

每個(gè)計(jì)算托盤(pán)配備兩個(gè) NVIDIA Vera Rubin 超級(jí)芯片，每個(gè)包含 17,000 個(gè)組件，約為現(xiàn)代智能手機(jī)組件數(shù)量的五倍。這些超級(jí)芯片通過(guò) PCB 中板連接至前部模塊化插槽中的八個(gè) ConnectX-9 SuperNIC 和一個(gè) BlueField-4 DPU。

圖 7. NVIDIA Vera Rubin NVLink 交換機(jī)托盤(pán)

Vera Rubin NVL72 引入了新的機(jī)架級(jí)彈性功能，旨在更大限度地延長(zhǎng)大型 AI 集群的正常運(yùn)行時(shí)間并提高其性能。NVLink 交換機(jī)托盤(pán)支持操作彈性功能，允許管理員將交換機(jī)置于維護(hù)模式，并在機(jī)架繼續(xù)運(yùn)行時(shí)進(jìn)行更換。即使多個(gè)交換機(jī)托盤(pán)不可用，該架構(gòu)也支持持續(xù)運(yùn)行，從而最大限度地減少維護(hù)期間的中斷。

在芯片層面，NVIDIA Rubin GPU 持續(xù)運(yùn)行無(wú)中斷運(yùn)行狀況檢查，NVIDIA Vera CPU 具有系統(tǒng)內(nèi)測(cè)試和 SOCAMM 內(nèi)存功能，可提高可維護(hù)性。這些從芯片到機(jī)架的創(chuàng)新技術(shù)共同減少了運(yùn)營(yíng)開(kāi)銷，并建立在 Blackwell 集群實(shí)現(xiàn)的彈性提升之上。

NVIDIA Vera Rubin Ultra NVL576

NVIDIA Vera Rubin Ultra 引入了新的兩層 all-to-all NVLink 拓?fù)?，?a target="_blank">開(kāi)發(fā)者能夠擴(kuò)展到 576 個(gè) GPU。Vera Rubin Ultra NVL576 將 8 個(gè)獨(dú)立的 MGX NVL 機(jī)架 (每個(gè)機(jī)架配有 72 個(gè) Rubin Ultra GPU) 組合在一起，并通過(guò)銅纜和直接光纖連接在一個(gè) 576-GPU NVLink 域中。它將使用相同的 MGX 機(jī)架級(jí)生態(tài)系統(tǒng)構(gòu)建，以縮短投產(chǎn)時(shí)間。

作為多機(jī)架 NVL576 縱向擴(kuò)展架構(gòu)的原型，Polyphe 是基于 GB200 的 NVIDIA 內(nèi)部全功能產(chǎn)品，展示了這種大規(guī)模的多機(jī)架 NVLink 拓?fù)浣Y(jié)構(gòu)。

圖 8. NVIDIA Polyphe 原型，基于 GB200 的多機(jī)架 NVL576 縱向擴(kuò)展系統(tǒng)

NVIDIA Kyber NVL1152：新一代

為了擴(kuò)展到 NVL576 之外，我們將推出全新 MGX 機(jī)架 NVIDIA Kyber。NVIDIA Kyber 是新一代 MGX NVL 機(jī)架設(shè)計(jì)，將每個(gè)機(jī)架的 NVLink 域數(shù)翻倍，可容納 144 個(gè) GPU。

圖 9. NVIDIA Kyber NVL1152

NVIDIA Kyber 將使用類似的直接光學(xué)互連技術(shù)實(shí)現(xiàn)機(jī)架到機(jī)架的縱向擴(kuò)展，從而擴(kuò)展為大規(guī)模的多對(duì)多 NVL1152 超級(jí)計(jì)算機(jī)。Kyber 使用 NVIDIA Feynman 為下一個(gè)超大規(guī)模 AI 計(jì)算時(shí)代奠定了基礎(chǔ)。Kyber 將首先與 Vera Rubin Ultra 一起推出，作為獨(dú)立的 NVL144 系統(tǒng)，為客戶提供 Vera Rubin Ultra NVLink 擴(kuò)展域的三種選擇：NVL72、NVL144 和旗艦 NVL576。

NVIDIA MGX ETL 機(jī)架

雖然 NVIDIA MGX NVL 機(jī)架提供大規(guī)模縱向擴(kuò)展的計(jì)算域，但代理式 AI 工作流需要高度專業(yè)化的節(jié)點(diǎn)來(lái)實(shí)現(xiàn)超低延遲推理、CPU 沙盒和用于 KV 緩存的加速上下文內(nèi)存。為滿足這些不同需求，Vera Rubin 推出了 MGX ETL 機(jī)架架構(gòu)，這是一種完全可配置的全新 MGX 機(jī)架，其設(shè)計(jì)采用 Spectrum-X 以太網(wǎng)主干或直接芯片到芯片主干，利用與 MGX NVL 機(jī)架相同的機(jī)架級(jí)生態(tài)系統(tǒng)。

圖 10. NVIDIA MGX ETL 機(jī)架級(jí)系統(tǒng)增加了對(duì) Spectrum-X 以太網(wǎng)的支持，同時(shí)利用相同的 MGX 機(jī)架基礎(chǔ)設(shè)施，包括容納銅 spine 的線纜盒

MGX ETL 與 MGX NVL 機(jī)架具有相同的外形規(guī)格和物理基礎(chǔ)設(shè)施，并設(shè)計(jì)為在相同的機(jī)械、功率和冷卻范圍內(nèi)運(yùn)行。兩個(gè)機(jī)架將共享由經(jīng)驗(yàn)豐富的 MGX 生態(tài)系統(tǒng)構(gòu)建的相同關(guān)鍵機(jī)架組件：機(jī)架、機(jī)箱、托盤(pán)、線纜盒、液冷歧管、快速斷開(kāi)、匯流排 (標(biāo)準(zhǔn)和液冷) 、支架、側(cè)欄、電源層、防漏托盤(pán)、托盤(pán)手柄等。

MGX ETL 將使用經(jīng)過(guò)預(yù)集成和預(yù)先驗(yàn)證的銅纜卡式線纜，以及 Spectrum-X 以太網(wǎng)主干或直接的芯片到芯片主干。MGX ETL 將利用成熟的 MGX 生態(tài)系統(tǒng)和供應(yīng)鏈，多年來(lái)在大規(guī)模構(gòu)建機(jī)架架構(gòu)方面積累了豐富的經(jīng)驗(yàn)。

NVIDIA Spectrum-X 以太網(wǎng) spine

配備 Spectrum-X 以太網(wǎng) spine 節(jié)點(diǎn)的 MGX ETL 將成為 Vera Rubin POD 中 Vera CPU 機(jī)架和 BlueField-4 STX 存儲(chǔ)機(jī)架的基礎(chǔ)。機(jī)架高度可配置，還可容納多達(dá) 256 個(gè) Rubin GPU ( HGX Rubin NVL8 系統(tǒng)) 、XPU 或更多。

圖 11. 1U MGX ETL 交換機(jī)托盤(pán)為 MGX ETL spine節(jié)點(diǎn)提供 Spectrum-X 以太網(wǎng)連接

在這種設(shè)計(jì)中，1U MGX ETL 交換機(jī)托盤(pán) (基于 Spectrum-6) 位于機(jī)架中間。后置端口連接到銅質(zhì) Spine，而 32 個(gè)前置 OSFP 保持架可將光學(xué)收發(fā)器連接到 POD 的其余部分。

MGX ETL 利用 Spectrum-X 多平面拓?fù)洌ㄟ^(guò)多個(gè)交換機(jī)將 200 Gb/s 通道風(fēng)扇化，在機(jī)架內(nèi)節(jié)點(diǎn)之間提供完整的多對(duì)多連接，同時(shí)保持單個(gè)網(wǎng)絡(luò)層。預(yù)集成的銅 spine 可提供彈性、高能效的連接 (實(shí)現(xiàn) ETL 機(jī)架之間的單層光學(xué)連接) ，并在整個(gè) 256 個(gè)芯片機(jī)架中擴(kuò)展專用 Spectrum-X 以太網(wǎng)，實(shí)現(xiàn)零抖動(dòng)、噪音隔離和負(fù)載平衡。

chip-to-chip spine

LPX 機(jī)架專為超低延遲推理而設(shè)計(jì)，將 256 個(gè) LPU 作為一個(gè)整體連接在一起。它配備 32 個(gè)計(jì)算托盤(pán)，每個(gè)托盤(pán)有 8 個(gè) LPU，由一個(gè)芯片到芯片的直接主干連接，主干由兩個(gè)銅質(zhì)線纜盒組成，通過(guò)數(shù)千個(gè)配對(duì)的銅纜連接形成復(fù)雜的點(diǎn)對(duì)點(diǎn)拓?fù)浣Y(jié)構(gòu)。這些線纜構(gòu)成機(jī)架背面芯片到芯片的直接主干，包含與其他 MGX 機(jī)架相同的線纜盒機(jī)械外形規(guī)格。這種龐大的互聯(lián)結(jié)構(gòu)使整個(gè) 256-LPU 機(jī)架能夠作為單個(gè)快速推理引擎，使用 Vera Rubin NVL72 進(jìn)行部署。

在數(shù)據(jù)中心部署中擴(kuò)展到多個(gè) LPX 機(jī)架時(shí)，可在各機(jī)架之間保持芯片之間的直接鏈路，從而使多個(gè) LPX 機(jī)架能夠作為一個(gè)速度超快的單一推理引擎運(yùn)行。

NVIDIA Vera Rubin DSX AI 工廠平臺(tái)

NVIDIA Vera Rubin DSX 是一個(gè) AI 工廠平臺(tái)，可為共同設(shè)計(jì)的 AI 基礎(chǔ)設(shè)施 (從芯片到電網(wǎng)) 提供藍(lán)圖和參考設(shè)計(jì)。它可將電網(wǎng)功率更大限度地提升到 token 的效率和良好的輸出，并加快首次生產(chǎn)的時(shí)間。

圖 12. NVIDIA Vera Rubin DSX 的支柱，一個(gè)面向 AI 基礎(chǔ)設(shè)施建設(shè)的開(kāi)放式生態(tài)系統(tǒng)

NVIDIA Vera Rubin DSX 將芯片、系統(tǒng)、軟件庫(kù)、API 和全球合作伙伴生態(tài)系統(tǒng)整合到一個(gè)架構(gòu)中，在整個(gè) AI 工廠中緊密集成計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、電源、冷卻和設(shè)施控制。這使生態(tài)系統(tǒng)合作伙伴能夠快速設(shè)計(jì)、部署和擴(kuò)展吉瓦級(jí) AI 工廠，實(shí)現(xiàn)每瓦 token 的最大吞吐量，并通過(guò)端到端內(nèi)置在 DSX 平臺(tái)中的彈性和能效縮短正常運(yùn)行時(shí)間。

詳細(xì)了解 NVIDIA Vera Rubin POD

AI 基礎(chǔ)設(shè)施正在迅速發(fā)展，從獨(dú)立芯片、獨(dú)立服務(wù)器和機(jī)架級(jí)系統(tǒng)發(fā)展為共同設(shè)計(jì)的 POD 級(jí)超級(jí)計(jì)算機(jī)和 AI 工廠?，F(xiàn)代代理式 AI 工作負(fù)載正在推動(dòng)向?qū)Ｓ?AI 基礎(chǔ)設(shè)施的轉(zhuǎn)變，該基礎(chǔ)設(shè)施將計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)集成到單個(gè)緊密結(jié)合的超級(jí)計(jì)算機(jī)中。NVIDIA Vera Rubin POD 將五個(gè)機(jī)架級(jí)系統(tǒng)與第三代 NVIDIA MGX 機(jī)架的關(guān)鍵機(jī)械、功率和冷卻創(chuàng)新相結(jié)合，提供可擴(kuò)展性、彈性和能效。

在 AI 工廠規(guī)模，NVIDIA Vera Rubin DSX 參考設(shè)計(jì)和NVIDIA Omniverse DSX Blueprint適用于 AI 工廠數(shù)字孿生，為構(gòu)建和運(yùn)營(yíng) AI 工廠提供了統(tǒng)一的框架。這些創(chuàng)新成果共同帶來(lái)了性能、成本效益和節(jié)能方面的巨大提升，為代理式應(yīng)用時(shí)代提供動(dòng)力支持。

關(guān)于作者

Rohil Bhargava 是 NVIDIA 的產(chǎn)品營(yíng)銷經(jīng)理，專注于在特定 CSP 平臺(tái)上部署 NVIDIA 應(yīng)用程序框架和 SDK 。在加入 NVIDIA 之前，羅希爾曾擔(dān)任金融服務(wù)行業(yè)的顧問(wèn)和產(chǎn)品經(jīng)理。他的工作加速了人工智能在銀行遺留決策過(guò)程中的采用和分析工作流。他目前在卡內(nèi)基梅隆大學(xué)攻讀技術(shù)戰(zhàn)略 MBA ，并擁有西北大學(xué)工業(yè)工程和經(jīng)濟(jì)學(xué)學(xué)士學(xué)位。

Taylor Allison 負(fù)責(zé)與 NVIDIA 以太網(wǎng)交換機(jī)產(chǎn)品組合相關(guān)的產(chǎn)品營(yíng)銷，包括硬件平臺(tái)、網(wǎng)絡(luò)操作系統(tǒng)和遙測(cè)工具。 Taylor 熱衷于數(shù)據(jù)中心基礎(chǔ)設(shè)施領(lǐng)域的產(chǎn)品營(yíng)銷和管理，擁有網(wǎng)絡(luò)、存儲(chǔ)、 HPC 和 AI / ML 方面的專業(yè)知識(shí)。在 2021 年加入 NVIDIA 之前， Taylor 是聯(lián)想的 HPC / AI 存儲(chǔ)領(lǐng)導(dǎo)者，負(fù)責(zé)高性能存儲(chǔ)平臺(tái)、軟件和解決方案。泰勒在北卡羅來(lái)那大學(xué)獲得數(shù)學(xué)碩士學(xué)位。

Harry Petty 是一位經(jīng)驗(yàn)豐富的數(shù)據(jù)中心營(yíng)銷人員和技術(shù)專家，曾在大型科技公司擔(dān)任領(lǐng)導(dǎo)職務(wù)，為混合云、存儲(chǔ)解決方案、網(wǎng)絡(luò)處理器和服務(wù)器產(chǎn)品線推廣 SDN 產(chǎn)品。他曾與許多客戶合作，在多個(gè)數(shù)據(jù)中心部署應(yīng)用程序。當(dāng) Harry 不討論 HPC 數(shù)據(jù)中心的 IO 子系統(tǒng)時(shí)，他喜歡在北加利福尼亞州附近的 Sierra 山麓和湖泊中進(jìn)行戶外活動(dòng)。