近日，小鵬汽車正式發(fā)布世界模型X-World技術(shù)報告，從數(shù)據(jù)、模型、訓(xùn)練、驗證及應(yīng)用等多層面詳解X-World的構(gòu)建與使用。

X-World是一個基于視頻擴散生成技術(shù)（Video Diffusion）構(gòu)建的、服務(wù)于自動駕駛的可控多視角生成式世界模型，具備多視角下即時響應(yīng)與持續(xù)生成的能力。

技術(shù)報告還展示了X-World在小鵬汽車自動駕駛中的實際應(yīng)用價值，該模型已投入到閉環(huán)仿真測試、在線強化學(xué)習(xí)、數(shù)據(jù)生成等實際生產(chǎn)環(huán)節(jié)。

在近期向用戶陸續(xù)推送的第二代VLA的研發(fā)與驗證過程中，X-World 也已被大量用于環(huán)境仿真與模型評估。

自動駕駛系統(tǒng)的評估主要依賴真實道路測試與仿真測試。其中，仿真測試具備成本更低、效率更高、場景覆蓋更廣、可重復(fù)驗證等優(yōu)勢。傳統(tǒng)仿真評估大量采用基于 3D 高斯濺射（3DGS）的技術(shù)路線，這類方法能夠在一定程度上復(fù)現(xiàn)真實場景，但當(dāng)自動駕駛模型產(chǎn)生大幅變道、繞行等明顯偏離原始采集軌跡的行為時，這種方法往往難以對超出既有重建范圍的后續(xù)場景進(jìn)行有效生成與評估。因此，行業(yè)內(nèi)仍高度依賴實車道路測試，而這種方式存在著成本高、場景覆蓋有限、難以復(fù)現(xiàn)指定情況等問題。

為了解決這些瓶頸，小鵬生成世界模型團隊試圖構(gòu)建一個“現(xiàn)實世界模擬器”，讓它能夠在給定動作條件下生成符合物理約束的未來視頻，同時在持續(xù)生成過程中保持良好的可控性與穩(wěn)定性。在這一背景下，X-World應(yīng)運而生，通過輸入多攝像頭的歷史視頻流和待執(zhí)行的駕駛動作（或動作序列），便可生成對應(yīng)的未來多攝像頭視頻流。X-World可以被視為一個會“思考”駕駛場景的物理AI系統(tǒng)，它能夠根據(jù)當(dāng)前的路況和駕駛操作，想象出數(shù)秒后路況的變化。

架構(gòu)層面，X-World 基于當(dāng)前領(lǐng)先的視頻生成模型 WAN 2.2 構(gòu)建，沿用其潛空間視頻生成范式，將視頻VAE與基于DiT的潛空間去噪器相結(jié)合。底層采用高壓縮比 3D 因果自編碼器（VAE），大幅降低計算與內(nèi)存開銷，支持長時序視頻建模，從而更好地捕捉豐富的時空依賴關(guān)系，同時降低延遲、加快推理速度。模型骨干為定制化的DiT骨干網(wǎng)絡(luò)，通過視角-時間自注意力機制，實現(xiàn)時間維度和視角維度的聯(lián)合建模，從而確保7路攝像頭視角間的一致性。X-World 還提供了一套全面的條件控制接口，包括自車動作、動態(tài)交通參與者、靜態(tài)道路元素（如車道線、道路邊界）、攝像頭內(nèi)外參，可對駕駛場景的生成過程進(jìn)行細(xì)粒度調(diào)控。這些設(shè)計共同實現(xiàn)了多輸入條件下的可控多視角生成。

X-World 模型（框架如上圖所示）

在本篇技術(shù)報告中，小鵬團隊圍繞X-World實際落地過程中遇到的技術(shù)難點做了分享，核心在于如何實現(xiàn)跨視角3D一致性、多條件受控生成準(zhǔn)確、長時序畫面生成。除了模型架構(gòu)上的新穎嘗試，在訓(xùn)練層面，團隊采用了兩個階段的訓(xùn)練方式：

第一階段，將一個大型預(yù)訓(xùn)練視頻生成模型，改造為完全可控的多攝像頭世界模型。

第二階段，通過“分塊因果架構(gòu)”和“少步自強制學(xué)習(xí)”，結(jié)合滾動鍵值緩存，將模型轉(zhuǎn)換為流式自回歸模擬器。

與傳統(tǒng)的雙向視頻擴散模型不同，X-World 采用流式自回歸的方式運行，可以逐步生成未來視頻畫面以進(jìn)行實時交互，這一設(shè)計使得模型能夠天然適用于閉環(huán)場景，既可為端到端策略的可擴展評估提供支撐，也可應(yīng)用于在線強化學(xué)習(xí)訓(xùn)練。

實驗結(jié)果顯示，X-World實現(xiàn)了高質(zhì)量的多視角視頻生成。總體而言，它具備以下三大核心優(yōu)勢：

實現(xiàn)了較強的跨視角一致性，確保各攝像頭間（7路環(huán)視攝像頭）的幾何信息與目標(biāo)特征一致；

嚴(yán)格的動作跟隨性，生成的未來畫面與指令要求的自車行為高度匹配；

具備長視頻推演能力，可在較長的時間跨度內(nèi)實現(xiàn)穩(wěn)定的預(yù)測。上述特性讓生成式世界模型更接近實用的 “現(xiàn)實世界仿真器” 形態(tài)，能夠為VLA自動駕駛系統(tǒng)提供可復(fù)現(xiàn)的基準(zhǔn)測試、可擴展的回歸測試與交互式學(xué)習(xí)支撐。

在具體的應(yīng)用場景上，X-World不僅僅是一個視頻生成模型，更是一個高保真、交互式、可控的底層基礎(chǔ)平臺，服務(wù)于小鵬汽車第二代VLA的開發(fā)與驗證。目前，X-World已經(jīng)在小鵬汽車自動駕駛的閉環(huán)仿真測試、在線強化學(xué)習(xí)、數(shù)據(jù)生成等環(huán)節(jié)起到支撐作用。

依托X-World，小鵬構(gòu)建面向第二代VLA的閉環(huán)評估引擎。區(qū)別于傳統(tǒng)的基于3D重建的技術(shù)路線，X-World可進(jìn)行交互式推演，并支持對安全關(guān)鍵指標(biāo)進(jìn)行評估。例如，在 X-World 中運行第二代VLA，可在高度貼近真實世界視覺分布的虛擬環(huán)境中，評估碰撞率、目標(biāo)達(dá)成進(jìn)度、乘坐舒適性等性能指標(biāo)。目前，小鵬自動駕駛仿真場景從一年前的3萬增加到50多萬個，每日仿真測試?yán)锍痰刃в?000萬公里實車測試。

X-World可充當(dāng)在線強化學(xué)習(xí)的仿真平臺?？衫肵-World的可控性，針對自動駕駛中的難點場景進(jìn)行專項優(yōu)化，例如重點優(yōu)化模型在路口遭遇行人“鬼探頭”、 擁堵路段變道猶豫等場景的表現(xiàn)。

X-World可實現(xiàn)大規(guī)模數(shù)據(jù)生成與增強。X-World作為生成式數(shù)據(jù)工廠，既可以生成缺失的長尾場景數(shù)據(jù)，提升第二代VLA應(yīng)對長尾場景（Corner Case）的能力，也能生成海外數(shù)據(jù)用于模型訓(xùn)練，加速小鵬自動駕駛?cè)蚧涞剡M(jìn)程。

操作控制演示

支持指令控制畫面。

例如輸入"左轉(zhuǎn)"、"加速"。

多車場景控制

支持控制畫面中其他車輛的行為。

例如讓它們加速、減速、變道。

長距離預(yù)測

支持連續(xù)生成幾十秒的畫面，

且畫面始終保持穩(wěn)定和連貫。

風(fēng)格變換

支持改變天氣和時間。

例如"雨天"、"黑夜"、"德國的街道"

3月19日起，小鵬第二代VLA面向用戶陸續(xù)推送。從前沿技術(shù)探索到工程化落地，小鵬汽車持續(xù)以先進(jìn)科技與強大技術(shù)實力，為用戶帶來全場景、更安心和高效的智駕體驗，讓更安全、更智能的自動駕駛普及到每一條道路。