NVIDIA 正式推出NVIDIA Jetson T4000，將高性能 AI 與實(shí)時(shí)推理能力帶入更廣泛的機(jī)器人和邊緣 AI應(yīng)用。T4000 針對(duì)更嚴(yán)格的功耗和散熱限制進(jìn)行了優(yōu)化，最高可提供 1200 FP4 TFLOPs 的 AI 算力和 64 GB 內(nèi)存，在性能、能效和可擴(kuò)展性之間實(shí)現(xiàn)了理想平衡。憑借高能效設(shè)計(jì)和量產(chǎn)就緒的形態(tài)規(guī)格，T4000 讓先進(jìn) AI 技術(shù)更容易被新一代智能機(jī)器采用，包括自主機(jī)器人、智慧基礎(chǔ)設(shè)施和工業(yè)自動(dòng)化等應(yīng)用場(chǎng)景。

該模組集成 1 路 NVENC 和 1 路 NVDEC 硬件視頻編解碼引擎，支持實(shí)時(shí) 4K 視頻編碼與解碼。這種均衡設(shè)計(jì)非常適合需要將先進(jìn)視覺(jué)處理與 I/O 能力相結(jié)合、同時(shí)又必須滿(mǎn)足功耗和散熱要求的平臺(tái)。

表 1. Jetson T4000 模組與 Jetson T5000 模組的核心規(guī)格

Jetson T4000 模組在外形尺寸和引腳定義上與 NVIDIA Jetson T5000 模組完全兼容。開(kāi)發(fā)者可以為 T4000 和 T5000 設(shè)計(jì)通用載板，只需在散熱和模組固有特性方面考慮差異即可。

NVIDIA Jetson T4000與T5000性能基準(zhǔn)測(cè)試

Jetson T4000 和 T5000 模組在多種大語(yǔ)言模型（LLM）、文本轉(zhuǎn)語(yǔ)音（TTS）以及視覺(jué)-語(yǔ)言-動(dòng)作（VLA）模型上都表現(xiàn)出色。相比上一代 NVIDIA Jetson AGX Orin 平臺(tái)，Jetson T4000 的性能最高可提升至 2 倍。下表展示了 T4000 與 T5000 在主流 LLM、TTS 和 VLA 模型上的性能數(shù)據(jù)。

表2. Jetson T4000與Jetson T5000模組的性能基準(zhǔn)測(cè)試

NVIDIA JetPack 7.1：面向下一代邊緣AI的先進(jìn)軟件棧

NVIDIAJetPack 7是目前 Jetson 平臺(tái)最先進(jìn)的軟件套件，能夠?yàn)樵谶吘壎瞬渴鹕墒?AI和人形機(jī)器人提供支持。全新的 Jetson T4000 模組由 JetPack 7.1 驅(qū)動(dòng)，并引入了多項(xiàng)增強(qiáng) AI 與視頻編解碼能力的軟件新特性。

NVIDIA TensorRT Edge-LLM：提升機(jī)器人和邊緣系統(tǒng)的推理能力

在 JetPack 7.1 中，NVIDIA 正式為 Jetson Thor 平臺(tái)引入對(duì)TensorRTEdge-LLM 的支持。

TensorRT Edge-LLMSDK 是一個(gè)開(kāi)源的 C++ SDK，用于在 Jetson 等邊緣平臺(tái)上高效運(yùn)行 LLM 和視覺(jué)語(yǔ)言模型（VLM）。它面向機(jī)器人及其他實(shí)時(shí)系統(tǒng)，這些系統(tǒng)需要現(xiàn)代 LLM 的智能能力，但無(wú)法承受數(shù)據(jù)中心級(jí)別的計(jì)算、內(nèi)存和功耗需求。

大多數(shù)主流 LLM 技術(shù)棧都是圍繞云端 GPU 設(shè)計(jì)的：擁有充足的內(nèi)存、寬松的時(shí)延要求、大量 Python 服務(wù)以及彈性擴(kuò)展作為保障。而機(jī)器人和其他邊緣設(shè)備所面臨的約束完全不同——每一毫秒、每一瓦功耗以及運(yùn)行時(shí)行為都會(huì)直接影響物理世界中的實(shí)際動(dòng)作。TensorRT Edge-LLM SDK 正是為填補(bǔ)這一差距而設(shè)計(jì)，它為 Jetson Thor 級(jí)別的嵌入式 GPU 提供了面向量產(chǎn)的 LLM 運(yùn)行時(shí)。

在機(jī)器人工作負(fù)載中，目標(biāo)不僅僅是“能夠運(yùn)行一個(gè) LLM”，而是要讓 LLM 與感知、控制和規(guī)劃等已經(jīng)高度占用 GPU 和 CPU 資源的系統(tǒng)協(xié)同運(yùn)行。以邊緣為先的設(shè)計(jì)理念意味著 LLM 運(yùn)行時(shí)需要與現(xiàn)有 C++ 代碼庫(kù)無(wú)縫集成，遵循嚴(yán)格的內(nèi)存預(yù)算，并在高負(fù)載下提供可預(yù)測(cè)的時(shí)延。

TensorRT Edge-LLM SDK 專(zhuān)注于在邊緣端實(shí)現(xiàn) LLM 和 VLM 的快速、高效推理，并與 PyTorch 等主流訓(xùn)練生態(tài)保持兼容。典型工作流非常直接：將訓(xùn)練好的模型導(dǎo)出為 ONNX，通過(guò) TensorRT 進(jìn)行優(yōu)化，然后在設(shè)備端由 SDK 端到端驅(qū)動(dòng)推理引擎運(yùn)行。

其中一個(gè)顯著特征在于，該方案以輕量級(jí) C++ 工具包的形式實(shí)現(xiàn)，最初針對(duì)NVIDIA DriveOS LLM SDK中的車(chē)載系統(tǒng)進(jìn)行了優(yōu)化。相比由大量 Python 包、Web 服務(wù)器和后臺(tái)服務(wù)堆疊而成的復(fù)雜依賴(lài)體系，開(kāi)發(fā)者只需鏈接一個(gè)精簡(jiǎn)的 C++ 運(yùn)行時(shí)，該運(yùn)行時(shí)可直接與 TensorRT 和NVIDIA CUDA進(jìn)行交互。

與以 Python 為中心的 LLM 框架相比，這種方式為機(jī)器人應(yīng)用帶來(lái)了多項(xiàng)實(shí)際優(yōu)勢(shì)，包括：

更低的系統(tǒng)開(kāi)銷(xiāo)：C++ 可執(zhí)行文件避免了 Python 解釋器啟動(dòng)開(kāi)銷(xiāo)、垃圾回收暫停以及 GIL 競(jìng)爭(zhēng)，更容易滿(mǎn)足嚴(yán)格的時(shí)延要求。

更易于實(shí)時(shí)系統(tǒng)集成：C++ 能更直接地控制線(xiàn)程、內(nèi)存池和調(diào)度機(jī)制，非常契合實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的機(jī)器人軟件架構(gòu)。

更小的軟件體量：更少的依賴(lài)使 Jetson 上的部署更簡(jiǎn)單，容器鏡像更小，也讓 OTA 更新更加穩(wěn)健。

量化是提升效率的關(guān)鍵手段之一。該 SDK 支持 FP8、NVFP4 和 INT4 等多種低精度格式，在合理調(diào)優(yōu)的情況下，可在較小精度損失下顯著壓縮模型權(quán)重和 KV-cache 的占用。

圖 1. TensorRT Edge-LLM 在多種 Qwen3 模型上的性能表現(xiàn)

Video Codec SDK：為Jetson Thor提供實(shí)時(shí)感知與媒體處理能力

隨著 JetPack 7.1 的發(fā)布，NVIDIA Video Codec SDK現(xiàn)已支持 Jetson Thor。

Video Codec SDK 是一套完整的 API、 高性能工具、示例應(yīng)用、可復(fù)用代碼和文檔集合，用于在 Jetson Thor 平臺(tái)上實(shí)現(xiàn)硬件加速的視頻編碼和解碼。其核心是 NVENCODE 和 NVDECODE API，提供 C 風(fēng)格接口，可高效訪(fǎng)問(wèn) NVENC 和 NVDEC 硬件加速器，暴露絕大多數(shù)硬件能力以及常用和高級(jí)編解碼特性。

為簡(jiǎn)化集成，SDK 還在這些 API 之上封裝了可復(fù)用的 C++ 類(lèi)，使應(yīng)用能夠輕松使用 NVENCODE 或 NVDECODE 接口所提供的完整功能集。

圖 2 展示了 JetPack 7.1 BSP 中 Video Codec SDK 及其驅(qū)動(dòng)的整體架構(gòu)，以及相關(guān)的示例應(yīng)用和文檔。

圖 2. Video Codec SDK 架構(gòu)

Video Codec SDK 為多媒體開(kāi)發(fā)者帶來(lái)以下關(guān)鍵優(yōu)勢(shì)。

跨NVIDIA GPU的統(tǒng)一開(kāi)發(fā)體驗(yàn)

借助 Video Codec SDK，開(kāi)發(fā)者可以在整個(gè) NVIDIA GPU 產(chǎn)品線(xiàn)上獲得一致、簡(jiǎn)化的開(kāi)發(fā)體驗(yàn)，無(wú)需為不同 GPU 類(lèi)別維護(hù)獨(dú)立的代碼庫(kù)或調(diào)優(yōu)策略，從而降低工程成本。

基于 GPU 的應(yīng)用可以通過(guò) Video SDK API 無(wú)縫擴(kuò)展或遷移到 Jetson Thor 的集成 GPU 上，而無(wú)需重新設(shè)計(jì)視頻處理流程。嵌入式平臺(tái)團(tuán)隊(duì)也能使用與工作站和服務(wù)器一致的成熟 API 及工具，并獲得相同級(jí)別的性能優(yōu)化。這種一致性不僅加速了開(kāi)發(fā)與驗(yàn)證，還能夠讓長(zhǎng)期維護(hù)、系統(tǒng)擴(kuò)展以及跨平臺(tái)功能一致性保障更加便利。

對(duì)下一代機(jī)器人感知與多媒體應(yīng)用的精細(xì)化控制

Video Codec SDK 提供了將預(yù)設(shè)與調(diào)優(yōu)模式相結(jié)合的 API，使開(kāi)發(fā)者能夠精確控制視頻質(zhì)量、時(shí)延和吞吐量，實(shí)現(xiàn)高度靈活的、面向具體應(yīng)用的編碼策略。

通過(guò)對(duì)重建幀訪(fǎng)問(wèn)和迭代編碼的 API 支持，SDK 可實(shí)現(xiàn) CABR 工作流，自動(dòng)在保證感知質(zhì)量的前提下找到最低碼率，從而降低帶寬需求。同時(shí)，通過(guò) SDK 暴露的空間/時(shí)間自適應(yīng)量化（AQ）與前瞻控制機(jī)制，可以實(shí)現(xiàn)細(xì)粒度的感知質(zhì)量?jī)?yōu)化，將碼率精準(zhǔn)分配到最重要的區(qū)域，從而在不增加碼率的前提下獲得更清晰、更穩(wěn)定的視頻效果。

Video Codec SDK 主要由兩大部分組成：

視頻用戶(hù)態(tài)驅(qū)動(dòng)通過(guò) NVENCODE 和 NVDECODE API 訪(fǎng)問(wèn)片上硬件編碼器和解碼器

Video Codec SDK 13.0 包含示例代碼、頭文件和文檔，可通過(guò)NVIDIA Video Codec SDK網(wǎng)頁(yè)，使用 APT（參考操作說(shuō)明）或 通過(guò)NVIDIA SDK Manager安裝

圖3. Video Codec SDK的組成

PyNvVideoCodec是 NVIDIA 提供的 Python 視頻編解碼庫(kù)，為 NVIDIA GPU 上的硬件加速視頻編碼和解碼提供了簡(jiǎn)潔而強(qiáng)大的 Python API。

PyNvVideoCodec 庫(kù)在內(nèi)部調(diào)用 Video Codec SDK 的核心 C/C++ 編解碼接口，同時(shí)對(duì)外提供易用的 Python API，其性能與直接使用Video Codec SDK非常接近。

開(kāi)始開(kāi)發(fā)

NVIDIA Jetson T4000擁有成熟的合作伙伴生態(tài)，提供量產(chǎn)就緒的系統(tǒng)方案，幫助用戶(hù)快速?gòu)脑碗A段過(guò)渡到實(shí)際部署。開(kāi)發(fā)者可以直接選擇經(jīng)過(guò)驗(yàn)證的邊緣系統(tǒng)，這些系統(tǒng)已集成模組、電源、散熱設(shè)計(jì)以及機(jī)器人和物理 AI 工作負(fù)載所需的 I/O。眾多合作伙伴的系統(tǒng)充分利用了模組的先進(jìn)攝像頭處理流程，支持 MIPI CSI 和 GMSL，能夠處理高要求的多攝像頭實(shí)時(shí)視覺(jué)任務(wù)。Jetson T4000 提供 16 條 MIPI CSI 通道，使合作伙伴能夠打造可同時(shí)接入多路攝像頭的視頻采集平臺(tái)，支持復(fù)雜的機(jī)器人、工業(yè)檢測(cè)和自主機(jī)器應(yīng)用。

這些系統(tǒng)均針對(duì) JetPack SDK、CUDA 以及完整的 NVIDIA AI 軟件棧進(jìn)行了優(yōu)化，現(xiàn)有應(yīng)用和模型通常只需極少修改即可遷移。眾多合作伙伴還提供生命周期支持、區(qū)域認(rèn)證和定制化服務(wù)，幫助團(tuán)隊(duì)在從試點(diǎn)到規(guī)?；渴鸬倪^(guò)程中降低供應(yīng)鏈和合規(guī)風(fēng)險(xiǎn)。想要了解可用系統(tǒng)并找到最適合您應(yīng)用的方案，請(qǐng)?jiān)L問(wèn)NVIDIA 生態(tài)系統(tǒng)頁(yè)面。

總結(jié)

借助由 JetPack 7.1 驅(qū)動(dòng)的 Jetson T4000，NVIDIA 將 Blackwell 級(jí) AI 能力、實(shí)時(shí)推理和先進(jìn)多媒體功能擴(kuò)展到更廣泛的邊緣與機(jī)器人應(yīng)用領(lǐng)域。從在 LLM、語(yǔ)音和 VLA 工作負(fù)載上的顯著性能提升，到 TensorRT Edge-LLM 的引入以及統(tǒng)一的 Video Codec SDK，T4000 在性能、能效和軟件成熟度之間實(shí)現(xiàn)了出色平衡。Jetson T4000 使開(kāi)發(fā)者能夠在不同性能層級(jí)之間靈活擴(kuò)展，在邊緣端構(gòu)建下一代自主機(jī)器、感知系統(tǒng)和物理 AI 解決方案。

關(guān)于作者

Shashank Maheshwari 是 NVIDIA Jetson 軟件產(chǎn)品經(jīng)理。他擁有杜克大學(xué) (Duke University)、Fuqua 商學(xué)院 (The Fuqua School of Business) 工商管理碩士 (MBA) 學(xué)位和工商管理學(xué)士 (B.E.) 學(xué)位來(lái)自 BITS Pilani 的電子產(chǎn)品。

Aayush Pathak 是 NVIDIA 的硬件產(chǎn)品經(jīng)理，專(zhuān)注于嵌入式邊緣和自主機(jī)器領(lǐng)域。他在半導(dǎo)體行業(yè)擁有豐富的經(jīng)驗(yàn)，設(shè)計(jì)過(guò)超級(jí)計(jì)算機(jī) SoC，并致力于開(kāi)發(fā)低功耗、節(jié)能的硬件。他擁有南加州大學(xué)電氣工程碩士學(xué)位和芝加哥大學(xué)工商管理碩士學(xué)位。

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專(zhuān)注于 Jetson 軟件。他以前在NVIDIA 的自主駕駛團(tuán)隊(duì)工作，為 NVIDIA 驅(qū)動(dòng)平臺(tái)優(yōu)化系統(tǒng)軟件。在空閑時(shí)間，蘇哈斯喜歡閱讀量子物理和博弈論方面的書(shū)籍。