在 GTC 會場，觀眾座無虛席，兩位計算領域最具影響力的領導人物，NVIDIA 首席科學家 Bill Dally，以及 Google DeepMind 與 Google Research 首席科學家 Jeff Dean 登臺對話。他們的工作深刻塑造了大規(guī)模機器學習的發(fā)展軌跡。

這場對話與其說是傳統(tǒng)座談，不如說是一場深度學習的“即興演奏會”，兩位深入探討了 AI 模型的演進方向，以及為何硬件架構如今已與 AI 的進步密不可分。

Dean 開場時回顧了模型能力的快速躍遷，尤其在如“數(shù)學和編程”等具備“可驗證獎勵”的領域。曾經(jīng)令模型束手無策的任務，如今已能可靠地執(zhí)行；基于智能體的工作流甚至能在數(shù)小時乃至數(shù)天內幾乎無需人工干預的情況下自主運行。他強調，這一轉變正在重塑 AI 系統(tǒng)的本質，使其從被動響應提示的工具，轉變?yōu)椤霸诤笈_持續(xù)運作的智能體”。

對此，Dally 表示，這種演進將延遲問題推至聚光燈下。推理速度成為智能體在大規(guī)模環(huán)境中推理、規(guī)劃與迭代的首要設計約束。他解釋道，當前大部分延遲并非來自計算本身，而是源于通信。每一層之間的數(shù)據(jù)傳遞、每一次片外訪問、每比特在導線上的移動，都會帶來時間與能耗成本。NVIDIA 的應對策略是推動架構向 Dally 所稱的“光速”設計邁進：最大限度減少路由成本、消除排隊等待，并縮短數(shù)據(jù)必須傳輸?shù)奈锢砭嚯x。

在討論能效時，這一“不要移動數(shù)據(jù)”的原則被反復提及。一次乘加運算可能僅耗幾飛焦耳（極小的能量單位），但從外部存儲器讀取數(shù)據(jù)的能耗卻可能高出數(shù)千倍。Dally 介紹了利用 SRAM 的局部性并探索堆疊式 DRAM 技術，通過將計算單元緊鄰內存部署，從根本上改善這一能耗失衡。其目標不僅是降低能耗，更是在相同功耗下實現(xiàn)更高性能。

討論還延伸到利用 AI 設計運行 AI 的芯片。Dally 舉例說，如今強化學習系統(tǒng)能夠在一夜之間生成標準單元庫，即預設計、預驗證且完整表征的基礎邏輯模塊集合；而基于 NVIDIA 設計歷史訓練的內部大語言模型，正幫助初級工程師掌握數(shù)十年的架構知識。這些系統(tǒng)并非取代人類設計師，而是增強他們的能力，壓縮開發(fā)周期，并拓展值得探索的創(chuàng)新空間。

展望未來，兩位演講者不約而同地聚焦于同一個關鍵詞：協(xié)同設計。突破性的進展將來自機器學習研究人員與系統(tǒng)架構師之間的緊密反饋循環(huán)。正如 Dean 所言，有時你在硅片上加入一個小型實驗性功能，就可能帶來巨大回報，硬件性能可因此實現(xiàn)“10 到 20 倍”的提升。

本場對話最終回歸人本價值。教育、醫(yī)療與科學發(fā)現(xiàn)被一致視為 AI 能產生深遠積極影響的領域，尤其是當系統(tǒng)變得個性化、具備上下文理解并持續(xù)學習的情況下。Dean 表示，“我認為 AI 在醫(yī)療領域的應用將極具變革性”。

如果臺上這兩位行業(yè)領導者所暢想的未來成真，那將不只是更快的模型運行在更好的硬件上，而將開啟一個一個智能、能效與規(guī)模協(xié)同演進的全新計算時代。