2024年7月，理想汽車發(fā)布的基于端到端模型、VLM視覺(jué)語(yǔ)言模型和世界模型的全新自動(dòng)駕駛技術(shù)架構(gòu)標(biāo)志著其全棧自研的智能駕駛研發(fā)進(jìn)入了新階段。該架構(gòu)的算法原型創(chuàng)新性地受到了諾貝爾獎(jiǎng)得主丹尼爾·卡尼曼提出的“快慢系統(tǒng)”理論啟發(fā)，旨在讓自動(dòng)駕駛系統(tǒng)模擬人類的思考與決策過(guò)程。理想汽車結(jié)合端到端與VLM模型，推出了業(yè)界首個(gè)在車端部署的雙系統(tǒng)方案，并成功將VLM視覺(jué)語(yǔ)言模型部署于車端芯片上。這套“系統(tǒng)1”與“系統(tǒng)2”相互配合的擬人化設(shè)計(jì)，目標(biāo)正是讓自動(dòng)駕駛在處理95%的常規(guī)場(chǎng)景時(shí)高效敏捷，在應(yīng)對(duì)5%的復(fù)雜未知場(chǎng)景時(shí)深入周全，從而提供更智能、更擬人的駕駛體驗(yàn)。那所謂的“快慢系統(tǒng)（思維）”到底是個(gè)啥？

什么是“快思維”和“慢思維”？

我們可以把“快思維”和“慢思維”理解為兩種不同的認(rèn)知模式?？焖季S反應(yīng)迅速，依賴直覺(jué)和模式匹配；慢思維則講究逐步推敲，進(jìn)行多步邏輯推理或長(zhǎng)期規(guī)劃。把這一框架對(duì)應(yīng)到大模型上，快思維相當(dāng)于模型在時(shí)間有限的情況下做出的即時(shí)、一次性預(yù)測(cè)或決策；慢思維則是模型通過(guò)多輪推理、檢索外部證據(jù)、模擬驗(yàn)證等過(guò)程得出的結(jié)論。兩者并無(wú)絕對(duì)的“聰明”之分，而是適用于不同場(chǎng)景的工具，有的任務(wù)要快，有的任務(wù)要深。

在大模型內(nèi)部，這兩種“思維”可以體現(xiàn)在模型結(jié)構(gòu)或運(yùn)行策略上?？焖季S表現(xiàn)為輕量化的前向推理、緩存或索引命中、近似決策機(jī)制；慢思維則表現(xiàn)為多步鏈?zhǔn)酵评怼z索增強(qiáng)生成、多次抽樣與自我驗(yàn)證，或?qū)?wèn)題交由更大模型或模擬器進(jìn)行深度計(jì)算。合理組合這兩種能力，才能讓系統(tǒng)既反應(yīng)迅速，又能應(yīng)對(duì)復(fù)雜和不確定的情況。

在自動(dòng)駕駛中，為什么要區(qū)分快/慢思維？

自動(dòng)駕駛是一個(gè)既需要毫秒級(jí)響應(yīng)，又需要理解數(shù)秒甚至數(shù)分鐘情境的系統(tǒng)。日常行駛中，車輛需要不斷做出如保持車道、跟車、剎車等短時(shí)決策，這些都對(duì)延遲極為敏感；同時(shí)，系統(tǒng)還要對(duì)更長(zhǎng)時(shí)間尺度的情況進(jìn)行判斷，例如預(yù)測(cè)其他車輛的意圖、處理復(fù)雜路口的優(yōu)先權(quán)問(wèn)題、根據(jù)地圖和交通規(guī)則制定策略規(guī)劃等。引入快思維與慢思維的概念，有助于設(shè)計(jì)分層、高效且可驗(yàn)證的系統(tǒng)架構(gòu)。

快思維在車輛中承擔(dān)類似“反射”和“低階控制”的角色。當(dāng)感知模塊檢測(cè)到障礙物，或雷達(dá)、激光、攝像頭融合出緊急預(yù)警時(shí)，決策模塊必須在極短時(shí)間內(nèi)輸出制動(dòng)或避讓指令。這就要求系統(tǒng)具備高確定性、低延遲、可驗(yàn)證性，并依賴經(jīng)過(guò)優(yōu)化的模型和硬件。慢思維則負(fù)責(zé)更復(fù)雜的推理任務(wù)，例如在視覺(jué)信息不全時(shí)補(bǔ)全場(chǎng)景、在密集車流中做多步交互預(yù)測(cè)、在規(guī)則沖突或罕見(jiàn)場(chǎng)景下進(jìn)行合規(guī)評(píng)估并生成安全策略。慢思維可以調(diào)用更多數(shù)據(jù)、仿真工具和外部知識(shí)庫(kù)，允許檢驗(yàn)與回滾。

這兩種能力互為支撐?？焖季S保障即時(shí)安全，慢思維提升長(zhǎng)期正確性與系統(tǒng)穩(wěn)健性。沒(méi)有快思維，車輛在突發(fā)情況下會(huì)因計(jì)算延遲錯(cuò)失響應(yīng)時(shí)機(jī)；沒(méi)有慢思維，車輛在復(fù)雜或模糊場(chǎng)景中容易犯邏輯錯(cuò)誤或應(yīng)對(duì)不當(dāng)。

如何將兩種思維融入系統(tǒng)？

要將“快”與“慢”落地，不是簡(jiǎn)單地將一個(gè)大模型一分為二，而是構(gòu)建一個(gè)分層、異步、具備監(jiān)控與回退機(jī)制的系統(tǒng)。感知與低階控制部分通常運(yùn)行在車端實(shí)時(shí)操作系統(tǒng)上，采用裁剪后的深度網(wǎng)絡(luò)、確定性濾波器及規(guī)則約束，以實(shí)現(xiàn)低延遲和高可靠性。這一層還集成了置信度估計(jì)與安全邊界機(jī)制，一旦檢測(cè)到不確定性上升，即可觸發(fā)更保守的操作。

慢思維模塊可部署在車端，也可部署在邊緣或云端，具體取決于延遲和隱私要求。其任務(wù)包括檢索歷史軌跡、運(yùn)行多模型預(yù)測(cè)、基于物理或世界模型進(jìn)行前瞻模擬，以及利用更大的語(yǔ)言或推理模型進(jìn)行語(yǔ)義理解與法規(guī)解釋。為提高穩(wěn)健性，系統(tǒng)可采用自我一致性抽樣、多次推理取多數(shù)結(jié)果，以及后驗(yàn)驗(yàn)證器來(lái)篩選輸出。此外，將慢思維得出的策略或模型“折疊”回快思維層是常見(jiàn)做法，例如通過(guò)知識(shí)蒸餾、生成訓(xùn)練樣本或直接更新小模型參數(shù)，從而將深度推理的成果固化為低延遲的運(yùn)行時(shí)行為。

快、慢思維在工程上的關(guān)鍵點(diǎn)包括頻率分層與接口定義。不同模塊運(yùn)行頻率各異，信息通過(guò)明確的異步接口傳遞，高頻信號(hào)保障控制穩(wěn)定，低頻的慢思維輸出則作為意圖或策略建議供高頻控制器參考。冗余與仲裁機(jī)制也至關(guān)重要，當(dāng)快慢思維意見(jiàn)沖突時(shí)，需要一套可驗(yàn)證的仲裁規(guī)則，而非簡(jiǎn)單采信某一方。系統(tǒng)還需具備完善的日志與可追溯能力，慢思維的推理鏈路應(yīng)被完整記錄，以支持審計(jì)與回放。

具體應(yīng)用與注意事項(xiàng)

可以現(xiàn)象一下這樣一個(gè)交通場(chǎng)景，前方車輛突然減速并靠近路肩，旁邊有行人可能隨時(shí)穿越。此時(shí)，快思維負(fù)責(zé)立即計(jì)算出當(dāng)前如減速、保持車道或在有空間時(shí)瞬時(shí)避讓等最安全的動(dòng)作。這一步依賴傳感器融合與優(yōu)化后的控制器，時(shí)間尺度在毫秒到幾十毫秒之間。與此同時(shí)，慢思維并行工作，基于歷史軌跡與周邊車輛的行為模型，預(yù)測(cè)該車、行人及其他交通參與者在未來(lái)幾秒到十幾秒內(nèi)可能的動(dòng)作，評(píng)估多種情境下的風(fēng)險(xiǎn)。如果慢思維判斷存在高概率的復(fù)雜交互，如相鄰車輛可能強(qiáng)行切入，它會(huì)將更保守的策略下發(fā)給快思維層，比如提前降速或發(fā)出更強(qiáng)警示等。

當(dāng)然，一定要警惕大模型的“幻覺(jué)”與不確定性。慢思維模型在缺乏真實(shí)傳感器細(xì)節(jié)時(shí)可能給出不可靠的推理，這對(duì)自動(dòng)駕駛而言十分危險(xiǎn)。因此，必須將慢思維定位為決策支持而非唯一裁決者。實(shí)施“可驗(yàn)證的否決權(quán)”非常關(guān)鍵，任何來(lái)自慢思維的建議，都必須通過(guò)一套可測(cè)試的安全條件，才能被高頻控制器采納。還有一個(gè)風(fēng)險(xiǎn)是延遲與資源競(jìng)爭(zhēng)，若慢思維占用了本應(yīng)屬于快思維的計(jì)算資源，系統(tǒng)整體性能將受損。因此要通過(guò)資源隔離、優(yōu)先級(jí)調(diào)度和模型壓縮來(lái)避免這一問(wèn)題。

智駕最前沿以為，在高保真仿真環(huán)境和閉環(huán)測(cè)試中持續(xù)驗(yàn)證慢思維策略，確保其在極端邊界條件下仍輸出可控結(jié)果；將慢思維的結(jié)論通過(guò)數(shù)據(jù)蒸餾等方式部分固化到快思維的小模型中，兼顧深度推理與低延遲響應(yīng)；部署時(shí)設(shè)置包括實(shí)時(shí)健康檢查、置信度閾值等多層監(jiān)控，并在置信度降低時(shí)立即觸發(fā)保守模式或路邊停靠。同時(shí)，保持慢思維的可解釋性，記錄推理軌跡以支持事故回放、責(zé)任認(rèn)定與監(jiān)管合規(guī)。

最后的話

將大模型的“快思維”和“慢思維”引入自動(dòng)駕駛，不是簡(jiǎn)單地把兩個(gè)智能體放入車內(nèi)，而是要將它們?cè)O(shè)計(jì)為互補(bǔ)的模塊，快思維保障毫秒級(jí)的安全響應(yīng)與可驗(yàn)證的低階控制；慢思維提供跨時(shí)間維度的預(yù)測(cè)、策略評(píng)估與復(fù)雜語(yǔ)義理解。兩者之間需有清晰的接口、優(yōu)先級(jí)設(shè)定、冗余與仲裁機(jī)制，避免“深度思考”影響“即時(shí)反應(yīng)”。

他們的重點(diǎn)在于分層架構(gòu)、資源隔離、仿真驗(yàn)證，以及將慢思維輸出的知識(shí)通過(guò)蒸餾或規(guī)則化固化到快思維中。安全性與可追溯性不容妥協(xié)，任何慢推理的建議在采納前都必須經(jīng)過(guò)安全檢查。如此，車輛才能在突發(fā)情況下“做對(duì)事”，在復(fù)雜場(chǎng)景中“想清楚為什么這樣做”，兩種能力協(xié)同作用，才能真正提升自動(dòng)駕駛系統(tǒng)的穩(wěn)健性與可部署性。