NVIDIA DRIVE IX 駕駛艙感知軟件可提供高級(jí)駕駛員監(jiān)控、個(gè)性化、艙內(nèi)情景理解和直觀的 AI 助手。

編者注：這是我們 NVIDIA DRIVE Labs 系列的新發(fā)布文章，它從工程學(xué)的角度探討了自動(dòng)駕駛汽車所面臨的個(gè)別挑戰(zhàn)，以及 NVIDIA DRIVE 如何應(yīng)對(duì)這些挑戰(zhàn)。單擊此處，閱讀我們的所有自動(dòng)駕駛相關(guān)文章。

即使高級(jí)駕駛員輔助系統(tǒng)能夠自動(dòng)執(zhí)行更多駕駛功能，人類駕駛員也必須集中精力管控好方向盤，并建立對(duì) AI 系統(tǒng)的信任。

傳統(tǒng)的駕駛員監(jiān)控系統(tǒng)通常不了解駕駛員的認(rèn)知狀態(tài)、行為或其他活動(dòng)等微妙線索，而這些線索可以指明駕駛員是否已準(zhǔn)備好接管駕駛控制。

NVIDIA DRIVE IX 是一個(gè)可擴(kuò)展的開放式駕駛艙軟件平臺(tái)，提供 AI 功能，可實(shí)現(xiàn)全方位的艙內(nèi)體驗(yàn)，包括采用增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的智能可視化、對(duì)話式 AI 和內(nèi)部感知。

駕駛員感知是該平臺(tái)的一個(gè)關(guān)鍵要素，它使 AV 系統(tǒng)能夠確保駕駛員保持警覺(jué)并關(guān)注路況。它還使 AI 系統(tǒng)能夠執(zhí)行更直觀、更智能的駕駛艙功能。

在本期的 DRIVE Labs 專題中， NVIDIA 專家展示了 DRIVE IX 如何借助各種檢測(cè)功能感知駕駛員注意力、活動(dòng)、情緒、行為、姿勢(shì)、語(yǔ)音、手勢(shì)和情緒。

多 DNN 方法

面部表情是需要進(jìn)行解讀的復(fù)雜信號(hào)。一個(gè)簡(jiǎn)單的皺眉動(dòng)作或眼神變化可能具有多種含義。

DRIVE IX 使用多個(gè) DNN 來(lái)識(shí)別人臉，并解讀車輛乘客的表情。第一個(gè) DNN 會(huì)檢測(cè)面部本身，第二個(gè) DNN 則識(shí)別基準(zhǔn)點(diǎn)或參考標(biāo)記，例如眼睛位置、鼻子等。

基于這些基礎(chǔ)網(wǎng)絡(luò)，各種 DNN 發(fā)揮作用，確定駕駛員是否正在關(guān)注路況，或者是否需要 AI 系統(tǒng)執(zhí)行其他操作。

GazeNet DNN 通過(guò)檢測(cè)駕駛員眼睛的矢量并將其映射到道路上來(lái)追蹤視線，從而檢查他們是否能夠看到前方的障礙物。SleepNet 用于監(jiān)測(cè)疲勞程度，區(qū)分眼睛是睜開還是閉著，通過(guò)狀態(tài)機(jī)確定疲勞程度。最后，ActivityNet 用于追蹤駕駛員的活動(dòng)，例如手機(jī)使用情況、雙手是否離開方向盤以及駕駛員是否關(guān)注路況。 DRIVE IX 還可以檢測(cè)駕駛員是否正確坐在駕駛座上，以專注路況。

除了駕駛員注意力之外，單獨(dú)的 DNN 還可以確定駕駛員的情緒，這是衡量駕駛員能否安全駕駛汽車的關(guān)鍵指標(biāo)。從基本人臉檢測(cè)和基準(zhǔn)點(diǎn)網(wǎng)絡(luò)接收數(shù)據(jù)后， DRIVE IX 可以將駕駛員的狀態(tài)分類為快樂(lè)、驚訝、平和、厭煩或生氣。

它還可以判斷駕駛員是在瞇眼還是在尖叫，指明駕駛員的可見(jiàn)度或警覺(jué)性以及精神狀態(tài)。

可定制的解決方案

汽車制造商可以利用 DRIVE IX 中的駕駛員監(jiān)控功能，開發(fā)基于 AI 的高級(jí)駕駛員理解功能，以個(gè)性化汽車駕駛艙。

汽車可以進(jìn)行編程，在駕駛員的注意力從道路上移開時(shí)提醒駕駛員；如果駕駛員的情緒高度緊張，駕駛艙可以通過(guò)調(diào)整設(shè)置來(lái)緩解駕駛員的情緒。

除了駕駛員監(jiān)控，還有更多其他功能。上述 DNN 與手勢(shì) DNN 和語(yǔ)音功能共同支持多模態(tài)對(duì)話式 AI 服務(wù)，例如自動(dòng)語(yǔ)音識(shí)別、自然語(yǔ)言處理和語(yǔ)音合成。

這些網(wǎng)絡(luò)可用于艙內(nèi)個(gè)性化和虛擬助理應(yīng)用程序。此外，基本人臉識(shí)別和人臉關(guān)鍵點(diǎn)模型可用于基于 AI 的視頻會(huì)議平臺(tái)。

隨著自動(dòng)駕駛技術(shù)的發(fā)展， DRIVE IX 的駕駛員監(jiān)控功能有助于在駕駛員和 AI 系統(tǒng)之間建立信任，從而打造更安全、更愉快的智能汽車體驗(yàn)。