自動駕駛汽車是當前機器學習研究者和工程師們正在探索的最復雜任務(wù)之一。它覆蓋很多方面，而且要求必須高度穩(wěn)定，只有這樣我們才能保證自動駕駛汽車在道路上安全運行。通常，自動駕駛算法的訓練需要大量真實人類駕車的訓練數(shù)據(jù)，我們試圖讓深度神經(jīng)網(wǎng)絡(luò)理解這些數(shù)據(jù)，并復現(xiàn)人類遇到這些情況時的反應。

眾所周知，當數(shù)據(jù)量足夠多時，深度監(jiān)督模型會被訓練得很好，但目前的深度學習仍存在泛化性能不好和訓練效率不高的問題，研究人員一直在尋求構(gòu)建智能模型的新方法。當前人們探求的方向總是更深的網(wǎng)絡(luò)，但這意味著更高的算力消耗。因此正如人們所思考的那樣，必須尋找一種需要更少數(shù)據(jù)或更少神經(jīng)網(wǎng)絡(luò)層的方法，讓機器實現(xiàn)智能化。

▲ 模仿線蟲進行控制的神經(jīng)網(wǎng)絡(luò)

最近，來自MIT CSAIL、維也納工業(yè)大學、奧地利科技學院的團隊已經(jīng)開發(fā)了一種基于線蟲大腦的新型AI系統(tǒng)。研究成果登上了最近的《自然·機器智能》雜志。

他們發(fā)現(xiàn)，具有19個控制神經(jīng)元的單個算法，通過253個突觸將32個封裝的輸入特征連接到輸出，可以學習把高維輸入映射到操縱命令。

這種新的AI系統(tǒng)用少量人工神經(jīng)元控制車輛轉(zhuǎn)向。而基于CNN和LSTM的神經(jīng)網(wǎng)絡(luò)打造同樣的自動駕駛系統(tǒng)，網(wǎng)絡(luò)結(jié)構(gòu)則要復雜得多。

▲ 使用CNN實現(xiàn)車輛屆時系統(tǒng)

該方法受線蟲等小型動物大腦的啟發(fā)，僅用數(shù)十個神經(jīng)元即可控制自動駕駛汽車，而常規(guī)深度神經(jīng)網(wǎng)絡(luò)方法（如 Inception、ResNet、VGG 等）則需要數(shù)百萬神經(jīng)元。這一新型網(wǎng)絡(luò)僅使用 75000 個參數(shù)、19 個神經(jīng)元，比之前減少了數(shù)萬倍！

該方法還帶來了額外的好處，由于神經(jīng)元數(shù)量稀少，這樣的網(wǎng)絡(luò)不再是深度模型的「黑箱」，人們可以知道網(wǎng)絡(luò)在每個運行階段的情況。該研究項目負責人 Radu Grosu 教授表示：「正如線蟲（nematode C. elegans）這種生命，它們以驚人的少量神經(jīng)元實現(xiàn)有趣的行為模式?！?/p>

▲ 三種不同的神經(jīng)連接模型

這是因為線蟲的神經(jīng)系統(tǒng)能夠以高效、協(xié)調(diào)的方式處理信息。該系統(tǒng)證明深度學習模型仍有改進空間。如果線蟲在進化到接近最優(yōu)的神經(jīng)系統(tǒng)結(jié)構(gòu)后，能夠憑借極少量神經(jīng)元做出有趣的行為反應，那我們也可以讓機器做到。該神經(jīng)系統(tǒng)可以讓線蟲執(zhí)行移動、動作控制和導航行為，而這恰恰是自動駕駛等應用所需要的。

該研究參與者之一 Thomas Henzinger 教授表示，他們按照這一神經(jīng)系統(tǒng)，「開發(fā)了一種新型數(shù)學神經(jīng)元和突觸模型」——liquid time constant（LTC）神經(jīng)元。簡化神經(jīng)網(wǎng)絡(luò)的一種方式是使之變得稀疏，即并非每一個單元都與其他單元相連接。當一個單元被激活時，其他單元未被激活，這可以降低計算時間，因為所有未被激活單元沒有任何輸出（或者輸出為 0，可以極大地加快計算速度）。

▲ 神經(jīng)網(wǎng)絡(luò)專注于圖像的非常具體的部分

這一新系統(tǒng)包括兩部分。

首先是一個緊湊的卷積神經(jīng)網(wǎng)絡(luò)，用于從輸入圖像像素中提取結(jié)構(gòu)特征。使用這類信息，網(wǎng)絡(luò)能夠確定圖像的哪些部分較為重要或有趣，并僅將這部分圖像傳輸至下一個步驟。

該研究提出新架構(gòu)的端到端表示。

第二個部分即「控制系統(tǒng)」，它利用一組生物啟發(fā)神經(jīng)元做出的決策來控制汽車。這一控制系統(tǒng)又叫做「神經(jīng)電路策略」（neural circuit polic，NCP）。

它將緊湊卷積模型的輸出數(shù)據(jù)轉(zhuǎn)換到僅有 19 個神經(jīng)元的 RNN 架構(gòu)中（該架構(gòu)受線蟲神經(jīng)系統(tǒng)的啟發(fā)），進而控制汽車。

▲ NCP 網(wǎng)絡(luò)的實現(xiàn)細節(jié)參見相關(guān)論文及 GitHub 項目

這帶來了參數(shù)量的銳減。論文一作 Mathias Lechner 表示「NCP 比之前的 SOTA 模型小了三個數(shù)量級」，參見下表 2。

▲ 網(wǎng)絡(luò)規(guī)模對比

由于該架構(gòu)規(guī)模很小，因此我們可以看清楚其注意力在輸入圖像的哪一部分。研究者發(fā)現(xiàn)，用這么小的網(wǎng)絡(luò)提取圖像最重要部分時，這些神經(jīng)元只關(guān)注路邊和視野。在目前著重于分析圖像每一個細節(jié)的人工智能系統(tǒng)中，這是很獨特的行為。

與其他網(wǎng)絡(luò)相比，傳輸至 NCP 網(wǎng)絡(luò)的信息可謂少之又少。僅通過上圖，我們就可以發(fā)現(xiàn)該方法比現(xiàn)有方法更加高效，計算速度也更快。

責任編輯：haq