新加坡國立大學(xué)的研究人員最近展示了使用神經(jīng)形態(tài)傳感器融合來幫助機(jī)器人抓取和識別物體的優(yōu)勢。

這只是他們一直在從事的許多有趣項(xiàng)目之一，包括開發(fā)用于傳輸觸覺數(shù)據(jù)的新協(xié)議、構(gòu)建神經(jīng)形態(tài)觸覺指尖以及開發(fā)新的視覺觸覺數(shù)據(jù)集以開發(fā)更好的學(xué)習(xí)系統(tǒng)。

由于該技術(shù)使用地址事件和尖峰神經(jīng)網(wǎng)絡(luò)，因此它非常節(jié)能：使用英特爾 Loihi 神經(jīng)形態(tài)芯片之一的功率比 GPU 高 50 倍。然而，這項(xiàng)工作特別優(yōu)雅的地方在于，它為神經(jīng)形態(tài)技術(shù)指明了道路，作為一種有效集成并從中提取意義的手段，用于功率受限系統(tǒng)中的復(fù)雜任務(wù)的許多不同傳感器。

他們使用的新型觸覺傳感器NeuTouch由 39 個taxel（觸覺像素）陣列組成，并且使用基于石墨烯的壓阻層來轉(zhuǎn)換運(yùn)動；你可以把它想象成機(jī)器人指尖的前面。它覆蓋著一種名為 Ecoflex 的人造皮膚，有助于放大刺激，并由 3D 打印的“骨頭”支撐。然后可以將指尖添加到夾具中。

但這些傳感器的新穎之處在于它們傳達(dá)信息的方式。這不是連續(xù)完成的，每個傳感器在給定的時間步長中順序報告其狀態(tài)，因?yàn)檫@太慢了。傳感器陣列也不是網(wǎng)狀布置的，因?yàn)椤M管對許多電子系統(tǒng)來說很好——但對于他們試圖創(chuàng)造的健壯的機(jī)器人皮膚來說風(fēng)險太大了；如果皮膚受損，它可能會占用太多傳感器。

相反，Benjamin Tee 和他的同事開發(fā)了異步編碼電子皮膚，或 ACES。

這使用單個導(dǎo)體從（可能）數(shù)萬個受體攜帶信號。該技術(shù)與地址事件表示 (AER) 有一些相似之處，因?yàn)閭鞲衅鞔_實(shí)使用事件。本質(zhì)上，如果傳感器上的壓力變化超過某個閾值，則每個傳感器都會發(fā)出正或負(fù)尖峰信號。與 AER 一樣，這些峰值僅根據(jù)現(xiàn)實(shí)世界中發(fā)生的情況異步發(fā)送；沒有時鐘來調(diào)節(jié)它們。但是，它不是點(diǎn)對點(diǎn)路由，而是多對一網(wǎng)絡(luò)。每個傳感器的“尖峰”實(shí)際上是唯一的代碼（一系列尖峰），因?yàn)榧夥寮仁钱惒降挠质窍鄬溆玫?，它們可以沿著單根?dǎo)線傳播，然后再去相關(guān)成單獨(dú)的尖峰序列。

五味雜陳

在他們?nèi)ツ臧l(fā)表的實(shí)驗(yàn)中，該小組能夠?qū)碜杂|覺陣列內(nèi)的壓力和溫度傳感器的數(shù)據(jù)結(jié)合起來，但從那時起，他們就能夠展示出更復(fù)雜的傳感器融合。具體來說，Harold Soh 的小組將 NeuTouch 指尖與基于 Prophesee 事件的視覺傳感器結(jié)合起來，并使用生成的數(shù)據(jù)（單獨(dú)和一起）來訓(xùn)練近似反向傳播的基于尖峰的網(wǎng)絡(luò) [2]。

圖 1. 配備 Prophesee 攝像頭和 NeuTouch 增強(qiáng)型夾持器的機(jī)器人準(zhǔn)備拿起下方的豆?jié){盒。額外的攝像機(jī)跟蹤實(shí)驗(yàn)，但它們的數(shù)據(jù)不用于分類任務(wù)。（來源：新加坡國立大學(xué)）

在經(jīng)過訓(xùn)練可以拾取裝有不同數(shù)量液體的各種容器（例如罐頭、瓶子和圖 1 中所示的豆?jié){）后，機(jī)器人不僅能夠確定它所舉的東西，而且能夠確定（在 30 克以內(nèi)）有多少它稱重。

您可以在下面看到該作品的精彩視頻（并且非常安全?。?。

視覺傳感器數(shù)據(jù)能夠比研究人員預(yù)期的更成功地自行對物體進(jìn)行分類：由于容器的透明度和它們的變形方式，物體的重量是可見的。盡管如此，觸覺數(shù)據(jù)確實(shí)提高了準(zhǔn)確性。

然而，也許更重要的是，兩個傳感器的組合在進(jìn)行所謂的滑動測試時為機(jī)器人提供了真正的優(yōu)勢。在這里，機(jī)器人被制造的壓力不足以安全地承受物體的重量，因此它有下降的趨勢。在這里，觸覺和視覺數(shù)據(jù)的使用似乎確實(shí)有助于快速識別滑倒（見圖 2）。

圖 2. 滑倒任務(wù)中組合視覺/觸覺數(shù)據(jù)的加權(quán)尖峰計數(shù)（物體掉落是因?yàn)闆]有用足夠的力握住它）提高了機(jī)器人在早期階段（大約 0.03 秒）發(fā)生滑倒的確定性）。這可能會提高機(jī)器應(yīng)對任何后果的機(jī)會。（來源：新加坡國立大學(xué)）

這部分歸功于他們在模型中使用的稱為加權(quán)尖峰計數(shù)的數(shù)量，以鼓勵早期分類。從功能上講，這可以提高機(jī)器的反應(yīng)時間，使其有更好的機(jī)會將物體掉落的可能性和后果降至最低。

該小組已將他們的數(shù)據(jù)集提供給可能想要改進(jìn)所用學(xué)習(xí)模型的其他研究人員。

電源優(yōu)勢

對于這些實(shí)驗(yàn)，訓(xùn)練是使用傳統(tǒng)技術(shù)完成的，但網(wǎng)絡(luò)隨后在英特爾 Loihi 芯片上運(yùn)行。公布的結(jié)果顯示能效提高了 50 倍，但已經(jīng)有所改進(jìn)。

根據(jù)新加坡國立大學(xué)的 Harold Soh 的說法，自從論文發(fā)表以來，“……我們一直在微調(diào)我們的神經(jīng)模型和分析。與 GPU 相比，我們最新的滑動檢測模型在神經(jīng)形態(tài)硬件上運(yùn)行時使用的功率降低了 1900 倍，同時保持推理速度和準(zhǔn)確性。我們現(xiàn)在的重點(diǎn)是將這種低級性能轉(zhuǎn)化為更高級別任務(wù)的更好機(jī)器人行為，例如對象拾取和放置和人機(jī)切換。更廣泛地說，我們相信事件驅(qū)動的多感官智能是邁向值得信賴的機(jī)器人的重要一步，我們覺得使用它很舒服。”

參考

[1] WW 李等人。, “用于可擴(kuò)展電子皮膚的受神經(jīng)啟發(fā)的人工周圍神經(jīng)系統(tǒng)”，Sci。機(jī)器人。, 卷。4，沒有。2019 年 3 月 32 日，doi：10.1126/scirobotics.aax2198。

[2] F. Gu、W. Sng、T. Taunyazov 和 H. Soh，“TactileSGNet：用于基于事件的觸覺對象識別的尖峰圖神經(jīng)網(wǎng)絡(luò)”，2020 年，[在線]?？捎茫篽ttp://arxiv.org/abs/2008.08046。

審核編輯 黃昊宇