近日，SynSense時(shí)識(shí)科技與蘇黎世聯(lián)邦理工學(xué)院聯(lián)合研究成果在2024 CVPR Workshop發(fā)布。該研究是—項(xiàng)基于“感算一體”動(dòng)態(tài)視覺智能SoC Speck的超低功耗眼動(dòng)追蹤技術(shù)，結(jié)果顯示端到端系統(tǒng)功耗低至2.89mW，延遲僅5.57ms。

該成果憑借卓越的性能受到學(xué)術(shù)及產(chǎn)業(yè)界的廣泛關(guān)注。這項(xiàng)研究成果不僅為低功耗、高性能的眼動(dòng)追蹤技術(shù)設(shè)定了新標(biāo)準(zhǔn)，也為類腦智能技術(shù)在智能和可穿戴設(shè)備中的應(yīng)用帶來了革命性進(jìn)展。

研究團(tuán)隊(duì)在眼鏡上搭載了兩臺(tái)來自iniVation的DVXplorer事件相機(jī)（圖1左）作為數(shù)據(jù)采集硬件。從數(shù)名志愿者處收集了大量數(shù)據(jù)，形成了名為“Ini-30“的基于事件的眼動(dòng)追蹤數(shù)據(jù)集。為研究提供了豐富且真實(shí)的眼動(dòng)信息。

圖1. 數(shù)據(jù)收集硬件（左）及視頻記錄示例（右）

研究團(tuán)隊(duì)發(fā)明了名為"Retina"的SNN模型，它基于Integrate And Fire（IAF）神經(jīng)元構(gòu)建。在64x64 DVS輸入條件下，Retina實(shí)現(xiàn)了僅3.24像素的瞳孔跟蹤誤差，顯示出極高的追蹤精度。與最新的基于事件的眼動(dòng)追蹤方法"3ET"相比，Retina在Ini-30數(shù)據(jù)集上更為精確，并顯著減少了模型的計(jì)算復(fù)雜度，MAC運(yùn)算減少了35倍。

通過在Speck上部署Retina模型，結(jié)果顯示端到端功耗在2.89-4.8mW，延遲僅為5.57-8.01ms（圖2）。研究結(jié)果不僅證明了模型的高效性，同時(shí)也再次展示了Speck在處理此類任務(wù)時(shí)功耗與實(shí)效性的巨大優(yōu)勢(shì)。可點(diǎn)擊閱讀原文查看文章。

圖2. Speck運(yùn)行眼動(dòng)追蹤算法的性能數(shù)據(jù)

SynSense時(shí)識(shí)科技一直堅(jiān)持技術(shù)創(chuàng)新，此項(xiàng)研究成果不僅在理論上具有創(chuàng)新性獲得了學(xué)術(shù)認(rèn)可，更在實(shí)際應(yīng)用中展現(xiàn)出了巨大的潛力。

憑借類腦智能技術(shù)低功耗、低延遲且支持高追蹤精度等特點(diǎn)，SynSense時(shí)識(shí)科技將攜手更多合作伙伴推動(dòng)眼動(dòng)追蹤技術(shù)向更高效、更精準(zhǔn)的方向跨越式邁進(jìn)。引領(lǐng)智能設(shè)備如手機(jī)、XR/VR等領(lǐng)域的技術(shù)新變革，為用戶帶來更加自然、高效的交互體驗(yàn)。

關(guān)于SynSense時(shí)識(shí)科技

SynSense時(shí)識(shí)科技（原名aiCTX）創(chuàng)立于2017年，是全球領(lǐng)先的類腦智能與應(yīng)用解決方案提供商。

SynSense時(shí)識(shí)科技專注類腦智能的研究與開發(fā)，以蘇黎世大學(xué)和蘇黎世聯(lián)邦理工學(xué)院20+年全球領(lǐng)先的研發(fā)經(jīng)驗(yàn)和技術(shù)積累為基石，聚焦邊緣計(jì)算應(yīng)用場(chǎng)景，提供橫跨感知與計(jì)算的類腦智能應(yīng)用與解決方案。

SynSense時(shí)識(shí)科技率先實(shí)現(xiàn)了類腦芯片商業(yè)化應(yīng)用零的突破，為人工智能向認(rèn)知智能發(fā)展，萬物互聯(lián)向萬物智聯(lián)發(fā)展邁出了關(guān)鍵一步。SynSense將和伙伴一起，共同構(gòu)建“端到芯”“物與物”“物與人”萬物智聯(lián)的認(rèn)知生態(tài)，引領(lǐng)全球類腦智能應(yīng)用與發(fā)展，為人類未來美好生活創(chuàng)造福祉。