如今人工智能發(fā)展之日新月異，令人不由感嘆也許科幻電影里仿生人的應(yīng)用不再是遙不可及，那么未來AI會超越人類甚至取代人類嗎？也許現(xiàn)在AI的大腦還無法做到，但眼睛已經(jīng)做到，機器視覺的感知力已全面超越人類視覺——人眼只能感知所見目標大概的距離/位置/速度以及外觀信息，并且受到天氣、光線等因素影響較大；昱感微“多維像素”多模態(tài)感知方案的超級攝像頭每秒可輸出30幀（甚至更高頻率）多模態(tài)融合感知數(shù)據(jù)，每一幀不僅有高清圖像數(shù)據(jù)，還有對應(yīng)像素級的目標精準3D空間位置坐標距離、速度、溫度（目標熱輻射）、對應(yīng)材質(zhì)（RCS）等數(shù)據(jù)，并且感知力不受天氣、光線等因素影響。

多模態(tài)融合感知的“多維像素”數(shù)據(jù)

那么昱感微“多維像素”多模態(tài)感知超級攝像頭是如何做到的呢？首先，昱感微采用最前沿的多維像素多模態(tài)前融合技術(shù)，將可見光攝像頭、紅外攝像頭、4D毫米波雷達/激光雷達的探測數(shù)據(jù)在前端（數(shù)據(jù)獲取時）融合，并將各傳感器的探測數(shù)據(jù)“坐標統(tǒng)一、時序?qū)R”，最后以“多維像素”的數(shù)據(jù)格式輸出；昱感微的核心技術(shù)創(chuàng)新——“多維像素”，它是指在可見光攝像頭像素信息上加上其它傳感器對于同源目標感知的信息：即圖像數(shù)據(jù)+雷達探測目標的距離、速度、散射截面R的感知數(shù)據(jù)+紅外傳感器探測的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個像素不僅有視覺信息，還包含了雷達和紅外傳感器的探測數(shù)據(jù)，形成多維度（多模態(tài)）測量參數(shù)矩陣數(shù)組。

目前的傳感器融合感知技術(shù)存在的挑戰(zhàn)，正如埃隆馬斯克所說的：“激光雷達和雷達與視覺結(jié)合所帶來的感知不一致性使得這些技術(shù)無法達到理想的效果”，昱感微的“多維像素”多模態(tài)感知方案能夠幫助大家徹底解決這個技術(shù)難題, 而且還能達到1+1>2的效果。在高分辨率寬動態(tài)的可見光攝像頭感知基礎(chǔ)上，雷達提供目標的距離、速度維度的精準感知還可以幫助可見光攝像頭克服天氣光線的影響，攝像頭的圖像又為雷達增添了語義信息，進一步提高雷達點云的置信度以及感知信息量；遠紅外攝像頭有針對性的目標熱輻射圖像感知則賦予了自動駕駛系統(tǒng)卓越的夜視能力。昱感微“多維像素”超級攝像頭就像是一雙比人眼更敏銳的眼睛，看到的不僅僅是一幅幅二維的圖像，還有更多維度的精確信息（目標的距離/速度/3D空間位置/溫度/材質(zhì)等)，形成完整的多模態(tài)“視覺語言”，令自動駕駛系統(tǒng)可以精確全面地感知道路上各種狀況。

提升性能+降本增效，融合感知的最優(yōu)解

多維像素還可以直接高效支持“占用網(wǎng)絡(luò)” (Occupancy Network)算法。占用網(wǎng)格是指將感知空間劃分為一個個立體網(wǎng)格（體素），通過檢測網(wǎng)格空間是否被占用來完成3D空間場景的語義表征（包括探測到各類異形物體）——這也是特斯拉等車廠目前力推的視覺算法。昱感微的“多維像素”包含了目標的圖像信息、3D空間位置信息、目標的速度信息和材質(zhì)信息，可以直接高效實時支持占用網(wǎng)格中的體素算法。并且，昱感微目前已經(jīng)可以提供的產(chǎn)品的空間感知分辨率（右下圖）的精準度遠高于特斯拉公開方案中的體素顆粒度（左下圖）。

基于“多維像素”感知數(shù)據(jù)來做場景語義重構(gòu)（體素Voxel，或者，立體連續(xù)表征3D Mesh），然后支持大數(shù)據(jù)模型，是最精準高效并節(jié)省算力的實現(xiàn)方法。

昱感微“多維像素”超級攝像頭方案實時輸出豐富高質(zhì)量的多維度感知數(shù)據(jù)，其對目標與環(huán)境的３D物理空間感知與定位精度可以達到圖像像素級的精度，多模態(tài)感知精度大幅優(yōu)于人類視覺；此外，得益于“多維像素”包含的豐富高效的感知數(shù)據(jù)在輸出時就已經(jīng)完成了全部目標感知數(shù)據(jù)（對應(yīng)圖像像素）的確認與精準定位，“多維像素”超級攝像頭方案可大幅降低系統(tǒng)對域控制器算力的要求，并且還能夠高效支持“端到端”感知系統(tǒng)以及生成式驗證系統(tǒng)（高效支撐數(shù)字化場景重構(gòu)）?！岸嗑S像素”數(shù)據(jù)的組合格式在不降低感知有效信息量的前提下大幅降低了數(shù)據(jù)體量，傳感器感知端側(cè)的感知數(shù)據(jù)傳輸?shù)街醒胗蚩囟说?strong>系統(tǒng)傳輸成本也可以進一步降低?？傮w來看，昱感微“多維像素”超級攝像頭方案可為客戶提升性能、降本增效，是融合感知的最優(yōu)解。

審核編輯 黃宇