昱感微的“雷視一體融合感知方案”將可見光攝像頭、紅外攝像頭以及雷達的探測數(shù)據(jù)在前端（數(shù)據(jù)獲取時）融合，將各傳感器的探測數(shù)據(jù)“坐標統(tǒng)一、時序對齊”，圖像與雷達數(shù)據(jù)完成像素級實時“時空對齊同步”并以“多維像素”格式輸出，為自動駕駛系統(tǒng)提供目標與環(huán)境的多模態(tài)精準感知信息：即傳感器對目標與環(huán)境感知的圖像數(shù)據(jù)（明暗、紋理、顏色等）+雷達數(shù)據(jù)（目標的距離、速度、材質等）+紅外輻射數(shù)據(jù)（紋理、溫度等）的綜合感知。

目前昱感微現(xiàn)正與多家工業(yè)機器人（自動掃地車、自動農(nóng)機等）客戶緊密合作中，我們的方案產(chǎn)品已經(jīng)裝車測試，解決了許多過去自動駕駛無解的場景和corner cases。例如在下圖場景中，過去靠單一傳感器如雷達探測左邊的欄桿，由于缺乏圖像的語義信息，自動駕駛系統(tǒng)很容易將欄桿的反射點當成噪點忽略；現(xiàn)在感知側主流方案——基于可見光攝像頭的純視覺方案若碰到?jīng)]有采樣過的目標同樣也無法識別。而昱感微的雷視一體融合感知方案將圖像和雷達信息融合輸出豐富的“多維像素”數(shù)據(jù)（如右下圖），使自動駕駛系統(tǒng)能清楚地識別出道路左邊的欄桿以及它的距離位置3D形狀等信息。昱感微的融合感知技術方案的優(yōu)勢在于1）是基于“物理感知”數(shù)據(jù)驅動，能很好地避免純視覺神經(jīng)網(wǎng)絡的corner cases問題；2）傳感器前融合的方式可以最大限度地保留原始探測數(shù)據(jù)，并發(fā)揮各傳感器的優(yōu)勢，使感知系統(tǒng)能夠不受天氣光線和場景的限制，實時完成精準目標感知。

另外，多維像素還能探測出路面的起伏，幫助自動駕駛系統(tǒng)對于不同的起伏程度采取對應的決策?；跀z像頭的純視覺方案無法精確檢測出路面的起伏，僅靠雷達的探測信息如果沒有圖像的語義信息直接對接也無法提取出細致對應的反射信息（直接映射目標的對應反射點）從而精準測量與判斷路面的情況。而昱感微的融合感知方案可以解決這個棘手的難題：在下圖的3D空間采樣數(shù)據(jù)（3D點云）中可以看到，“多維像素”能提供路面起伏程度的信息，即使是路邊高起一點的下水蓋也能清楚地探測到，對自動駕駛規(guī)劃路線非常有幫助。

不僅是路面的起伏，根據(jù)圖像信息和雷達探測出的材質信息，“多維像素”還可以提供路面上覆蓋物的材質和狀況信息，對于探測到的較脆弱的材質或已損壞的覆蓋物就需要避讓。這些場景都是目前自動駕駛感知側無解的技術難點，而昱感微的融合感知方案可以一一為客戶解決這些難題。

國內城市道路復雜，純視覺的感知方案受光線天氣影響較大且有許多無法識別的corner cases，光靠雷達感知也存在點云的置信度存疑、缺乏語義分析無法將目標識別標注等問題，昱感微的融合感知方案使視覺和雷達結合達到1+1>2的效果，幫助客戶解決各種疑難場景。例如和自動掃地車客戶的項目合作中，在道路有路障的場景下，“多維像素”數(shù)據(jù)使自動駕駛可清楚地識別出路障以及其間距，并判斷是否應從中間穿過。對于路邊的垃圾，多維像素所提供的多模態(tài)精準感知信息可以使自動駕駛系統(tǒng)清楚地判別探測到的目標，并進行清掃；對于不適宜清掃的目標（如水泥黃沙堆等）則進行避讓。另外，在圖像和雷達數(shù)據(jù)組成的多維像素幫助下，一些困擾自動駕駛系統(tǒng)的場景如隨風飄起的垃圾袋（通過多維像素的圖像/材質/速度等信息判斷），晃動的樹影（僅有圖像變化無雷達反射點）等都可以迎刃而解。

并且昱感微的融合感知方案完全不依賴高精地圖。對于沒有清晰車道線和邊界的道路（如上圖），自動駕駛系統(tǒng)也能根據(jù)“多維像素”提供的多模態(tài)感知信息來規(guī)劃路徑。此外，自動農(nóng)機對于感知精度的要求也非常高，其來回播種插秧的間隔距離在5厘米左右，如此的精度目前市場上的感知產(chǎn)品還很難做到，而昱感微精確到像素級的融合感知方案可以很好地達到客戶要求的感知精度，確保播種插秧均勻不重復。

昱感微的多傳感器融合感知方案從另一個角度看可以說是在幫助客戶產(chǎn)品完成目標與環(huán)境的精密測量，精確測量出目標的輪廓/方位/距離/速度/材質/溫度等各種數(shù)據(jù)，為自動駕駛系統(tǒng)提供目標與環(huán)境的多模態(tài)感知精準信息。盡管掃地車農(nóng)用車等工農(nóng)業(yè)用機器人在速度上慢于乘用車，但它們對于感知精度的要求明顯高于乘用車，遇到的特殊場景corner cases也不亞于乘用車，而這些昱感微的融合感知方案可以幫助它們解決，并滿足客戶對感知精度的要求，獲得了許多客戶的認可。我們相信未來昱感微的方案產(chǎn)品在乘用車上也會有非常優(yōu)異的表現(xiàn)，助力車企跨越L3/L4級自動駕駛的技術門檻。

關于昱感微

昱感微的“多傳感器融合感知方案”將可見光攝像頭、紅外攝像頭以及雷達的探測數(shù)據(jù)在前端（數(shù)據(jù)獲取時）融合，將各傳感器的探測數(shù)據(jù)“坐標統(tǒng)一、時序對齊”，并以“多維像素”格式輸出。

“多維像素”是昱感微的核心技術創(chuàng)新之一，它是指在可見光攝像頭像素信息上加上其它傳感器對于同源目標感知的信息，將感知系統(tǒng)的感知維度擴展以實現(xiàn)多維度（多模態(tài)）感知目標的完整信息。如下圖示例，芯片將攝像頭圖像數(shù)據(jù)，和雷達探測目標的距離、速度、散射截面R的感知數(shù)據(jù)，以及紅外傳感器探測的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個像素不僅有視覺信息，還包含了4D毫米波雷達和紅外傳感器的探測數(shù)據(jù)，形成多維度（多模態(tài)）測量參數(shù)矩陣數(shù)組。基于圖像像素為基準+雷達數(shù)據(jù)的“多維像素”感知數(shù)據(jù)，與現(xiàn)有主流AI計算平臺完全兼容，它可以復用已有的圖像數(shù)據(jù)樣本，免除了產(chǎn)品的神經(jīng)網(wǎng)絡訓練數(shù)據(jù)需要完全重新采集的困擾。