過去幾年里，3D 傳感器（如激光雷達、深度傳感攝像頭和雷達）越發(fā)普及，對于能夠處理這些設(shè)備所捕獲數(shù)據(jù)的場景理解技術(shù)，相應(yīng)需求也在不斷增加。此類技術(shù)可以讓使用這些傳感器的機器學(xué)習(xí) （ML） 系統(tǒng)，如無人駕駛汽車和機器人，在現(xiàn)實世界中導(dǎo)航和運作，并在移動設(shè)備上創(chuàng)建改進的增強現(xiàn)實體驗。

最近，計算機視覺領(lǐng)域開始在 3D 場景理解方面取得良好進展，包括用于移動 3D 目標(biāo)檢測、透明目標(biāo)檢測等的模型，但由于可應(yīng)用于 3D 數(shù)據(jù)的可用工具和資源有限，進入該領(lǐng)域本身可能具有挑戰(zhàn)性。

為了進一步提高 3D 場景理解能力，降低感興趣的研究人員的入門門檻，我們發(fā)布了 TensorFlow 3D （TF 3D），這一高度模塊化的高效庫旨在將 3D 深度學(xué)習(xí)功能引入 TensorFlow。TF 3D 提供了一組流行的運算、損失函數(shù)、數(shù)據(jù)處理工具、模型和指標(biāo)，使更廣泛的研究社區(qū)能夠開發(fā)、訓(xùn)練和部署最先進的 3D 場景理解模型。

TF 3D 包含用于最先進 3D 語義分割、3D 目標(biāo)檢測和 3D 實例分割的訓(xùn)練和評估流水線，并支持分布式訓(xùn)練。它也可實現(xiàn)其他潛在應(yīng)用，如 3D 目標(biāo)形狀預(yù)測、點云配準(zhǔn)和點云密化。此外，它還提供了統(tǒng)一的數(shù)據(jù)集規(guī)范和配置，用于訓(xùn)練和評估標(biāo)準(zhǔn) 3D 場景理解數(shù)據(jù)集。目前支持 Waymo Open、ScanNet 和 Rio 數(shù)據(jù)集。不過，用戶可以將 NuScenes 和 Kitti 等其他流行數(shù)據(jù)集自由轉(zhuǎn)換為相似格式，并將其用于預(yù)先存在或自定義創(chuàng)建的流水線，也可以通過利用 TF 3D 進行各種 3D 深度學(xué)習(xí)研究和應(yīng)用，包括快速原型設(shè)計以及試驗新想法的方式來部署實時推斷系統(tǒng)。

左側(cè)

我們將介紹 TF 3D 提供的高效可配置的稀疏卷積主干，它是在各種 3D 場景理解任務(wù)上取得最先進結(jié)果的關(guān)鍵。此外，我們將分別介紹 TF 3D 目前支持的三種流水線：3D 語義分割、3D 目標(biāo)檢測和 3D 實例分割。

3D 稀疏卷積網(wǎng)絡(luò)

傳感器捕獲的 3D 數(shù)據(jù)通常具有一個場景，其中包含一組感興趣的目標(biāo)（如汽車、行人等），其周圍大多是有限（或無）興趣的開放空間。因此，3D 數(shù)據(jù)本質(zhì)上是稀疏的。在這樣的環(huán)境下，卷積的標(biāo)準(zhǔn)實現(xiàn)將需要大量計算并消耗大量內(nèi)存。因此，在 TF 3D 中，我們使用子流形稀疏卷積和池化運算，旨在更有效地處理 3D 稀疏數(shù)據(jù)。稀疏卷積模型是大多數(shù)戶外自動駕駛（如 Waymo、NuScenes）和室內(nèi)基準(zhǔn)（如 ScanNet）中應(yīng)用的最先進方法的核心。

我們還使用多種 CUDA 技術(shù)來加快計算速度（例如，哈希處理、在共享內(nèi)存中分區(qū)/緩存過濾器，以及使用位運算）。Waymo Open 數(shù)據(jù)集上的實驗表明，該實現(xiàn)比使用預(yù)先存在的 TensorFlow 運算的精心設(shè)計實現(xiàn)快約 20 倍。

TF 3D 然后使用 3D 子流形稀疏 U-Net 架構(gòu)為每個體素 （Voxel） 提取特征。通過讓網(wǎng)絡(luò)同時提取粗略特征和精細(xì)特征并將其組合以進行預(yù)測，事實證明 U-Net 架構(gòu)是有效的。U-Net 網(wǎng)絡(luò)包括編碼器、瓶頸和解碼器三個模塊，每個模塊都由許多稀疏卷積塊組成，并可能進行池化或解池化運算。

3D 稀疏體素 U-Net 架構(gòu)。請注意，水平箭頭接收體素特征并對其應(yīng)用子流形稀疏卷積。下移箭頭執(zhí)行子流形稀疏池化。上移箭頭將回收池化的特征，與來自水平箭頭的特征合并，并對合并后的特征進行子流形稀疏卷積

上述稀疏卷積網(wǎng)絡(luò)是 TF 3D 中提供的 3D 場景理解流水線的主干。下面描述的每個模型都使用此主干網(wǎng)絡(luò)提取稀疏體素的特征，然后添加一個或多個附加預(yù)測頭來推斷感興趣的任務(wù)。用戶可以更改編碼器/解碼器層數(shù)和每層中卷積的數(shù)量以及修改卷積過濾器的大小來配置 U-Net 網(wǎng)絡(luò)，從而通過不同的主干配置探索大范圍的速度/準(zhǔn)確率權(quán)衡。

3D 語義分割

3D 語義分割模型只有一個輸出頭，用于預(yù)測每個體素的語義分?jǐn)?shù)，語義分?jǐn)?shù)映射回點以預(yù)測每個點的語義標(biāo)簽。

3D 實例分割

在 3D 實例分割中，除了預(yù)測語義外，目標(biāo)是將屬于同一目標(biāo)的體素歸于一組。TF 3D 中使用的 3D 實例分割算法基于我們先前的使用深度指標(biāo)學(xué)習(xí)的 2D 圖像分割研究工作。該模型預(yù)測每個體素的實例嵌入向量以及每個體素的語義分?jǐn)?shù)。實例嵌入向量將體素映射到一個嵌入向量空間，其中對應(yīng)同一目標(biāo)實例的體素靠得很近，而對應(yīng)不同目標(biāo)的體素則相距很遠。在這種情況下，輸入是點云而不是圖像，并使用 3D 稀疏網(wǎng)絡(luò)而不是 2D 圖像網(wǎng)絡(luò)。在推斷時，貪婪的算法每次挑選一個實例種子，并使用體素嵌入向量之間的距離將其分組為段。

3D 目標(biāo)檢測

3D 目標(biāo)檢測模型預(yù)測每個體素的大小、中心、旋轉(zhuǎn)矩陣以及目標(biāo)語義分?jǐn)?shù)。在推斷時，采用盒建議機制 （Box proposal mechanism） 將成千上萬的各體素的盒預(yù)測減少為幾個準(zhǔn)確的盒建議，然后在訓(xùn)練時，將盒預(yù)測和分類損失應(yīng)用于各體素的預(yù)測。我們對預(yù)測和基本事實盒頂角之間的距離應(yīng)用 Huber 損失。由于從其大小、中心和旋轉(zhuǎn)矩陣估計盒頂角的函數(shù)是可微的，因此損失將自動傳播回這些預(yù)測的目標(biāo)屬性。我們采用動態(tài)盒分類損失，將與基本事實強烈重合的盒分類為正，將不重合的盒分類為負(fù)。

在我們最近的論文《DOPS： Learning to Detect 3D Objects and Predict their 3D Shapes》中，我們詳細(xì)描述了 TF 3D 中用于目標(biāo)檢測的單階段弱監(jiān)督學(xué)習(xí)算法。此外，在后續(xù)工作中，我們提出基于 LSTM 的稀疏多幀模型，擴展了 3D 目標(biāo)檢測模型以利用時間信息。我們進一步證明，在 Waymo Open 數(shù)據(jù)集中，這種時間模型比逐幀方法的性能高出 7.5%。

DOPS 論文中介紹的 3D 目標(biāo)檢測和形狀預(yù)測模型。3D 稀疏 U-Net 用于提取每個體素的特征向量。目標(biāo)檢測模塊使用這些特征建議 3D 盒和語義分?jǐn)?shù)。同時，網(wǎng)絡(luò)的另一個分支預(yù)測形狀嵌入向量，用于輸出每個目標(biāo)的網(wǎng)格

致謝

TensorFlow 3D 代碼庫和模型的發(fā)布是 Google 研究人員在產(chǎn)品組的反饋和測試下廣泛合作的結(jié)果。我們要特別強調(diào) Alireza Fathi 和 Rui Huang（在 Google 期間完成的工作）的核心貢獻，另外還要特別感謝 Guangda Lai、Abhijit Kundu、Pei Sun、Thomas Funkhouser、David Ross、Caroline Pantofaru、Johanna Wald、Angela Dai 和 Matthias Niessner。

原文標(biāo)題：TensorFlow 3D 助力理解 3D 場景！

文章出處：【微信公眾號：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq