NVIDIA 研究院的最新模型基于 GAN，將 2D 圖像轉化為3D，面向游戲開發(fā)者、藝術家、設計師和建筑師

NVIDIA 研究院 正在研發(fā)一種全新深度學習引擎，該引擎可以根據(jù)標準的 2D 圖像來創(chuàng)建 3D模型，并可以在 NVIDIA Omniverse 中，為諸如由Knight Rider 的 AI 驅動的 KITT 等標志性汽車帶來活力。

由多倫多的 NVIDIA AI 研究實驗室開發(fā)的 GANverse3D 應用將平面圖像放大成逼真的 3D 模型，可以在虛擬環(huán)境中可視化和控制。這種性能可以幫助建筑師、創(chuàng)作者、游戲開發(fā)人員和設計師輕松地將新對象添加到他們的實體模型中，而不需要 3D 建模方面的專業(yè)知識，也不需要在渲染上花費大量預算。

例如，單張汽車照片可以轉換為3D模型，該模型可以在虛擬場景中行駛，并配有逼真的前燈、尾燈和轉向燈。

為了生成訓練數(shù)據(jù)集，研究人員利用生成性對抗網(wǎng)絡 ——GAN合成圖像，從多個角度描繪同一物體 — 就像攝影師繞著一輛停著的汽車走動，從不同的角度拍攝。這些多視圖圖像被插入到逆圖形的渲染框架中，逆圖形是從 2D 圖像推斷 3D 網(wǎng)格模型的過程。

一旦完成了多視圖圖像訓練，GANverse3D 只需要一個 2D 圖像即可預測 3D 網(wǎng)格模型。該模型可以與 3D 神經(jīng)渲染器一起使用，使開發(fā)人員能夠自定義對象和交換背景。

當作為 NVIDIA Omniverse 平臺的擴展導入并在 NVIDIA RTX GPU 上運行時，GANverse3D 可將任何 2D 圖像重建為 3D，就像流行的 20 世紀 80 年代 Knight Rider 電視節(jié)目中備受喜愛的打擊犯罪的汽車 KITT 一樣。

以前的逆圖形模型依賴于 3D 圖形作為訓練數(shù)據(jù)。

相反，在沒有 3D 要素的幫助下，“我們把 GAN 模型變成了一個非常高效的數(shù)據(jù)生成器，這樣我們就可以基于網(wǎng)絡上的任何 2D 圖像創(chuàng)建出 3D 對象。”NVIDIA 的研究科學家、該項目的主要作者 Wenzheng Chen 說。

“因為我們是根據(jù)真實圖像而不是合成數(shù)據(jù)進行訓練的，所以 AI 模型能更好地推廣到現(xiàn)實世界的應用中?！痹擁椖康淖髡?、NVIDIA 研究員 Jun Gao 表示。

GANverse3D 背后的研究將在兩個即將召開的會議上發(fā)表：5 月份的ICLR和 6 月份的CVPR。

從爆胎到賽車 KITT

游戲、架構和設計領域的創(chuàng)作者依賴于虛擬環(huán)境，例如 NVIDIA Omniverse 模擬和協(xié)作平臺，在創(chuàng)建最終產(chǎn)品之前測試新的想法并可視化原型。借助 Omniverse Connectors，開發(fā)人員可以在 Omniverse 中使用他們首選的 3D 應用程序，通過實時光線跟蹤來模擬復雜的虛擬世界。

但并不是每個創(chuàng)作者都有時間和資源為他們所繪制的每一個對象創(chuàng)建 3D 模型。若要渲染展廳的汽車，或一條街的建筑，需捕獲所需數(shù)量的多視圖圖像，成本可能高得令人望而卻步。

在這方面，訓練好的 GANverse3D 應用可以用來將汽車、建筑甚至一匹馬的標準圖像轉換成可以在 Omniverse 中自定義和制作動畫的 3D 圖形。

為了重建 KITT，研究人員只需給訓練好的模型輸入汽車的圖像，讓 GANverse3D 預測相應的 3D 紋理網(wǎng)格，以及車輛的不同部分，例如車輪和前照燈。然后，他們使用 NVIDIA Omniverse 套件和 NVIDIA PhysX 工具將預測的紋理轉換成高質量的材料，使 KITT 具有更真實的外觀和感覺，并將其與其他汽車一起放置在動態(tài)駕駛序列中。

“Omniverse 讓研究人員能夠將激動人心的前沿研究直接帶給創(chuàng)作者和最終用戶?！盢VIDIA 深度學習工程師 Jean-Francois Lafleche 說道?！白鳛?Omniverse 的擴展，GANverse3D 將幫助藝術家為游戲開發(fā)、城市規(guī)劃甚至訓練新的機器學習模型創(chuàng)建更豐富的虛擬世界?！?/p>

GAN 推動維度轉變

因為從不同角度捕捉同一物體的真實數(shù)據(jù)集很少，所以大多數(shù)將圖像從 2D 轉換為 3D 的 AI 工具都是使用像 ShapeNet 這樣的合成 3D 數(shù)據(jù)集進行訓練的。

為了從現(xiàn)實世界的數(shù)據(jù)中獲得多視圖圖像，例如網(wǎng)上公開的汽車圖像，NVIDIA 研究人員轉而使用GAN 模型，修改其神經(jīng)網(wǎng)絡層，將其轉化為數(shù)據(jù)生成器。

該團隊發(fā)現(xiàn)，僅訓練神經(jīng)網(wǎng)絡的前4層，凍結剩余的 12 層參數(shù)，可以讓 GAN 從不同的角度渲染同一對象的圖像。

保持前4層參數(shù)凍結，其他 12 層可變，可以讓神經(jīng)網(wǎng)絡基于同一角度生成不同的圖像。通過手動分配標準角度，在特定高度和距離拍攝車輛照片，研究人員可以從單個 2D 圖像快速生成多視圖數(shù)據(jù)集。

最終的模型，在 55000 張由 GAN 生成的汽車圖像上訓練而得，優(yōu)于在流行的 Pascal3D 數(shù)據(jù)集上訓練的逆圖形網(wǎng)絡。

請閱讀由 Wenzheng Chen、NVIDIA 研究員 Jun Gao 和 Huan Ling、NVIDIA 多倫多研究室主任Sanja Fidler、滑鐵盧大學學生 Yuxuan Zhang、斯坦福大學學生 Yinan Zhang 和 MIT 教授 Antonio Torralba 撰寫的 ICLR 論文全文。CVPR 論文的其他合作者包括 Jean-Francois Lafleche、NVIDIA 研究員 Kangxue Yin 和 Adela Barriuso。

NVIDIA 研究團隊在全球擁有超過 200 名科學家，專注于人工智能、計算機視覺、自動駕駛汽車、機器人和圖形等領域。GTC上，NVIDIA 首席執(zhí)行官黃仁勛發(fā)表主題演講，讓大家了解更多關于NVIDIA的最新研究和行業(yè)突破。