我們近期的工作：3D視覺大模型Uni3D在ICLR 2024的評審中獲得了688分，被選為Spotlight Presentation

在本文中，我們第一次將3D基礎模型成功scale up到了十億(1B)級別參數(shù)量，并使用一個模型在諸多3D下游應用中取得SoTA結果。代碼和各個scale的模型（從6M-1B）均已開源，歡迎大家關注和使用：

論文：https://https://arxiv.org/pdf/2310.06773

代碼：https://https://github.com/baaivision/Uni3D

我們主要探索了3D視覺中scale up模型參數(shù)量和統(tǒng)一模型架構的可能性。在NLP / 2D vision領域，scale up大模型（GPT-4，SAM，EVA等）已經(jīng)取得了很impressive的結果，但是在3D視覺中模型的scale up始終沒有成功。我們旨在將NLP/2D中scale up的成功復現(xiàn)到3D表征模型上。

在這項工作中，我們提出了一個3D基礎大模型Uni3D，直接將3D backbone統(tǒng)一為ViT（Vision Transformer），以此利用豐富和強大的2D預訓練大模型作為初始化。Uni3D使用CLIP模型中的文本/圖像表征作為訓練目標，通過學習三個模態(tài)的表征對齊（點云-圖像-文本）實現(xiàn)3D點云對圖像和文本的感知。同時，通過使用ViT中成功的scale up策略，我們將Uni3D逐步 scale up，訓練了從Tiny到giant的5個不同scale的Uni3D模型，成功地將Uni3D擴展到10億級別參數(shù)。

Uni3D模型不同scale下的參數(shù)量和zero-shot分類結果

Uni3D在多個3D任務上達到SoTA，如：zero-shot classification, few-shot classification，open-world understanding, open-world part segmentation.

Zero-shot classification

Real-world zero-shot recognition

由于學到了強大的多模態(tài)表征能力，Uni3D還能夠做一些有意思的應用，如point cloud painting（點云繪畫），text/image-based 3D shape retrieval（基于圖像/文本的3D模型檢索），point cloud captioning（點云描述）：

Point cloud painting

Image-based 3D shape retrieval

Text-based 3D shape retrieval

Point cloud captioning.