我們知道，預訓練LLM已經(jīng)取得了諸多驚人的成就， 然而其明顯的劣勢是不支持其他模態(tài)（包括圖像、語音、視頻模態(tài)）的輸入和輸出，那么如何在預訓練LLM的基礎上引入跨模態(tài)的信息，讓其變得更強大、更通用呢？本節(jié)將介紹“大模型+多模態(tài)”的3種實現(xiàn)方法。

01

以LLM為核心，調(diào)用其他多模態(tài)組件

2023年5月，微軟亞洲研究院（MSRA）聯(lián)合浙江大學發(fā)布了HuggingGPT框架，該框架能夠以LLM為核心，調(diào)用其他的多模態(tài)組件來合作完成復雜的AI任務（更多細節(jié)可參見Yongliang Shen等人發(fā)表的論文“HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace”）。HuggingGPT框架的原理示意圖如圖1所示。下面根據(jù)論文中提到的示例來一步一步地拆解 HuggingGPT框架的執(zhí)行過程。

圖1

假如現(xiàn)在你要執(zhí)行這樣一個復雜的AI任務：生成一張一個小女孩正在讀書的照片，要求她的姿勢和示例照片中的小男孩的姿勢相同，然后用你的聲音來描述新生成的照片。HuggingGPT框架把執(zhí)行這個復雜AI任務的過程分成了4個步驟。

（1）任務規(guī)劃（Task Planning）。使用LLM了解用戶的意圖，并將用戶的意圖拆分為詳細的執(zhí)行步驟。如圖5-10左上部分所示，將輸入指令拆分為6個子步驟。

子步驟1：根據(jù)小男孩的圖像Image-1，生成小男孩的姿勢輪廓Image-2。

子步驟 2：根據(jù)提示文本“小女孩正在讀書”及小男孩的姿勢輪廓Image-2生成小女孩的圖像Image-3。

子步驟3：根據(jù)小女孩的圖像Image-3，對圖像信息進行分類。

子步驟4：根據(jù)小女孩的圖像Image-3，對圖像信息進行目標檢測，生成帶目標框的圖像Image-4。

子步驟5：根據(jù)小女孩的圖像Image-3，對圖像信息進行描述，生成描述文本，并在Image-4中完成目標框和描述文本的配對。

子步驟6：根據(jù)描述文本生成語音Audio-1。

（2）模型選擇（Model Selection）。根據(jù)步驟（1）中拆分的不同子步驟，從Hugging Face平臺（一個包含多個模型的開源平臺）中選取最合適的模型。對于子步驟1中的輪廓生成任務，選取OpenCV的openpose control模型；對于子步驟2中的圖像生成任務，選取sd-controlnet-openpose模型；對于子步驟3中的圖像分類任務，選取谷歌的vit-base-patch16-224模型；對于子步驟4中的目標檢測任務，選取Facebook的detr-resnet-101模型；對于子步驟5中的圖像描述任務，選取nlpconnect開源項目的vit-gpt2-Image-captioning模型；對于子步驟6中的語音生成任務，選取Facebook的fastspeech2-en- ljspeech模型。

（3）任務執(zhí)行（Task Execution）。調(diào)用步驟（2）中選定的各個模型依次執(zhí)行，并將執(zhí)行的結果返回給LLM。

（4）響應生成（Response Generation）。使用LLM對步驟（3）中各個模型返回的結果進行整合，得到最終的結果并進行輸出。

HuggingGPT框架能夠以LLM為核心，并智能調(diào)用其他多模態(tài)組件來處理復雜的AI任務，原理簡單，使用方便，可擴展性強。另外，其執(zhí)行效率和穩(wěn)定性在未來有待進一步加強。

02

基于多模態(tài)對齊數(shù)據(jù)訓練多模態(tài)大模型

這種方法是直接利用多模態(tài)的對齊數(shù)據(jù)來訓練多模態(tài)大模型，《多模態(tài)大模型：技術原理與實戰(zhàn)》一書5.3節(jié)中介紹了諸多模型，例如VideoBERT、CLIP、CoCa、CoDi等都是基于這種思路實現(xiàn)的。

這種方法的核心理念是分別構建多個單模態(tài)編碼器，得到各自的特征向量，然后基于類Transformer對各個模態(tài)的特征進行交互和融合，實現(xiàn)在多模態(tài)的語義空間對齊。

由此訓練得到的多模態(tài)大模型具備很強的泛化能力和小樣本、零樣本推理能力，這得益于大規(guī)模的多模態(tài)對齊的預訓練語料。與此同時，由于訓練參數(shù)量較大，往往需要較多的訓練資源和較長的訓練時長。

03

以LLM為底座模型，訓練跨模態(tài)編碼器

這種方法的特色是以預訓練好的LLM為底座模型，凍結LLM的大部分參數(shù)來訓練跨模態(tài)編碼器，既能夠有效地利用LLM強大的自然語言理解和推理能力，又能完成復雜的多模態(tài)任務。這種訓練方法還有一個顯而易見的好處，在訓練過程中對LLM的大部分參數(shù)進行了凍結，導致模型可訓練的參數(shù)量遠遠小于真正的多模態(tài)大模型，因此其訓練時長較短，對訓練資源的要求也不高。下面以多模態(tài)大模型LLaVA為例介紹這種方法的主要構建流程。

2023年4月，威斯康星大學麥迪遜分校等機構聯(lián)合發(fā)布了多模態(tài)大模型LLaVA。LLaVA模型在視覺問答、圖像描述、物體識別、多輪對話等任務中表現(xiàn)得極其出色，一方面具有強大的自然語言理解和自然語言推理能力，能夠準確地理解用戶輸入的指令和意圖，支持以多輪對話的方式與用戶進行交流，另一方面能夠很好地理解輸入圖像的語義信息，準確地完成圖像描述、視覺問答、物體識別等多模態(tài)任務。LLaVA模型的原理示意圖如圖2所示。

圖2

在訓練數(shù)據(jù)上，LLaVA模型使用了高質(zhì)量的多模態(tài)指令數(shù)據(jù)集，并且這些數(shù)據(jù)都是通過GPT-4生成的。這個指令數(shù)據(jù)集包含基于圖像的對話數(shù)據(jù)、詳細描述數(shù)據(jù)和復雜推理數(shù)據(jù)，共15萬條，數(shù)據(jù)的質(zhì)量和多樣性較高。LLaVA模型將多模態(tài)指令數(shù)據(jù)集應用到了多模態(tài)任務上，這是指令微調(diào)擴展到多模態(tài)領域的第一次嘗試。

在模型架構上，LLaVA模型使用Vicuna模型作為文本編碼器，使用CLIP模型作為圖像編碼器。

第一個階段，基于59.5萬條CC3M文本-圖像對齊數(shù)據(jù)，訓練跨模態(tài)編碼器，以便將文本特征和圖像特征進行語義對齊。這里的跨模態(tài)編碼器其實是一個簡單的投影映射層，在訓練時凍結LLM的參數(shù)，僅僅對投影映射層的參數(shù)進行更新。

第二個階段，基于15萬條多模態(tài)指令數(shù)據(jù)，對多模態(tài)大模型進行端到端的指令微調(diào)，具體針對視覺問答和多模態(tài)推理任務進行模型訓練。值得注意的是，LLaVA模型在訓練的第二個階段會對LLM和投影映射層的參數(shù)都進行相應的更新，仍然存在一定的時間開銷和訓練資源依賴，這也是后續(xù)研究工作的一個重要方向。

2023年5月2日，LLaVA官方發(fā)布了輕量級的LLaVA Lightning模型（可以翻譯為輕量級的LLaVA模型），使用8個RTX A100型號的顯卡，3小時即可完成訓練，總訓練成本僅為40美元。

審核編輯：劉清