命名實體識別是NLP領域中的一項基礎任務，在文本搜索、文本推薦、知識圖譜構(gòu)建等領域都起著至關(guān)重要的作用，一直是熱點研究方向之一。多模態(tài)命名實體識別在傳統(tǒng)的命名實體識別基礎上額外引入了圖像，可以為文本補充語義信息來進行消岐，近些年來受到人們廣泛的關(guān)注。

盡管當前的多模態(tài)命名實體識別方法取得了成功，但仍然存在著兩個問題：(1)當前大部分方法基于注意力機制來進行文本和圖像間的交互，但由于不同模態(tài)的表示來自于不同的編碼器，想要捕捉文本中token和圖像中區(qū)域之間的關(guān)系是困難的。如下圖所示，句子中的‘Rob’應該和圖像中存在貓的區(qū)域(V5,V6,V9等)有著較高的相似度，但由于文本和圖像的表示并不一致，在通過點積等形式計算相似度時，‘Rob’可能會和其它區(qū)域有著較高的相似度得分。因此，表示的不一致會導致模態(tài)之間難以建立起較好的關(guān)系。

(2)當前的方法認為文本與其隨附的圖像是匹配的，并且可以幫助識別文本中的命名實體。然而，并不是所有的文本和圖像都是匹配的，模型考慮這種不匹配的圖像將會做出錯誤的預測。如下圖所示，圖片中沒有任何與命名實體“Siri”相關(guān)的信息，如果模型考慮這張不匹配的圖像，便會受圖中“人物”的影響將“Siri”預測為PER(人)。而在只有文本的情況下，預訓練模型(BERT等)通過預訓練任務中學到的知識可以將“Siri”的類型預測為MISC(雜項)。

為了解決上述存在的問題，本文提出了MAF，一種通用匹配對齊框架(General Matching and Alignment Framework)，將文本和圖像的表示進行對齊并通過圖文匹配的概率過濾圖像信息 。由于該框架中的模塊是插件式的，其可以很容易地被拓展到其它多模態(tài)任務上。

本文研究成果已被WSDM2022接收，

整體框架

本文框架如下圖所示，由5個主要部分組成：

Input Representations

將原始的文本輸入轉(zhuǎn)為token序列的表示以及文本整體的表示，將原始的圖像輸入轉(zhuǎn)為圖像區(qū)域的表示以及圖像整體的表示。

Cross-Modal Alignment Module

接收文本整體的表示和圖像整體的表示作為輸入，通過對比學習將文本和圖像的表示變得更為一致。

Cross-Modal Interaction Module

接收token序列的表示以及圖像區(qū)域的表示作為輸入，使用注意力機制建立起文本token和圖像區(qū)域之間的聯(lián)系得到文本增強后的圖像的表示。

Cross-Modal Matching Module

接收文本序列的表示和文本增強后的圖像的表示作為輸入，用于判斷文本和圖像匹配的概率，并用輸出的概率對圖像信息進行過濾。

Cross-Modal Fusion Module

將文本token序列的表示和最終圖像的表示結(jié)合在一起輸入到CRF層進行預測。

主要部分

Input Representations

實驗

主要結(jié)果

本文的方法在Twitter-2015和Twitter-2017數(shù)據(jù)集上效果均優(yōu)于之前的方法。

運行時間

本文的方法相比于之前的方法除了有著模態(tài)之間交互的模塊(本文中為CI)，還添加了對齊模態(tài)表示的CA以及判斷圖文是否匹配的CM，這可能會導致訓練成本以及預測成本增加。但本文簡化了模態(tài)之間交互的過程，因此整體訓練和預測時間以及模型大小均由于之前的SOTA方法。

消融實驗

本文進行了消融實驗，驗證了CA和CM的有效性。

樣例分析

本文還進行了樣例分析來更加直觀地展示CA和CM的有效性。

審核編輯：劉清