寫在前面

今天給大家?guī)硪黄?a target="_blank">ACL2022論文MVR，「面向開放域檢索的多視角文檔表征」，主要解決同一個(gè)文檔向量與多個(gè)語義差異較大問題向量語義不匹配的問題。通過「插入多個(gè)特殊Token」實(shí)現(xiàn)多視角文檔向量表征的構(gòu)建，并為了防止多種視角間向量的趨同，引入了「退火溫度」的全局-局部損失，論文全稱《Multi-View Document Representation Learning for Open-Domain Dense Retrieval》。

該篇論文與前兩天分享的DCSR-面向開放域段落檢索的句子感知的對比學(xué)習(xí)一文有異曲同工之妙，都是在檢索排序不引入額外計(jì)算量的同時(shí)，通過插入特殊Token構(gòu)建長文檔的多語義向量表征，使得同一文檔可以與多種不同問題的向量表征相似。

并且目前的檢索召回模型均存在一些缺陷：

Cross-encoder類模型（BERT）由于計(jì)算量太大，無法在召回階段使用；

Bi-encoder類模型（DPR）無法很好地表現(xiàn)長文檔中的多主題要素；

Late Interaction類模型（ColBERT）由于使用sum操作，無法直接使用ANN進(jìn)行排序；

Attention-based Aggregator類模型（PolyEncoder）增加了額外運(yùn)算并且無法直接使用ANN進(jìn)行排序。

模型

通常向量表征時(shí)，采用特殊字符[CLS]對應(yīng)的向量表征作為文本的向量表征。為了獲取文檔中更細(xì)粒度的語義信息，MVR引入多個(gè)特殊字符[VIE]替代[CLS]。

對于文檔來說，在文本前插入多個(gè)字符[]，為了防止干擾原始文本的位置信息，我們將[]的所有位置信息設(shè)置為0，文檔語句位置信息從1開始。

對于問題來說，由于問題較短且通常表示同一含義，因此僅使用一個(gè)特殊字符[VIE]。

模型采用雙編碼器作為骨干，分別對問題和文檔進(jìn)行編碼，如下：

其中，表示鏈接符，[VIE]和[SEP]為BERT模型的特殊字符，和分別為問題編碼器和文檔編碼器。

如上圖所示，首先計(jì)算問題向量與每個(gè)視角的文檔向量進(jìn)行點(diǎn)積，獲取每一個(gè)視角的得分，然后通過max-pooler操作，獲取視角中分值最大的作為問題向量與文檔向量的得分，如下：

為了防止多種視角間向量的趨同，引入了帶有退火溫度的Global-Local Loss，包括全局對比損失和局部均勻損失，如下：

其中，全局對比損失為傳統(tǒng)的對比損失函數(shù)，給定一個(gè)問題、一個(gè)正例文檔以及多個(gè)負(fù)例文檔，損失函數(shù)如下：

為了提高多視角向量的均勻性，提出局部均勻性損失，強(qiáng)制將選擇的查詢向量與視角向量更緊密，原理其他其視角向量，如下：

為了進(jìn)一步區(qū)分不同視角向量間的差異，采用了退火溫度，逐步調(diào)整不同視角向量的softmax分布，如下：

其中，為控制退火速度的超參，為模型訓(xùn)練輪數(shù)，每訓(xùn)練一輪，溫度更新一次。注意：在全局對比損失和局部均勻損失中，均使用了退火溫度。

實(shí)驗(yàn)

如下表所示，MVR方法對比于其他模型，獲取了更好的效果。

并且，通過實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)視角個(gè)數(shù)選擇8時(shí)，MVR模型效果最佳。

針對Global-Local Loss進(jìn)行消融實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)沒有局部均勻損失和退火溫度時(shí)，會使得效果下降；當(dāng)兩者都沒有時(shí)，效果下降更加明顯；并且一個(gè)合適退火速度，對訓(xùn)練較為重要。

相比于其他模型來說，在文檔編碼階段和檢索召回階段的速度基本沒有影響，但由于需要存儲多個(gè)視角向量，因此造成存儲空間變大。

并且，對比了簡單的句子切割或者等片段截?cái)喾椒ǐ@取一個(gè)文本的多個(gè)向量表征，發(fā)現(xiàn)其效果均不理想，與DCSR一文觀點(diǎn)一致。

總結(jié)

該論文為了對長文檔更好地進(jìn)行向量表征，引入多個(gè)特殊字符，使其生成「多種不同視角的向量表征」，解決了同一個(gè)文檔向量與多個(gè)語義差異較大問題向量語義不匹配的問題。

審核編輯：郭婷