長久以來，自然語言的文法學(xué)習(xí)（Grammar Learning）只考慮純文本輸入數(shù)據(jù)。我們試圖探究視覺信號（Visual Groundings），比如圖像，對自然語言文法學(xué)習(xí)是否有幫助。為此，我們提出了視覺信號輔助下的概率文法的通用學(xué)習(xí)框架。 該框架依賴于概率文法模型（Probabilistic Context-Free Grammars），具有端到端學(xué)習(xí)、完全可微的優(yōu)點(diǎn)。其次，針對視覺輔助學(xué)習(xí)中視覺信號不足的問題。我們提出在語言模型（Language Modeling）上對概率文法模型進(jìn)行額外優(yōu)化。我們通過實(shí)驗(yàn)驗(yàn)證視覺信號以及語言模型的優(yōu)化目標(biāo)有助于概率文法學(xué)習(xí)。 論文一作趙彥鵬：愛丁堡大學(xué)語言、認(rèn)知和計(jì)算研究所博士生，導(dǎo)師是Ivan Titov和Mirella Lapata教授。他的研究興趣是結(jié)構(gòu)預(yù)測和隱變量模型?，F(xiàn)在主要關(guān)注語言結(jié)構(gòu)和圖像結(jié)構(gòu)的學(xué)習(xí)，以及二者之間的聯(lián)系。 1

背景

本次分享內(nèi)容是，用視覺信號來輔助概率文法學(xué)習(xí)的一個(gè)通用學(xué)習(xí)框架。我們關(guān)注的問題是，視覺信號能否幫助我們來推理出自然語言的句法結(jié)構(gòu)？ 接下來我將從以下幾個(gè)部分展開。 首先介紹視覺信號輔助下的概率文法學(xué)習(xí)的一些背景知識和現(xiàn)有的一些工作。 然后介紹本文提出的Visually Grounded Compound PCFGs (VC-PCFGs)。 最后實(shí)驗(yàn)驗(yàn)證VC-PCFGs的有效性。 論文：《Visually Grounded Compound PCFGs》

首先了解問題定義：給定一張圖片以及它的自然語言描述，比如這里有一張鴿子的圖片，它的語言描述是a white pigeon sniffs flowers，我們的目標(biāo)是通過圖片和文字兩個(gè)輸入，得到對應(yīng)句子的句法結(jié)構(gòu)，也就是右邊的圖。句法結(jié)構(gòu)由不同的詞組嵌套而成，每個(gè)詞組可能有不同的類型，它可以是一個(gè)名詞詞組或者是一個(gè)動詞的組。在學(xué)習(xí)過程中，這種詞組的類別信息依賴于文法模型的選擇，但是評測的時(shí)候一般會忽略。 為什么視覺信號可以幫助文法結(jié)構(gòu)的學(xué)習(xí)？這依賴于如下觀測：給定一個(gè)句子，如果相鄰的兩個(gè)詞組，比如white和pigeon，對應(yīng)／關(guān)聯(lián)于圖片中一個(gè)相同的區(qū)域，那么就有理由相信它們更有可能形成一個(gè)大的詞組，進(jìn)而把它們合并起來。接下來的問題是如何表示這種相關(guān)性信息？我們的想法是通過相似度來量化相關(guān)性。

如何去學(xué)習(xí)相似度？之前的模型應(yīng)用對比學(xué)習(xí)的方式（Contrastive Learning）。首先給定一張圖片以及句子，然后通過文法模型，得到句子的句法結(jié)構(gòu)的表示。剛才已經(jīng)提到句法結(jié)構(gòu)對應(yīng)的就是一些嵌套的詞組，我們可以把這些詞組提取出來，和相應(yīng)的圖片組成詞組圖片對，稱之為正樣本。 然后固定一個(gè)詞組，從數(shù)據(jù)集里面隨機(jī)采樣一些圖片。并將采樣得到的圖片和當(dāng)前固定的詞組同樣組成新的詞組圖片對，作為負(fù)樣本。對比學(xué)習(xí)的優(yōu)化目標(biāo)就是使正樣本的得分比負(fù)樣本的得分高。類似的，我們也可以固定圖片，從其他句子里面隨機(jī)的采樣一些詞組，和當(dāng)前圖片組合構(gòu)成負(fù)樣本。這樣就完整定義了一個(gè)詞組圖片對的損失函數(shù)。 因?yàn)橐粋€(gè)句子可以包含多個(gè)不同的詞組，那么在所有的詞組圖片對上加和，就可以得到一個(gè)句子圖片對的損失函數(shù)。需要注意的是這里提到的這些詞組是來自于一個(gè)句法結(jié)構(gòu)，這個(gè)句法結(jié)構(gòu)是從一個(gè)文法模型里面采樣得到的。 我們已經(jīng)能夠表示和學(xué)習(xí)這種相似度，接下來如何從相似度學(xué)習(xí)文法模型？

首先了解一下之前的工作，其選擇了一個(gè)貪心文法模型。所謂貪心就是每次它只會選擇最有可能合并到一起的兩個(gè)詞組，進(jìn)行合并。其次，貪心意味著它只能去采樣，不能夠在有限時(shí)間內(nèi)枚舉所有可能的句法結(jié)構(gòu)，所以它學(xué)習(xí)就依賴于強(qiáng)化學(xué)習(xí)的方法。直觀理解是，如果當(dāng)前合并起來的兩個(gè)詞組和給定的圖像相似度很高，那么有理由相信它們更有可能被合并。我們應(yīng)用之前定義的詞組圖片對之間的相似度，作為一個(gè)reward，強(qiáng)化合并操作。 雖然這樣一個(gè)模型比較直觀，但是還有下列這些缺陷，首先強(qiáng)化學(xué)習(xí)依賴于采樣，所以在優(yōu)化過程中，即評估梯度的時(shí)候會有很大的噪聲。

其次對于視覺信號輔助下的自然語言文法學(xué)習(xí)，有一個(gè)本質(zhì)的問題，即有些句法結(jié)構(gòu)的信息在相應(yīng)的圖片里面是找不到支撐信息的。比如這里稍微改變一下這個(gè)句子， a white pigeon is sitting in the grass peacefully。我們很難去找到sitting這樣一個(gè)動詞以及peacefully這樣一個(gè)副詞在這個(gè)圖片里面所對應(yīng)的視覺信號是什么。觀察之前的文章作者匯報(bào)的一些結(jié)果，我們發(fā)現(xiàn)他們的模型在名詞詞組，即NPs，相對于在動詞VPs上的結(jié)果要好很多。為了緩解這個(gè)問題，他們不得不借助于語言特定的先驗(yàn)信息。 2

我們的模型：VC-PCFGs

那么我們是如何解決這些問題的呢？首先，對于強(qiáng)化學(xué)習(xí)帶來的梯度評估中的噪聲問題。我們提出把貪心文法模型替換為概率文法模型，即PCFGs。替換之后我們可以將采樣操作去掉，同時(shí)優(yōu)化過程是完全可微的。我們稱之為，Visually Grounded Compound PCFGs。至于compound這個(gè)名詞的解釋稍后會提到。 其次是視覺信號不充分的問題。對于一個(gè)概率文法模型，只給定純文本，而沒有視覺信號的情況下，我們可以通過優(yōu)化語言模型的目標(biāo)函數(shù)來學(xué)習(xí)概率文法模型，所以我們提出在語言模型目標(biāo)函數(shù)上對概率文法模型進(jìn)行優(yōu)化。 也就是說我們的模型包含兩部分，首先是引入視覺信號的概率文法模型的學(xué)習(xí)，其次在語言模型目標(biāo)上來優(yōu)化概率文法模型。值得注意的是，這兩個(gè)過程都是完全可微的。接下來我們詳述這兩部分。

首先回顧視覺信號輔助的文法模型學(xué)習(xí)中的一個(gè)重要的損失函數(shù)，在之前的工作中，給定一個(gè)文法模型，即parser，采樣得到一個(gè)句法結(jié)構(gòu)，通過枚舉這個(gè)句法結(jié)構(gòu)所定義的所有詞組，之后在詞組圖片對上把它們的loss加和，得到一個(gè)句子圖片對上的loss。我們的目標(biāo)是把這樣一個(gè)采樣過程去掉，也就意味著必須想辦法計(jì)算句法結(jié)構(gòu)分布下的損失函數(shù)的期望值。

期望可以寫成加和的形式。給定一個(gè)句子的話，這個(gè)句法結(jié)構(gòu)空間是指數(shù)級別的，我們不可能枚舉所有句法結(jié)構(gòu)。但是我們可以把這個(gè)式子中的兩個(gè)加法操作交換順序。第一個(gè)加法操作是枚舉所有的句法結(jié)構(gòu)，第二個(gè)加法是要枚舉句法結(jié)構(gòu)中所有的詞組。交換順序之后做一些簡單的推導(dǎo)，就可以得到最右邊的等式。這個(gè)等式意味著只需要枚舉給定句子的所有的詞組，這是很容易做到的，因?yàn)槠渌械脑~組數(shù)目也就N平方級別。 接下來問題轉(zhuǎn)換成如何來評估條件概率？即給定一個(gè)句子，其中一個(gè)詞組的條件概率是什么？這就是通常所說的后驗(yàn)評估的問題。其次，還需要得到這個(gè)詞組Span c的表示。我們需要用它和圖像做一個(gè)相似度的計(jì)算。最終的問題可以劃分成兩個(gè)部分：后驗(yàn)評估和Span的表示。

首先第一個(gè)部分，后驗(yàn)評估。我們選擇了一個(gè)概率文法模型，PCFG parser。因?yàn)橛眠@樣一個(gè)概率文法模型的話，可以通過動態(tài)規(guī)劃的方法方便地計(jì)算后驗(yàn)概率。然后通過計(jì)算句法樹分布下的損失函數(shù)期望值，得到去除采樣過程的損失函數(shù)。同時(shí)它的優(yōu)化是完全可微的。其次，因?yàn)楦怕饰姆Ｐ偷膬?yōu)化本身可以不依賴于視覺信號，所以我們可以直接去優(yōu)化它的語言模型上的目標(biāo)函數(shù)，這個(gè)過程同樣是完全可微的，同時(shí)緩解了視覺信號不充分的問題。 對于概率文法模型，我們選擇了當(dāng)前最好的一個(gè)概論文法模型，即Compound PCFGs。需要指出的就是Compound PCFGs只是PCFGs的一個(gè)擴(kuò)展，所以之前提到的關(guān)于PCFGs的所有的優(yōu)點(diǎn)它都是具備的。這樣便得到我們的完整模型，即Visually Grounded Compound PCFGs。

接下來來看第二個(gè)模塊。第二個(gè)模塊是給定一個(gè)句子如何來表示它的詞組。我們這里選擇了雙向的LSTM模型。對于一個(gè)句子中所有不同長度的詞組，我們在詞組級別上做編碼，得到詞組的向量化表示。這樣一個(gè)模型能夠保證當(dāng)前詞組的表示，不會用到詞組之外的信息。通過一些代碼實(shí)現(xiàn)上的技巧，我們可以在線性時(shí)間復(fù)雜度內(nèi)得到所有詞組的表示。 3

結(jié)論驗(yàn)證

最后是實(shí)驗(yàn)部分。

實(shí)驗(yàn)部分使用了MSCOCO數(shù)據(jù)集，每個(gè)圖片對應(yīng)有一個(gè)自然語言的描述。由于數(shù)據(jù)集中的自然語言描述沒有真實(shí)的句法結(jié)構(gòu)標(biāo)注，為了評測，我們使用了當(dāng)前最好的一個(gè)有監(jiān)督的文法模型，得到自然語言描述的句法結(jié)構(gòu)。對于圖像的編碼，我們沿用之前工作的方法，對每個(gè)模型用預(yù)練好的，ResNet-101，把每個(gè)圖片編碼成一個(gè)向量的表示。

評測中，我們在每一種設(shè)置下重復(fù)運(yùn)行模型4次并取平均，每次使用了不同的隨機(jī)數(shù)種子。評測指標(biāo)使用句子級別的F1評測。模型之間的對比，這里主要有三組模型： 1.第一組是很簡單的對比模型，比如Left Branching, Right Branching, Random Trees。 2.第二組是之前模型，即VG-NSL，我們對比它在使用和不使用語言特定先驗(yàn)下的結(jié)果。 3.第三組是我們的模型，因?yàn)檫@里主要評測兩個(gè)模塊： a)僅應(yīng)用語言模型的目標(biāo)函數(shù)，對應(yīng)Compound PCFGs（C-PCFGs）。 b)只應(yīng)用視覺信號，也就第二個(gè)without language mode objective（w/o LM）。 最后是我們完整的模型VC-PCFG，既用語言模型的目標(biāo)函數(shù)，又用視覺信號信息。

接下來看一下整體結(jié)果。首先是Right-branching模型表現(xiàn)強(qiáng)勢，只有Compound PCFG以及VC-PCFG，遠(yuǎn)遠(yuǎn)的超過了它，其他模型都比這個(gè)簡單的模型表現(xiàn)要差。

這里對比C-PCFG和VC-PCFG。模型如果額外使用視覺信號的話，可以帶來接近6%的提升。

這里對比只使用視覺信號的模型（w/o LM）與加入語言模型目標(biāo)函數(shù)的完整模型（VC-PCFG），我們可以看出語言模型目標(biāo)函數(shù)帶來將近9%的一個(gè)提升。

我們想知道這些模型提升主要來自于哪一種類型的詞組？我們這里選擇了測試集里面四個(gè)頻率比較高的詞組類型。首先第一個(gè)是名詞詞組，然后第二個(gè)是動詞詞組，第三個(gè)是介詞詞組，第四個(gè)是連詞詞組。因?yàn)槟Ｐ驮诮樵~和連詞上的性能和在動詞詞組上的性能比較類似，接下來我們只在名詞詞組和動詞詞組上做比較。

首先先看一下之前的模型VG-NSL，這里重新驗(yàn)證了作者的實(shí)驗(yàn)結(jié)果。VG-NSL在NP上的性能超過VP上的性能大于35%。

這里顯示的是我們的完整模型，VC-PCFG對應(yīng)的是紅色柱狀圖。可以看出相對于其他模型，它的效果雖然不是最好的，但是它整體來說是較好的。然后在VP上，相對于之前的VG-NSL，我們的模型比它高出了55%。

接下來驗(yàn)證視覺信號的有效性。沒有用視覺信號的是黃色柱狀圖，使用了視覺信號的是紅色柱狀圖。在NP上，使用視覺信號可以帶來將近11%的一個(gè)提升，也就是說視覺信號對NP是有幫助的。

這里驗(yàn)證語言模型的目標(biāo)函數(shù)的有效性。同樣我們發(fā)現(xiàn)語言模型目標(biāo)函數(shù)也是在NP上帶來一個(gè)很大的提升，提升了大概19%。

最后我們從另外一個(gè)角度來分析模型。即這些模型在不同長度的詞組上的效果如何。這張圖首先可以看有一個(gè)明顯的差別：上面兩個(gè)對應(yīng)的是C-PCFG以及VC-PCFG，這兩個(gè)模型明顯是要優(yōu)于之前的VG-NSL。 具體來說的話，當(dāng)詞組的長度大于4的時(shí)候，這兩個(gè)模型始終是優(yōu)于之前的VG-NSL，即便之前的VG-NSL加了一個(gè)語言特定的先驗(yàn)知識。

這里對比視覺信號是否有幫助。藍(lán)色是是我們完整的模型，橙色的是沒有加入視覺信號的模型。我們發(fā)現(xiàn)當(dāng)詞組的長度小于5的時(shí)候，藍(lán)色對應(yīng)的模型，即使用了視覺信號模型是要顯著優(yōu)于不用視覺信號的模型，所以我們結(jié)論是視覺信號對于短的一些詞組是有幫助的。然而我們發(fā)現(xiàn)這些短詞組占了整個(gè)數(shù)據(jù)集所有詞組大概75%，而在75%里面又有60%是名詞詞組，所以我們可以說視覺信號對于文法學(xué)習(xí)的幫助主要體現(xiàn)在名詞詞組上。 4

結(jié)論

我們提出了VC-PCFGs。它應(yīng)用Compound-PCFGs作為文法模型，是一個(gè)端到端可微，在視覺信號輔助下的文法學(xué)習(xí)通用框架。 VC-PCFGs允許我們額外優(yōu)化一個(gè)語言模型的目標(biāo)函數(shù)，進(jìn)而緩解視覺信號不充分的問題。 我們實(shí)驗(yàn)驗(yàn)證了視覺信號以及語言模型的優(yōu)化目標(biāo)函數(shù)對于文法學(xué)習(xí)都有幫助。

原文標(biāo)題：EMNLP 2020最佳論文榮譽(yù)提名：視覺信號輔助的自然語言文法學(xué)習(xí)

文章出處：【微信公眾號：通信信號處理研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq