背景

生成表達(dá)復(fù)雜含義的多句文本需要結(jié)構(gòu)化的表征作為輸入，本文使用知識圖譜作為輸入的表征，研究一個端到端的graph-to-text生成系統(tǒng)，并將其應(yīng)用到科技類文本寫作領(lǐng)域。作者使用一個科技類文章數(shù)據(jù)集的摘要部分，使用一個IE來為每個摘要提取信息，再將其重構(gòu)成知識圖譜的形式。作者通過實驗表明，將IE抽取到知識用圖來表示會比直接使用實體有更好的生成效果。

graph-to-text的一個重要任務(wù)是從 Abstract Meaning Representation (AMR) graph生成內(nèi)容，其中圖的編碼方法主要有g(shù)raph convolution encoder，graph attention encoder，graph LSTM，本文的模型是graph attention encoder的一個延伸。

數(shù)據(jù)集

作者構(gòu)建了一個Abstract GENeration Dataset(AGENDA)，該數(shù)據(jù)包含40k個AI會議的論文標(biāo)題和摘要。對于數(shù)據(jù)集中的每篇摘要，首先使用SciIE來獲取摘要中的命名實體及實體之間的關(guān)系(Compare, Used-for, Feature-of, Hyponymof,Evaluate-for, and Conjunction)，隨后將得到的這些組織成無連接帶標(biāo)簽圖的形式。

模型

GraphWriter模型總覽

編碼器

構(gòu)建圖

將之前數(shù)據(jù)集中的無連接帶標(biāo)簽圖，轉(zhuǎn)化為有連接無標(biāo)簽圖，具體做法為：原圖中的每個表示關(guān)系的邊用兩個節(jié)點替代，一個表示正向的關(guān)系，一個表示反向的關(guān)系；增加一個與所有實體節(jié)點連接全局向量節(jié)點，該向量將會被用來作為解碼器的初始輸入。下圖中表示實體節(jié)點，表示關(guān)系，表示全局向量節(jié)點

最終得到的有連接，無標(biāo)簽圖為G=(V,E)，其中V表示實體/關(guān)系/全局向量節(jié)點，E表示連接矩陣(注意這里的G和V區(qū)別上述圖中的G和v)。

Graph Transformer

Graph Transformer由L個Block Network疊加構(gòu)成，在每個Block內(nèi)，節(jié)點的嵌入首先送入Graph Attention模塊。這里使用多頭自注意力機(jī)制，每個節(jié)點表征通過與其連接的節(jié)點使用注意力，來得到上下文相關(guān)的表征。得到的表征隨后再送入正則化層和一個兩層的前饋神經(jīng)網(wǎng)絡(luò)層。最后一層的得到的即表示上下文后的實體，關(guān)系，全局向量節(jié)點。

解碼器

在每個時間步t使用隱藏狀態(tài)來計算圖和標(biāo)題的上下文向量和，其中通過使用多頭注意力得到，

也通過類似的方式得到，最終的上下文向量是兩者的疊加。隨后使用類似pointer-network的方法來生成一個新詞或復(fù)制一個詞，

實驗

實驗包含自動和人工評估，在自動評估中，GraphWriter代表本篇文章的模型，GAT中將Graph Transformer encoder使用一個Graph Attention Network替換，Entity Writer僅使用到了實體和標(biāo)題沒有圖的關(guān)系信息，Rewriter僅僅使用了文章的標(biāo)題，

從上圖可以看到，使用標(biāo)題，實體，關(guān)系的模型（GraphWriter和GAT)的表現(xiàn)要顯著好于使用更少信息的模型。在人工評估中，使用Best-Worst Scaling，