今日Reddit最熱帖。博主在TensorFlow2.0中創(chuàng)建了一個(gè)Transformer模型包，可用于重新構(gòu)建GPT-2、 BERT和XLNet。這個(gè)項(xiàng)目的目標(biāo)是創(chuàng)建Transformer模型的所有核心部分，這樣就可以重用它們來創(chuàng)建更新的、更多的SOTA模型，比如BERT和XLNet。

Transformer是谷歌在2017年提出的一個(gè)革新性的NLP框架，相信大家對(duì)那篇經(jīng)典論文吸睛的標(biāo)題仍印象深刻：Attention Is All You Need。

自那以來，業(yè)內(nèi)人士表示，在機(jī)器翻譯領(lǐng)域，Transformer 已經(jīng)幾乎全面取代 RNN?？傊?Transformer 確實(shí)是一個(gè)非常有效且應(yīng)用廣泛的結(jié)構(gòu)，應(yīng)該可以算是自 seq2seq 之后又一次 “革命”。

如今，谷歌手上握有兩個(gè)強(qiáng)大的AI戰(zhàn)力：TensorFlow 2.0和Transformer。如果能將兩大戰(zhàn)力合體，就能制造出更強(qiáng)大的AI武器。

想到不如做到。于是Zachary Bloss（就是下圖這位帶著淡淡憂傷的背影），一位美國最大的非銀行貸款機(jī)構(gòu)之一Quicken Loans的數(shù)據(jù)分析師，花了一點(diǎn)時(shí)間，在TF2中構(gòu)建一個(gè)可擴(kuò)展的transformer模型。

該項(xiàng)目的目標(biāo)是創(chuàng)建"Attention is all you need"論文中所討論的transformer模型的所有核心部分，以便可以重復(fù)使用它們來創(chuàng)建更前衛(wèi)、更多像BERT和XLNet一樣的SOTA模型，

Zachary已經(jīng)將做好的模型打包放在了GitHub上，而且這個(gè)包抽象度很高，只要是相關(guān)的類都可以隨意使用。

只要你野心夠大，完全可以用這個(gè)包來折騰Encoder和Decoder類去創(chuàng)建其他模型，比如BERT，Transformer-XL，GPT，GPT-2甚至XLNet都沒問題，你只需要調(diào)整masking類即可。

那么我們看看具體應(yīng)該如何安裝和使用。

如何安裝

前期準(zhǔn)備

進(jìn)行安裝

強(qiáng)烈建議為項(xiàng)目創(chuàng)建一個(gè)新的虛擬環(huán)境！因?yàn)榇塑浖枰猅ensorflow 2.0，你懂的。

接下來通過安裝Tensorflow 2.0的gpu版本來使用GPU：

如何使用

Repo里有一個(gè)（example.py）文件。這是一個(gè)示例文件，可以用來了解此模型的工作原理。該模型以其最基本的形式，以numpy數(shù)組作為輸入，并返回一個(gè)numpy數(shù)組作為輸出。

此模型的常見用例是語言翻譯。一般來說，訓(xùn)練這個(gè)模型的時(shí)候，功能列是原始語言，目標(biāo)列是要翻譯的語言。

生成輸入/輸出

這里提供了一些輔助函數(shù)，但基本上需要生成兩個(gè)Tensorflow標(biāo)記生成器以及一個(gè)帶有功能和目標(biāo)列的pandas DataFrame

可以利用DataProcess類中的輔助函數(shù)從DataFrame生成TensorDatasets，以及執(zhí)行train_test_split

學(xué)習(xí)率/優(yōu)化器

當(dāng)設(shè)置在具有急劇傾斜然后指數(shù)衰減的自定義學(xué)習(xí)速率時(shí)，transformer模型表現(xiàn)優(yōu)異

這項(xiàng)工作已在CustomSchedule()類中實(shí)現(xiàn)。隨意玩熱身步驟，以完成日程安排！

定義transformer模型

創(chuàng)建HPARAMS，定義模型的大小。

訓(xùn)練

定義Trainer類后，只需要在訓(xùn)練器對(duì)象上調(diào)用train()方法。

這將返回訓(xùn)練的準(zhǔn)確性和損失

Attention is all you need

從實(shí)踐中學(xué)習(xí)，才能對(duì)理論理解的更加透徹。在通過上述方式實(shí)操后，我們回過頭再看Transformer的論文，可能就會(huì)覺得更加清晰了。

早在2年前，谷歌大腦、谷歌研究院和多倫多大學(xué)學(xué)者合作的一項(xiàng)新研究稱，使用一種完全基于注意力機(jī)制（Attention）的簡單網(wǎng)絡(luò)架構(gòu) Transformer 用于機(jī)器翻譯，效果超越了當(dāng)下所有公開發(fā)表的機(jī)器翻譯模型，包括集成模型。

值得一提的是，該研究沒有使用任何循環(huán)或卷積神經(jīng)網(wǎng)絡(luò)，全部依賴注意力機(jī)制。正如文章的標(biāo)題所說：“注意力機(jī)制是你需要的全部（Attention Is All You Need）。

一直以來，在序列建模和序列轉(zhuǎn)導(dǎo)問題中，比如涉及語言建模和機(jī)器翻譯的任務(wù)，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），尤其是長短時(shí)記憶（LSTM）及門循環(huán)網(wǎng)絡(luò)，都被視為最先進(jìn)的方法。研究人員也想方設(shè)法拓展循環(huán)語言建模和編碼器-解碼器架構(gòu)。

其中，注意力機(jī)制自提出以來便成為序列建模和轉(zhuǎn)導(dǎo)模型不可或缺的一部分，因?yàn)樽⒁饬C(jī)制能夠在不關(guān)注輸入輸出序列之間距離的情況下，對(duì)依存（dependence）建模。只有在極少數(shù)的案例中，作者將注意力機(jī)制與一個(gè)循環(huán)網(wǎng)絡(luò)作為整個(gè)網(wǎng)絡(luò)中相等的結(jié)構(gòu)，并行放置。

在谷歌大腦最新公開的一項(xiàng)研究中，研究人員提出了一個(gè)全新的架構(gòu) Transformer，完全依賴注意力機(jī)制從輸入和輸出中提取全局依賴，不使用任何循環(huán)網(wǎng)絡(luò)。

谷歌大腦的研究人員表示，Transformer 能夠顯著提高并行效率，僅在 8 顆 P100 GPU 上訓(xùn)練 12 小時(shí)就能達(dá)到當(dāng)前最高性能。

論文作者以 Extended Neural GPU、ByteNet 和 ConvS2S 為例，這些結(jié)構(gòu)都使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為基本的模塊，并行計(jì)算所有輸入和輸出位置的隱藏表征，從而減少序列計(jì)算的計(jì)算量。在這些模型中，將來自兩個(gè)任意輸入或輸出位置的信號(hào)相關(guān)聯(lián)的運(yùn)算次數(shù)會(huì)根據(jù)位置之間的距離增加而增加，對(duì)于 ConvS2S 這種增加是線性的，而對(duì)于 ByteNet 則是呈對(duì)數(shù)增長的。

這讓學(xué)習(xí)距離較遠(yuǎn)的位置之間的依賴難度增大。在 Transformer 當(dāng)中，學(xué)習(xí)位置之間的依賴被減少了，所需的運(yùn)算次數(shù)數(shù)量是固定的。

這需要使用自注意力（Self-attention），或內(nèi)部注意力（intra-attention），這是一種與單個(gè)序列中不同位置有關(guān)的注意力機(jī)制，可以計(jì)算出序列的表征。

以往研究表明，自注意力已被成功用于閱讀理解、抽象概括等多種任務(wù)。

不過，谷歌大腦的研究人員表示，據(jù)他們所知，Transformer 是第一個(gè)完全依賴自注意力的轉(zhuǎn)導(dǎo)模型，不使用 RNN 或 CNN 計(jì)算輸入和輸出的表征。

摘要

當(dāng)前主流的序列轉(zhuǎn)導(dǎo)（transduction）模型都是基于編碼器-解碼器配置中復(fù)雜的循環(huán)或卷積神經(jīng)網(wǎng)絡(luò)。性能最好的模型還通過注意力機(jī)制將編碼器和解碼器連接起來。

提出了一種簡單的網(wǎng)絡(luò)架構(gòu)——Transformer，完全基于注意力機(jī)制，沒有使用任何循環(huán)或卷積神經(jīng)網(wǎng)絡(luò)。兩項(xiàng)機(jī)器翻譯任務(wù)實(shí)驗(yàn)表明，這些模型質(zhì)量更好、可并行化程度更高，并且能大大減少訓(xùn)練時(shí)間。

該模型在 WMT 2014 英德翻譯任務(wù)上實(shí)現(xiàn)了 28.4 的 BLEU 得分，在現(xiàn)有最佳成績上取得了提高，其中使用集成方法，超過了現(xiàn)有最佳成績 2 個(gè) BLEU 得分。

在 WMT 2014 英法翻譯任務(wù)中，該模型在單一模型 BLEU 得分上創(chuàng)下了當(dāng)前最高分 41.0，而訓(xùn)練時(shí)間是在 8 顆 GPU 上訓(xùn)練 3.5 天，相比現(xiàn)有文獻(xiàn)中的最佳模型，只是其訓(xùn)練成本的很小一部分。

研究還發(fā)現(xiàn)，Transformer 泛化性能很好，能夠成功應(yīng)用于其他任務(wù)，比如在擁有大規(guī)模和有限訓(xùn)練數(shù)據(jù)的情況下，解析英語成分句法解析（English constituency parsing）。

模型架構(gòu)

大多數(shù)性能較好的神經(jīng)序列轉(zhuǎn)導(dǎo)模型都使用了編碼器-解碼器的結(jié)構(gòu)。Transformer 也借鑒了這一點(diǎn)，并且在編碼器-解碼器上使用了全連接層。

編碼器：由 6 個(gè)完全相同的層堆疊而成，每個(gè)層有 2 個(gè)子層。在每個(gè)子層后面會(huì)跟一個(gè)殘差連接和層正則化（layer normalization）。第一部分由一個(gè)多頭（multi-head）自注意力機(jī)制，第二部分則是一個(gè)位置敏感的全連接前饋網(wǎng)絡(luò)。

解碼器：解碼器也由 6 個(gè)完全相同的層堆疊而成，不同的是這里每層有 3 個(gè)子層，第 3 個(gè)子層負(fù)責(zé)處理編碼器輸出的多頭注意力機(jī)制。解碼器的子層后面也跟了殘差連接和層正則化。解碼器的自注意力子層也做了相應(yīng)修改。

（圖1）Transformer的架構(gòu)示意圖

（圖2）具體采用的注意力機(jī)制。左邊是 Scaled Dot-Roduct Attention，右邊是多頭注意力（Multi-Head Attention），由幾個(gè)并行的層組成。

在編碼器-解碼器層當(dāng)中，query 來自上一個(gè)解碼層，編碼器輸出值（value）及 memory key。這樣，解碼器中所有位置都能照顧到輸入序列中的所有位置。

編碼器含有自注意力層。在自注意力層中，所有的 key、value 和 query 都來自同一個(gè)地方，那就是編碼器的上一層輸出。編碼器中的每一個(gè)位置都能照顧到編碼器上一層中所有的位置。

同樣，解碼器中的自注意力層讓解碼器中所有位置都能被注意到，包括那個(gè)位置本身。

創(chuàng)造了BLEU的最高分28.4

在WMT2014 英語到德語的翻譯任務(wù)中，大型transformer在性能上優(yōu)于此前在有記錄的所有模型（包括集成的模型），并且創(chuàng)造了BLEU的最高分28.4。

模型的配置詳情見表3下的清單。訓(xùn)練過程為3.5天，在8顆P100 GPU上運(yùn)行。即便是最基礎(chǔ)的模型，也超越了此前所有發(fā)布的和集成的模型，但是訓(xùn)練的成本卻只是此前最好的一批模型中的一小部分。

表2：Transformer 在英語到德語和英語到法語新聞測試2014數(shù)據(jù)集上，比此前最好的模型獲得的BLEU分?jǐn)?shù)都要高。

表2 總結(jié)了結(jié)果，并與其他模型在翻譯質(zhì)量和訓(xùn)練成本上進(jìn)行對(duì)比，評(píng)估了被用于訓(xùn)練模型的浮點(diǎn)操作數(shù)量，用來乘以訓(xùn)練時(shí)間，使用的GPU的數(shù)量，并評(píng)估了每一顆GPU中，可持續(xù)的單精度浮點(diǎn)承載量。

表4 Transformer 在英語成分句法解析任務(wù)上也取得了較好的效果。（基于WSJ Section 23 數(shù)據(jù)庫）

為了測試Transformer能否用于完成其他任務(wù)，研究人員做了一個(gè)在英語成分句法解析上的實(shí)驗(yàn)。這一任務(wù)的難度在于：輸出受到結(jié)構(gòu)限制的強(qiáng)烈支配，并且比輸入要長得多得多。另外，RNN序列到序列的模型還沒能在小數(shù)據(jù)領(lǐng)域獲得最好的結(jié)果。