微軟和谷歌一直在積極研究用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的新框架，并且在最近將各自的成果開源——微軟的PipeDream和谷歌的GPipe。 原則上看，他們都遵循了類似的原則來訓(xùn)練深度學(xué)習(xí)模型。這兩個(gè)項(xiàng)目已在各自的研究論文（PipeDream，GPipe）中進(jìn)行了詳細(xì)介紹，這篇文章將對(duì)此進(jìn)行總結(jié)。 先放上GitHub開源地址 微軟： https://github.com/msr-fiddle/pipedream 谷歌： https://github.com/tensorflow/lingvo/blob/master/lingvo/core/gpipe.py 眾所周知，在實(shí)驗(yàn)過程中，雖然訓(xùn)練基本模型比較瑣碎，但復(fù)雜度卻隨模型的質(zhì)量和大小線性增加。例如，2014年ImageNet視覺識(shí)別挑戰(zhàn)賽的冠軍是GoogleNet，它通過400萬個(gè)參數(shù)獲得了74.8％的top1準(zhǔn)確性，而僅僅三年之后，2017年ImageNet挑戰(zhàn)賽的冠軍就使用1.458億個(gè)參數(shù)（多了36倍）的最新神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了top1準(zhǔn)確率——82.7％。但是，在同一時(shí)期，GPU內(nèi)存僅增加了約3倍。

隨著模型縮放以達(dá)到更高的準(zhǔn)確性，對(duì)這些模型的訓(xùn)練變得越來越具有挑戰(zhàn)性。前面的樣本也顯示了，依靠GPU基礎(chǔ)結(jié)構(gòu)的改進(jìn)來實(shí)現(xiàn)更好的訓(xùn)練是不可持續(xù)的。我們需要分布式計(jì)算方法，這些方法可以并行化跨不同節(jié)點(diǎn)的訓(xùn)練工作量，以擴(kuò)展訓(xùn)練規(guī)模。分布式訓(xùn)練的概念聽起來很瑣碎，但實(shí)際上卻極其復(fù)雜。

谷歌的GPipe

GPipe專注于擴(kuò)展深度學(xué)習(xí)計(jì)劃的訓(xùn)練工作量。從基礎(chǔ)架構(gòu)的角度來看，訓(xùn)練過程的復(fù)雜性是深度學(xué)習(xí)模型經(jīng)常被忽視的一個(gè)方面。訓(xùn)練數(shù)據(jù)集越來越大，越來越復(fù)雜。例如，在醫(yī)療保健領(lǐng)域，需要使用數(shù)百萬個(gè)高分辨率圖像進(jìn)行訓(xùn)練的模型并不罕見。結(jié)果，訓(xùn)練過程通常要花費(fèi)很長時(shí)間才能完成，并且內(nèi)存和CPU消耗非常大。 思考深度學(xué)習(xí)模型的分布式的有效方法是將其劃分為數(shù)據(jù)分布式和模型分布式。數(shù)據(jù)分布式方法采用大型機(jī)器集群，將輸入數(shù)據(jù)拆分到它們之間。模型分布式嘗試將模型移至具有特定硬件的加速器，例如GPU或TPU，以加速模型訓(xùn)練。 概念上看，幾乎所有訓(xùn)練數(shù)據(jù)集都可以按照一定的邏輯進(jìn)行分布式訓(xùn)練，但是關(guān)于模型的說法卻不盡相同。例如，一些深度學(xué)習(xí)模型由可以獨(dú)立訓(xùn)練的并行分支組成。在那種情況下，經(jīng)典策略是將計(jì)算劃分為多個(gè)分區(qū)，并將不同的分區(qū)分配給不同的分支。但是，這種策略在按順序堆疊各層的深度學(xué)習(xí)模型中是不足的， GPipe通過利用一種稱為流水線的技術(shù)將數(shù)據(jù)和模型分布式結(jié)合在一起。從概念上講，GPipe是一個(gè)分布式機(jī)器學(xué)習(xí)庫，它使用同步隨機(jī)梯度下降和流水線分布式進(jìn)行訓(xùn)練，適用于由多個(gè)連續(xù)層組成的任何DNN。 GPipe在不同的加速器之間劃分模型，并自動(dòng)將一小批訓(xùn)練樣本拆分為較小的微批。該模型允許GPipe的加速器并行運(yùn)行，從而最大限度地提高了訓(xùn)練過程的可擴(kuò)展性。 下圖說明了具有連續(xù)層的神經(jīng)網(wǎng)絡(luò)的GPipe模型在四個(gè)加速器之間分配。Fk是第k個(gè)分區(qū)的復(fù)合正向計(jì)算函數(shù)。Bk是相應(yīng)的反向傳播函數(shù)。Bk取決于上層的Bk + 1和Fk的中間激活。在頂級(jí)模型中，我們可以看到網(wǎng)絡(luò)的順序性質(zhì)如何導(dǎo)致資源利用不足。下圖顯示了GPipe方法，其中將輸入的迷你批處理分為較小的宏批處理，這些宏批處理可由加速器同時(shí)處理。

圖片來源： https://arxiv.org/pdf/1811.06965.pdf

微軟的PipeDream

幾個(gè)月前，微軟研究院宣布創(chuàng)建Project Fiddle，這是一系列旨在簡(jiǎn)化分布式深度學(xué)習(xí)的研究項(xiàng)目。PipeDreams是Fiddle項(xiàng)目首次發(fā)布的版本之一，專注于深度學(xué)習(xí)模型訓(xùn)練的并行化。 PipeDream采用與其他方法不同的方法來利用稱為管道分布式的技術(shù)來擴(kuò)展深度學(xué)習(xí)模型的訓(xùn)練。這種方法試圖解決數(shù)據(jù)和模型并行技術(shù)的一些挑戰(zhàn)，例如GPipe中使用的技術(shù)。 通常，在云基礎(chǔ)架構(gòu)上進(jìn)行訓(xùn)練時(shí)，數(shù)據(jù)并行方法在規(guī)模上會(huì)承受較高的通信成本，并且隨著時(shí)間的推移會(huì)提高GPU計(jì)算速度。類似地，模型分布式技術(shù)通常在利用硬件資源上更加效率低下，程序員需要決定如何在給定硬件部署的情況下拆分其特定模型，給他們帶來了不必要的負(fù)擔(dān)。

圖片來源： http://www.microsoft.com/zh-cn/research/uploads/prod/2019/08/fiddle_pipedream_sosp19.pdf PipeDream嘗試通過使用稱為管道分布式的技術(shù)來克服數(shù)據(jù)模型分布式方法的一些挑戰(zhàn)。 從概念上講，管道分布計(jì)算涉及將DNN模型的各層劃分為多個(gè)階段，其中每個(gè)階段均由模型中的一組連續(xù)層組成。每個(gè)階段都映射到一個(gè)單獨(dú)的GPU，該GPU對(duì)該階段中的所有層執(zhí)行正向傳遞（和反向傳遞）。 給定一個(gè)特定的深度神經(jīng)網(wǎng)絡(luò)，PipeDream會(huì)基于在單個(gè)GPU上執(zhí)行的簡(jiǎn)短概要分析，自動(dòng)確定如何對(duì)DNN的運(yùn)算符進(jìn)行分區(qū)，在不同階段之間平衡計(jì)算負(fù)載，同時(shí)最大程度地減少與目標(biāo)平臺(tái)的通信。即使存在模型多樣性（計(jì)算和通信）和平臺(tái)多樣性（互連拓?fù)浜头謱訋挘?，PipeDream也會(huì)有效地實(shí)現(xiàn)負(fù)載平衡。PipeDream訓(xùn)練分布式的方法的原理比數(shù)據(jù)模型分布式方法具有多個(gè)優(yōu)點(diǎn)。 對(duì)于初學(xué)者而言，PipeDream需要在工作程序節(jié)點(diǎn)之間進(jìn)行較少的通信，因?yàn)楣艿缊?zhí)行中的每個(gè)工作程序僅需要將漸變的子集和輸出激活信息傳達(dá)給單個(gè)其他工作程序。

圖片來源： https://www.microsoft.com/zh-cn/research/uploads/prod/2019/08/fiddle_pipedream_sosp19.pdf 訓(xùn)練分布式是構(gòu)建更大、更準(zhǔn)確的深度學(xué)習(xí)模型的關(guān)鍵挑戰(zhàn)之一。分布式訓(xùn)練方法是深度學(xué)習(xí)社區(qū)中一個(gè)活躍的研究領(lǐng)域，需要將有效的并發(fā)編程技術(shù)與深度學(xué)習(xí)模型的本質(zhì)相結(jié)合。盡管仍處于早期階段，但Google的GPipe和Microsoft的PipeDream本身已經(jīng)是很優(yōu)秀的產(chǎn)品，它是深度學(xué)習(xí)開發(fā)人員可用的兩種最具創(chuàng)造性的分布式訓(xùn)練方法。

責(zé)任編輯：lq