微軟發(fā)明的GPU與FPGA進行數據傳輸的方法，不僅可以帶動基于FPGA進行人工智能芯片設計的發(fā)展，同時也可以加快深度學習技術發(fā)展的步伐。

集微網消息，2018年5月，在Bulid大會上，微軟宣布 Project Brainwave 開放預覽，這是一種用于深度神經網絡處理的架構，可以用于Azure與邊緣環(huán)境，并且可以讓Azure成為實時運行人工智能最快的云平臺。

為什么微軟要基于FPGA來進行人工智能芯片設計呢？這是因為當時微軟的搜索引擎都是依靠CPU驅動，盡管英特爾等公司不斷改進CPU，但是這些芯片還是不能滿足微軟的需求。而此時恰好FPGA能彌補這個不足。

圖形處理單元（GPU）已經被用于圖形應用許多年，近年來也被應用于其他例如圖形處理、搜索以及其他一般的應用。雖然FPGA和GPU均可以被視為專用處理器，但是在某些場合，如果FPGA與GPU之間可以進行通信以及任務的共享、轉交，會更加高效的完成任務，這也是基于FPGA設計人工智能芯片的重要設計方案之一。

為了實現FPGA與GPU之間的通信，微軟在2013年8月16日申請了一項名為“GPU和FPGA組件之間的直接通信的方法和系統(tǒng)”的發(fā)明專利（申請?zhí)枺?01380044351.6），申請人為微軟技術許可有限責任公司。

根據該專利目前公開的資料，讓我們一起來看看這項FPGA與GPU之間的通信技術吧。

如上圖，為用于GPU和FPGA組件之間直接通信的系統(tǒng)框圖，系統(tǒng)100包括存儲計算機指令的存儲器、中央處理單元（CPU）102、圖形處理單元（GPU）104和現場可編程門陣列（FPGA）106，這些部件通過總線進行連接，傳輸數據包括經由PCIe交換機在GPU和FPGA之間直接傳輸數據。

而要達到數據傳輸的目的，必然不可避免要對于數據在硬件中進行編址，也就是例如基于虛擬存儲器存儲的數據，被存儲在不連續(xù)的塊中的數據的物理地址中時，需要進行地址編碼。當數據在GPU與FPGA之間傳輸時，數據可以從FPGA的存儲器傳輸到GPU中，由于采用了編址，因此也就不會發(fā)生數據錯位、丟失等問題。

在GPU和FPGA通信中，也分為直接通信和間接通信兩種方式，首先我們來看看間接通信方式。

如上圖，為GPU和FPGA組件之間間接通信的系統(tǒng)示意圖，如圖所示，數據202經由GPU、快速PCI交換機、CPU和CPU存儲器，在GPU存儲器和FPGA存儲器之間交換。這是一個間接的路徑，由于在GPU和FPGA之間經過了CPU，因此也被稱為GPU-CPU-FPGA傳輸。

這種間接傳輸的方式，雖然可以保證數據在GPU和FPGA之間共享，但是由于數據經過了兩次PCIe交換機并由于操作系統(tǒng)和CPU存儲器硬件兩者的等待時間加時，因此增加了通信等待時間和操作系統(tǒng)的開銷。

接著，我們來看看GPU和FPGA組件之間直接通信的流程圖，如上圖所示，首先要獲取標識用于直接訪問FPGA的存儲器的地址的虛擬指針，例如FPGA驅動程序可以生成標識用于直接訪問FPGA中的存儲器的地址的虛擬指針。

之后就可以啟動虛擬指針到與FPGA外部的GPU相關聯的圖形處理單元（GPU）驅動程序的傳輸，經過外部的總線接口，可以直接啟動GPU與FPGA之間的數據傳輸，而無需作為中間操作來將數據存儲在中央處理單元的存儲器中。

以上就是微軟發(fā)明的GPU與FPGA之間的數據傳輸方案，在微軟進行基于FPGA的人工智能芯片設計的過程中，FPGA擔任著機器學習算法的主要硬件基礎。這種在GPU與FPGA之間傳輸數據的技術，勢必會加速人工智能芯片的發(fā)展以及加快深度學習技術的發(fā)展。

關于嘉德

深圳市嘉德知識產權服務有限公司由曾在華為等世界500強企業(yè)工作多年的知識產權專家、律師、專利代理人組成，熟悉中歐美知識產權法律理論和實務，在全球知識產權申請、布局、訴訟、許可談判、交易、運營、標準專利協(xié)同創(chuàng)造、專利池建設、展會知識產權、跨境電商知識產權、知識產權海關保護等方面擁有豐富的經驗。
責任編輯:tzh