早期的機(jī)器學(xué)習(xí)是基于搜索的，主要依賴(lài)于經(jīng)過(guò)一些優(yōu)化的蠻力方法。但隨著機(jī)器學(xué)習(xí)的成熟，它專(zhuān)注于加速成熟的統(tǒng)計(jì)方法和優(yōu)化問(wèn)題。深度學(xué)習(xí)也出現(xiàn)了，它找到了一個(gè)不太可能的優(yōu)化來(lái)源。在這里，我們將了解現(xiàn)代機(jī)器學(xué)習(xí)如何找到新方法來(lái)帶來(lái)規(guī)模和速度。

人工智能的轉(zhuǎn)變

在本系列的第 1 部分中，我們探討了 AI 的一些歷史以及從 Lisp 到現(xiàn)代編程語(yǔ)言和深度學(xué)習(xí)等計(jì)算智能新范式的旅程。我們還討論了依賴(lài)于優(yōu)化搜索形式的早期人工智能應(yīng)用、在海量數(shù)據(jù)集上訓(xùn)練的現(xiàn)代神經(jīng)網(wǎng)絡(luò)架構(gòu)，以及解決十年前認(rèn)為不可能解決的問(wèn)題。今天的重點(diǎn)是雙重的；進(jìn)一步加速這些應(yīng)用程序并將它們限制在智能手機(jī)等功率優(yōu)化環(huán)境中。

今天大多數(shù)加速的重點(diǎn)是深度學(xué)習(xí)。深度學(xué)習(xí)是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，它依賴(lài)于許多層次的神經(jīng)網(wǎng)絡(luò)，其中層可以支持不同的特征檢測(cè)功能。這些深度神經(jīng)網(wǎng)絡(luò)依賴(lài)于可以輕松受益于并行性的向量運(yùn)算。這些架構(gòu)代表了神經(jīng)網(wǎng)絡(luò)層的分布式計(jì)算以及層內(nèi)許多神經(jīng)元的并行計(jì)算的機(jī)會(huì)。

使用 GPU 加速機(jī)器學(xué)習(xí)

加速深度學(xué)習(xí)應(yīng)用程序的不太可能的來(lái)源是圖形處理單元或 GPU。GPU 是一種特殊設(shè)備，用于加速輸出到顯示設(shè)備的幀緩沖區(qū)（內(nèi)存）的構(gòu)建。GPU 卸載幀緩沖區(qū)中的圖像渲染，而不是依賴(lài)處理器來(lái)執(zhí)行此操作。GPU 由數(shù)千個(gè)獨(dú)立內(nèi)核組成，這些內(nèi)核并行運(yùn)行并執(zhí)行特定類(lèi)型的計(jì)算，例如矢量數(shù)學(xué)。盡管最初的 GPU 專(zhuān)為視頻應(yīng)用而設(shè)計(jì)，但人們發(fā)現(xiàn)它們還可以加速科學(xué)計(jì)算中的運(yùn)算，例如矩陣乘法。

GPU 供應(yīng)商樂(lè)于提供 API，允許開(kāi)發(fā)人員將 GPU 處理集成到他們的應(yīng)用程序中，但這項(xiàng)工作也可以通過(guò)適用于各種不同環(huán)境的標(biāo)準(zhǔn)包來(lái)完成。R 編程語(yǔ)言和環(huán)境包括與 GPU 配合使用以加速處理的包，例如gputools、gmatrix和gpuR。GPU 也可以通過(guò)各種庫(kù)（例如numba包或Theano ）與 Python 一起使用。

這些軟件包使任何有意使用它們的人都可以使用 GPU 加速機(jī)器學(xué)習(xí)。但更專(zhuān)業(yè)的方法也在路上。2019 年，英特爾?以 20 億美元的價(jià)格收購(gòu)了 Habana Labs。Habana Labs 為服務(wù)器中的各種機(jī)器學(xué)習(xí)加速器開(kāi)發(fā)了定制芯片。在此之前，2017 年以 150 億美元的價(jià)格收購(gòu)了 Mobileye 的自動(dòng)駕駛芯片技術(shù)。

定制硅和說(shuō)明

除了服務(wù)器和臺(tái)式機(jī)中的 GPU 加速之外，機(jī)器學(xué)習(xí)加速器正在超越傳統(tǒng)平臺(tái)，進(jìn)入功率受限的嵌入式設(shè)備和智能手機(jī)。這些加速器采用多種形式，從 U 盤(pán)、API 到智能手機(jī)神經(jīng)網(wǎng)絡(luò)加速器，以及用于深度學(xué)習(xí)加速的矢量指令。

智能手機(jī)的深度學(xué)習(xí)

深度學(xué)習(xí)工具包已經(jīng)從 PC 發(fā)展到適用于更受限網(wǎng)絡(luò)的智能手機(jī)。TensorFlow Lite 和 Core ML 等框架已經(jīng)部署在移動(dòng)設(shè)備上用于機(jī)器學(xué)習(xí)應(yīng)用程序。Apple ?最近發(fā)布了 A12 仿生芯片，其中包含一個(gè) 8 核神經(jīng)網(wǎng)絡(luò)引擎，用于開(kāi)發(fā)更節(jié)能的神經(jīng)網(wǎng)絡(luò)應(yīng)用程序。這將擴(kuò)展 Apple 智能手機(jī)上的深度學(xué)習(xí)應(yīng)用程序。

Google 為 Android ? 8.1 發(fā)布了具有機(jī)器學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò) API (NNAPI)。這些在 Google Lens 應(yīng)用程序的自然語(yǔ)言處理和圖像識(shí)別環(huán)境中用于 Google Assistant。NNAPI 類(lèi)似于其他深度學(xué)習(xí)工具包，但專(zhuān)為 Android 智能手機(jī)環(huán)境及其資源限制而構(gòu)建。

深度學(xué)習(xí) USB

英特爾發(fā)布了其神經(jīng)計(jì)算棒的更新版本，以 USB 棒的形式加速深度學(xué)習(xí)應(yīng)用程序。這可以被各種機(jī)器學(xué)習(xí)框架使用，例如 TensorFlow、Caffe 和 PyTorch。當(dāng) GPU 不可用時(shí)，該設(shè)備是一個(gè)有趣的選擇，而且還允許深度學(xué)習(xí)應(yīng)用程序的快速原型設(shè)計(jì)。

深度學(xué)習(xí)說(shuō)明

最后，雖然機(jī)器學(xué)習(xí)計(jì)算已從 CPU 轉(zhuǎn)移到 GPU，但英特爾已使用新指令優(yōu)化其至強(qiáng)指令集以加速深度學(xué)習(xí)。這些稱(chēng)為 AVX-512 擴(kuò)展的新指令（稱(chēng)為向量神經(jīng)網(wǎng)絡(luò)指令或 VNNi）提高了卷積神經(jīng)網(wǎng)絡(luò)操作的吞吐量。

概括

GPU 在機(jī)器學(xué)習(xí)中的應(yīng)用創(chuàng)造了為各種應(yīng)用程序構(gòu)建和部署大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的能力。機(jī)器學(xué)習(xí)框架使構(gòu)建深度學(xué)習(xí)應(yīng)用程序變得簡(jiǎn)單。但也不甘示弱，智能手機(jī)供應(yīng)商已經(jīng)為受限應(yīng)用程序集成了節(jié)能的神經(jīng)網(wǎng)絡(luò)加速器（以及用于自定義應(yīng)用程序使用的 API）?，F(xiàn)在也可以找到其他加速器來(lái)卸載到 USB 硬件，許多新的初創(chuàng)公司正在挖掘這個(gè)加速器空間以用于未來(lái)的機(jī)器學(xué)習(xí)應(yīng)用程序。

審核編輯hhy