2016 年，第一顆基于可重構計算的人工智能芯片誕生于清華。該成果曾發(fā)表在《IEEE 固態(tài)電路期刊》，《麻省理工科技評論》也報道過該芯片。

這是清華可重構計算實驗室 “十年磨一劍” 的成果。2006 年起，清華開始研究可重構計算并成立實驗室。

2018 年，該實驗室開始走向產(chǎn)品化，并成立清微智能公司。兩年來，公司已在語音識別、視覺識別等領域研發(fā)出規(guī)?；瘧卯a(chǎn)品，并和阿里巴巴等互聯(lián)網(wǎng)巨頭建立合作。如今，清微智能將最新技術運用于 AI 編譯工具鏈中，并服務于其量產(chǎn)芯片 TX5 系列中，通過編譯優(yōu)化，全球首款多模態(tài)智能計算芯片TX510 用于人臉識別時，其處理速度能夠提升一倍。

DeepTech 近日聯(lián)系到清微智能首席科學家、清華大學微電子與納電子學系教授尹首一，就該公司的主要產(chǎn)品、和他本人近日以通訊作者發(fā)表的新論文進行了深度交流。

自 2018 年以來，清微智能針對終端產(chǎn)品的語音和視覺兩大應用場景，量產(chǎn)出貨兩款芯片產(chǎn)品：超低功耗的智能語音 SoC 芯片 TX210，已應用至多款 TWS 耳機、電子產(chǎn)品及多種智能家居產(chǎn)品中；TX510 芯片于 2020 年 7 月實現(xiàn)量產(chǎn)，在金融支付、智能安防、工業(yè)機器人、航空等領域也已分批交付客戶，出貨量已超十萬片，并承擔多個國家重大項目的建設。

圖｜TX 510 應用領域

以清微智能的 TX510 智能視覺芯片系列為例，該芯片的休眠功耗為 10uW、支持中斷喚醒，冷啟動下的人臉檢測識別時間小于 100ms，典型工作功耗為 350mW，算力達 1.2T (Int8)/9.6T (Binary)，AI 有效能效比達 5.6TOPS/W。

TX510 還擁有可重構 AI 引擎，其支持 AlexNet、GoogleNet、ResNet、VGG、Faster-RCNN、YOLO、SSD、FCN 和 SegNet 等主流神經(jīng)網(wǎng)絡，可實現(xiàn)人臉識別、物體識別和手勢識別等功能，適用于 AIoT、智能安防、智能家居、智能穿戴、智能制造等領域。

TX510 內(nèi)置 3D 引擎，支持 3D 結構光、TOF（Time of flight，飛行時間）和立體視覺，誤識率千萬分之一的情況下識別率大于 90%。

在接口方面，TX510 支持市面上主流的視頻接口、存儲接口和通用接口，可保證產(chǎn)品兼容性。

盡管從硬件層面芯片性能已經(jīng)取得了較大進步，但尹首一告訴 DeepTech，業(yè)界向來有一個共識，光有芯片架構還不夠，編譯工具和開發(fā)工具等軟硬件體系也必須做好。否則，很難完全把硬件功能的優(yōu)勢發(fā)揮出來。

在軟件上面，其團隊已經(jīng)有新進展。

做芯片要軟硬結合

在近日的第 16 屆 ACM/IEEE 國際嵌入式系統(tǒng)會議 上，清華微電子所魏少軍、尹首一教授團隊的論文《面向神經(jīng)網(wǎng)絡處理器的非規(guī)則網(wǎng)絡結構高效調(diào)度技術》(“Efficient Scheduling of Irregular Network Structures on CNN Accelerators”) 獲得最佳論文獎。

尹首一表示，這是中國完成單位首次在 AI 編譯優(yōu)化領域獲得國際學術會議最佳論文獎。該研究成果填補了大規(guī)模、非規(guī)則神經(jīng)網(wǎng)絡編譯映射這一技術空白，可大幅提升神經(jīng)網(wǎng)絡處理器的計算性能。

該成果解決的痛點在于，隨著 AI 算法的不斷普及，以 AIoT 為代表的嵌入式系統(tǒng)應用，給 AI 芯片的性能、功耗、成本、可靠性和可編程性等提出了嚴格且迫切的需求。為此，基于可重構架構、專用指令集架構、存內(nèi)計算架構等技術的神經(jīng)網(wǎng)絡處理器應運而生。

相比 CPU/GPU 等傳統(tǒng)架構，神經(jīng)網(wǎng)絡處理器可將 AI 算法的計算能效提高 1~2 個數(shù)量級，目前其已在移動設備、可穿戴設備、智能傳感器等應用場景中獲得廣泛的應用。

但是，神經(jīng)網(wǎng)絡處理器的應用離不開編譯器的支撐，編譯器一方面實現(xiàn)了 AI 應用到芯片的自動化部署，另一方面通過優(yōu)化算法到芯片架構的適配，能為 AI 應用的執(zhí)行效率帶來大幅提升。

當架構設計經(jīng)過工藝制造并固化為硬件電路后，硬件電路的運算行為則由編譯器所生成的機器碼來指揮，執(zhí)行速度和能量開銷也將因此而確定。因此，編譯器的優(yōu)化程度是研發(fā) AI 芯片的關鍵所在。

然而，當前最先進的神經(jīng)網(wǎng)絡模型，仍舊具備不可預測的非規(guī)則網(wǎng)絡拓撲結構，在編譯層面表現(xiàn)為錯綜復雜的數(shù)據(jù)流圖、和呈指數(shù)增長的解空間，而這給編譯器中的表達式優(yōu)化、算子調(diào)度、資源分配、循環(huán)優(yōu)化、自動代碼生成等關鍵技術環(huán)節(jié)帶來嚴峻挑戰(zhàn)。

現(xiàn)有的深度學習編譯框架，如 TVM、TensorRT 等僅針對網(wǎng)絡中的某些特定模式進行優(yōu)化，它們沒有處理任意結構的能力，因此未能有效解決上述難題。

針對上述問題，魏少軍、尹首一團隊在本次研究中，研發(fā)出支持任意網(wǎng)絡拓撲結構的端到端深度學習編譯框架（下稱編譯框架），相比同類編譯映射方法實現(xiàn)了 1.41-2.61 倍的計算加速。

圖｜支持任意網(wǎng)絡拓撲結構的端到端深度學習編譯框架

具體來說，本次編譯框架有三大創(chuàng)新性技術貢獻點。

第一， 針對結構復雜的數(shù)據(jù)流圖，提出了基于計算節(jié)點深度聚類的編譯方法，該方法可對圖結構進行復雜度降維和搜索路徑生成，進而可求解到具備全局最優(yōu)特性的圖調(diào)度方案，在硬件處理器上表現(xiàn)為多級存儲系統(tǒng)間的數(shù)據(jù)傳輸開銷、與額外計算開銷之間的最佳平衡，即推理計算性能達到最優(yōu)；

第二，針對非規(guī)則網(wǎng)絡結構導致的解空間指數(shù)增長，提出了一種基于回溯搜索和參數(shù)匹配的啟發(fā)式資源分配方法，并對神經(jīng)網(wǎng)絡基本算子在時空域上的分布進行聯(lián)合優(yōu)化，從而實現(xiàn)硬件層面上處理器緩存資源利用率最大化；

第三，針對新型網(wǎng)絡結構的循環(huán)優(yōu)化問題，該團隊推導得出最小循環(huán)變換粒度，并在編譯框架中建立了最優(yōu)陣列映射機制，使得嵌套循環(huán)的運算與計算資源達到最優(yōu)匹配。

由于該編譯框架的優(yōu)化方法具備通用性，因此它也能用于專用神經(jīng)網(wǎng)絡處理器以外的其他架構。

對于研究該問題的初衷，尹首一表示，這來自該團隊親身經(jīng)歷的痛點。過去，在開發(fā)神經(jīng)網(wǎng)絡處理器時，人們往往只考慮到處理單元陣列的搭建和底層的數(shù)據(jù)復用等問題。而對于神經(jīng)網(wǎng)絡算法編譯，由于當時的模型結構簡單、調(diào)度空間有限，僅僅采用常規(guī)編譯優(yōu)化就已足夠。

然而，在面對近年來基于神經(jīng)架構搜索（NAS）等方法所生成的復雜網(wǎng)絡結構時，之前的設計范式不再能提供具備接近最優(yōu)性能的解決方案，從而大大制約了算力的發(fā)揮。因而該團隊認識到，必須要有針對性的軟件編譯工具，才能對新型 AI 應用進行充分的優(yōu)化和加速。

尹首一告訴 DeepTech，在編譯方面他們并非 “新人”。他和團隊十多年來一直研究通用可重構處理器編譯問題，已具備較為深厚的研究基礎，因而在面對神經(jīng)網(wǎng)絡編譯這一新問題時，能迅速把握問題本質(zhì)，從而得以快速完成研究。

據(jù)他介紹，目前由其擔任首席科學家的清微智能，已經(jīng)將該論文的技術發(fā)明運用在 AI 編譯工具鏈中，并已服務于量產(chǎn)芯片 TX5 系列中。對終端客戶而言，這意味著可用同樣的費用買到更多的算力。例如，通過編譯優(yōu)化，TX510 芯片用于人臉識別時，其處理速度能夠提升一倍。

目前，清微智能的 AI 編譯工具鏈還在不斷升級優(yōu)化中，旨在使實際運行中的神經(jīng)網(wǎng)絡處理器逼近其理論算力上限。

AI 芯片公司應 “軟硬” 結合

尹首一認為，和所有初創(chuàng)公司一樣，AI 芯片企業(yè)要想構建成功的商業(yè)模式，在市場競爭中站穩(wěn)腳跟，就得扎實細致地研究客戶實際需求。

當前，AI 芯片的客戶多數(shù)是整機和應用開發(fā)相關企業(yè)，這類客戶主要面向算法和應用來開發(fā)神經(jīng)網(wǎng)絡模型，他們急需的是將生成的模型、便捷高效地在硬件設備上進行部署，因此他們不太關心硬件的底層架構和編譯細節(jié)。

但是，芯片公司光有先進的硬件和架構是不夠的，因為這無法讓客戶快速用起來，也無法將硬件算力轉化為可觀的計算性能。這時，AI 芯片公司就得提供軟硬件全棧式解決方案。參照英偉達在圖形加速領域的成功經(jīng)驗，有兩點值得其他公司學習：其一是先進的 GPU 硬件架構，其二則是 GPU 開發(fā)工具鏈的成熟和完善。

目前，尹首一把主要精力集中在前沿研究上，這些研究成果不斷支撐著產(chǎn)品的競爭優(yōu)勢。以清微智能 AI 編譯工具鏈為例，它集成了模型自動量化、定點訓練、通用算法計算和網(wǎng)絡調(diào)度映射等多方面的先進技術，可高效處理神經(jīng)網(wǎng)絡和及其他 AI 算法，并且兼容主流的深度學習框架，因而實現(xiàn)了從應用算法、到可重構計算硬件的端到端部署。

通過這套 AI 工具鏈，開發(fā)者可在不改變編程習慣的情況下，快速高效地部署 AI 算法。以已經(jīng)量產(chǎn)出貨的視覺智能芯片 TX510 為例，開發(fā)者可以僅僅通過調(diào)用功能級 API，就實現(xiàn)包含剪枝參數(shù)和權值位寬參數(shù)在內(nèi)的最優(yōu)模型壓縮策略，以及包括數(shù)據(jù)流圖優(yōu)化、算子時空域映射在內(nèi)的最優(yōu)調(diào)度結果。

尹首一最后總結到，和操作系統(tǒng)一樣，編譯器也是核心基礎軟件，它是一切可編程芯片的靈魂，應當受到國內(nèi)公司的更多重視。做 AI 芯片的公司，應當從開發(fā)伊始就對軟硬件兩方面的技術路線進行充分布局，這樣才能走得更遠。

-End-

原文標題：AI芯片公司，架構、編譯兩手都要硬！搭載清華最新深度學習編譯研究成果的芯片已商用

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq