上月，華為開發(fā)者大會2021《HDC.Together》在美麗的松山湖畔召開，華為專家、行業(yè)大咖和全球開發(fā)者齊聚一堂，攜手碰撞全場景萬物智慧互聯(lián)新時代的火花。作為芯片使能的基礎平臺，HUAWEI HiAI Foundation帶來以《端云協(xié)同，HUAWEI HiAI Foundation打造更易用的AI計算平臺》為主題的技術交流，與開發(fā)者共同探討AI應用開發(fā)的創(chuàng)新技術與未來趨勢。

自2017年麒麟970發(fā)布至今，端側(cè)AI經(jīng)歷了開創(chuàng)先河到產(chǎn)業(yè)快速發(fā)展的巨變。一方面，麒麟芯片的AI性能不斷突破，為一代又一代終端設備提供更強大的算力加持；另一方面， HUAWEI HiAI基于“芯、端、云”三層開放架構(gòu)，讓開發(fā)者更簡單快捷地應用華為的AI能力，構(gòu)筑全面開放的智慧生態(tài)。

作為麒麟芯片計算能力的開放平臺，HUAWEI HiAI Foundation提供300+算子支持，具備業(yè)界最佳的模型兼容性，將芯片AI算力更好更直接地開放給開發(fā)者。此外，HUAWEI HiAI Foundation還推出端云協(xié)同、模型可視化、Model Zoo、自主調(diào)優(yōu)工具包、多IP深度協(xié)同等多種解決方案和能力，為眾多業(yè)務場景打造更高性能更低功耗的計算環(huán)境，助力開發(fā)者快速開發(fā)和部署AI應用。

從平臺架構(gòu)來看，HUAWEI HiAI Foundation銜接智慧業(yè)務和計算芯片，上層支持MNN、TNN、華為MindSpore Lite、Paddle Lite、KwaiNN等合作伙伴的框架對接，利用推理加速平臺（Foundation DDK）和異構(gòu)計算平臺（Foundation HCL）將AI任務調(diào)入NPU/CPU/GPU/DSP等IP中進行計算，賦能手機、平板、智慧屏、車機、手表等終端設備，將更多好玩酷炫的AI應用帶到消費者面前。

（HUAWEI HiAI Foundation 開放架構(gòu)）

五大性能優(yōu)勢，助力開發(fā)者高效靈活開發(fā)

端云協(xié)同：針對新業(yè)務場景算子以及已有典型業(yè)務場景算子，提供性能優(yōu)化、快速升級平臺能力的解決方案

當前，AI業(yè)務和算法模型都在持續(xù)快速演進，AI計算平臺適配新業(yè)務和新算法快速升級成為難題。端云協(xié)同具備可變的計算框架、廣適的模型結(jié)構(gòu)，助力開發(fā)者快速支持新模型、上線新業(yè)務，讓消費者快速獲得端側(cè)AI帶來的體驗提升。

以往，消費者想要體驗到最新的AI功能與服務，需要等算子庫更新，而算子庫內(nèi)置在手機ROM中，手機新版本更新，算子庫才能隨之更新。當舊手機的ROM不再更新，算子庫的更新便成為難題。端云協(xié)同能夠讓老手機用戶不受終端版本的限制，更靈活地享受更新、更優(yōu)質(zhì)的服務?；谌A為端芯云三端打通的優(yōu)勢——底層是計算芯片及HUAWEI HiAI Foundation，端側(cè)有預置的HiAI Engine，云側(cè)有自己的計算庫插件更新云，HUAWEI HiAI Foundation可以將算子庫放到云端。當有新支持的算子或性能優(yōu)化發(fā)布后，HUAWEI HiAI Foundation會在閑時靜默自動更新新的算子庫，開發(fā)者只需在APP開發(fā)時正常調(diào)用，無感使用升級后的計算能力，讓老手機煥發(fā)新生機。

（HUAWEI HiAI Foundation端云協(xié)同）

未來，HUAWEI HiAI Foundation將利用這條端云協(xié)同的通路進一步放大端側(cè)AI能力，通過端云協(xié)同的算子搜索、融合策略、異構(gòu)分段策略等技術賦能NPU機型，快速且低成本解決開發(fā)者的技術難題，支撐更多視頻、文本、語義等業(yè)務的上線。

Model Zoo：輔助開發(fā)者優(yōu)化模型結(jié)構(gòu)，更好地利用麒麟芯片NPU加速優(yōu)勢

開發(fā)者在業(yè)務開發(fā)過程中，為了最大程度利用芯片算力，不可避免地需要針對麒麟芯片的硬件結(jié)構(gòu)做一些模型調(diào)整，這個過程可能會出現(xiàn)效率低，資源利用不足的情況。HUAWEI HiAI Foundation打造Model Zoo，將麒麟芯片NPU友好的模型結(jié)構(gòu)、Backbone、算子放進去，供開發(fā)者自行挑選，輔助其優(yōu)化模型結(jié)構(gòu)，更好的發(fā)揮麒麟芯片NPU的加速優(yōu)勢。HUAWEI HiAI Foundation的底層模型結(jié)構(gòu)可視化已經(jīng)在Netron工具適配上線，方便開發(fā)者開發(fā)調(diào)試。

模型量化工具包：讓開發(fā)者的APP更快、更小

正常情況下，開發(fā)者訓練的模型是32bit，這樣的模型計算精度固然高，但對手機功耗和內(nèi)存的要求也比較高。HUAWEI HiAI Foundation為開發(fā)者提供模型量化工具包，在滿足計算精度的前提下，可以把原始模型直接量化為更小、更輕便且最適合NPU結(jié)構(gòu)的低比特模型，無需開發(fā)者做二次調(diào)整，從而節(jié)省手機空間，降低計算資源的消耗。

模型量化工具包支持無數(shù)據(jù)量化和訓練感知量化，以達到性能與精度的平衡；支持8bit/4bit+2bit模型量化，支持自適應混合量化，實現(xiàn)模型性能與大小的平衡。譬如，開發(fā)者基于ResNet50、InceptionV3等典型網(wǎng)絡模型進行量化，量化后的int8模型在精度幾乎不損失的情況下，模型大小僅為原來FP32模型大小的四分之一。

（HUAWEI HiAI Foundation模型量化工具包）

網(wǎng)絡結(jié)構(gòu)搜索工具包：讓網(wǎng)絡設計更簡單、更有效

網(wǎng)絡結(jié)構(gòu)搜索工具包支持多種類型的網(wǎng)絡結(jié)構(gòu)搜索任務，包含分類，檢測和分割。通過精度，性能目標牽引，協(xié)同硬件信息通過最優(yōu)化搜索算法獲得最優(yōu)的網(wǎng)絡結(jié)構(gòu)，得到最佳的性能提升。網(wǎng)絡結(jié)構(gòu)搜索工具包支持多種主流訓練框架使能，包含：caffe，tensorflow，pytorch。同時針對多種主流硬件平臺具有算力和時延建模的能力。

（HUAWEI HiAI Foundation網(wǎng)絡結(jié)構(gòu)搜索工具包）

多IP深度協(xié)同：各計算單元共用DDR內(nèi)存，提升性能降低功耗

HUAWEI HiAI Foundation在芯片裸算力開放的同時，還具備芯片底層多IP深度協(xié)同的優(yōu)勢。多IP深度協(xié)同的好處在于，CPU、NPU等各計算IP共用DDR內(nèi)存，在ISP、CPU、NPU、GPU等IP之間最大程度減少拷貝數(shù)據(jù)流轉(zhuǎn)的開銷，既可提升性能又能降低功耗。

日調(diào)用量突破600億，引領端側(cè)AI行業(yè)標準構(gòu)筑

如今，AI技術在端側(cè)的應用越來越廣泛，語音識別、圖像識別、圖像分割、圖像超分、人臉識別、文字識別等已經(jīng)成為全民通用的技術，消費者期待更好玩的AI應用出現(xiàn)，希望獲得更優(yōu)質(zhì)的AI應用體驗。HUAWEI HiAI Foundation為AI應用開發(fā)提供了基礎保障，讓開發(fā)者能夠突破性能瓶頸，提高開發(fā)效率，節(jié)省計算資源，更好地投入到AI玩法的研究與落地中，滿足消費者對智慧生活的美好期待。

具體而言，接入HUAWEI HiAI Foundation開放生態(tài)的價值體現(xiàn)在高效實時運算、保護隱私和節(jié)省成本三個方面。

其一，從隱私保護的角度來看，應用中涉及的用戶隱私數(shù)據(jù)，譬如人臉數(shù)據(jù)、指紋數(shù)據(jù)等更應該留在本地，避免上傳云端帶來不必要的麻煩。HUAWEI HiAI Foundation助力開發(fā)者在端側(cè)實現(xiàn)AI計算，能夠更好地保障用戶隱私安全。

其二，相較于云端計算，端側(cè)計算具有低時延的優(yōu)勢，HUAWEI HiAI Foundation支持更多AI模型在移動端高效運算，避免端云交互所帶來的延時和流量開銷，提升用戶體驗。

其三，基于HUAWEI HiAI Foundation直接開放的芯片算力，開發(fā)者可以將更多的AI模型部署在端側(cè)，節(jié)省開發(fā)成本。以視頻超分為例，當用戶在手機上觀看1080P的視頻時，如果開發(fā)者不使用超分技術，就需要從服務器上刷1080P的高清碼流到手機上；反之，如果開發(fā)者使用視頻超分，則只需要在服務器上刷低分辨率的碼流過來，在手機端做超分處理。如此，開發(fā)者既可以節(jié)省帶寬，同時幫用戶節(jié)省了下載高清碼流的流量。

據(jù)統(tǒng)計，HUAWEI HiAI Foundation自2018年開放以來，以高性能、低功耗、高易用性收獲越來越多的開發(fā)者青睞，短短3年間日調(diào)用量從100萬+增長到600億+。抖音、剪映、支付寶、淘寶、愛奇藝、美顏相機、輕顏相機、快手、百度地圖等頭部應用已先后接入HUAWEI HiAI Foundation，利用端側(cè)AI強大的計算能力，為用戶打造智能新體驗。

（HiAI Foundation日調(diào)用量突破600億+）

以愛奇藝為例，HUAWEI HiAI Foundation芯片開放能力，助推愛奇藝快速實現(xiàn)視頻超分AI功能在端側(cè)部署的突破。在愛奇藝V12.1.5版本中，愛奇藝與HUAWEI HiAI Foundation合作在手機端新增了增強畫質(zhì)功能。基于愛奇藝ZoomAI 智能超分算法突出視頻畫面中的細節(jié)紋理，抑制鋸齒和底噪，搭配色彩增強算法效果，在完全不影響幀率的情況下完成了視頻的實時畫質(zhì)增強處理，讓畫質(zhì)變清晰，視頻整體畫面更顯精細。

在雙方的合作中，愛奇藝工程師通過與HUAWEI HiAI Foundation進行框架對接，快速將原始模型轉(zhuǎn)換成華為Davinci Model，并通過Davinci Model的調(diào)優(yōu)技術，優(yōu)化模型結(jié)構(gòu)，充分發(fā)揮硬件單元的算力，令模型算子以更低功耗在手機端側(cè)高效運轉(zhuǎn)。在此次部署中，HUAWEI HiAI Foundation還使用圖融合調(diào)優(yōu)技術，減少模型算法對DDR的依賴，以提升模型性能降低系統(tǒng)功耗。HUAWEI HiAI Foundation還配備了豐富的調(diào)試工具鏈和模型可視化工具，幫助愛奇藝工程師快速解決對接過程中遇到的功能和性能相關問題。

如果說2017年端側(cè)AI還只是一顆種子，如今隨著AI算力不斷突破，AI開放平臺持續(xù)賦能，AI開發(fā)者想象力不斷迸發(fā)，端側(cè)AI已經(jīng)逐漸生根發(fā)芽、茁長成長。為了助力端側(cè)AI行業(yè)繁榮發(fā)展，HiAI Foundation在優(yōu)化平臺性能的同時，已加入AI標準化組織AITISA（人工智能產(chǎn)業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟），并參與端側(cè)AI標準草案撰寫，共同構(gòu)筑AI行業(yè)標準。據(jù)悉，該草案將于2022年正式發(fā)布。

原文標題：深度解析：HUAWEI HiAI Foundation如何助力AI應用高效開發(fā)？

文章出處：【微信公眾號：華為麒麟】歡迎添加關注！文章轉(zhuǎn)載請注明出處。
責任編輯:pj