本文討論了推動(dòng)視覺應(yīng)用快速發(fā)展和影響行業(yè)未來的關(guān)鍵趨勢，解釋了這些趨勢背后的推動(dòng)因素，并強(qiáng)調(diào)了對(duì)技術(shù)供應(yīng)商、解決方案開發(fā)者和最終用戶的關(guān)鍵影響。

早在2011年嵌入式視覺聯(lián)盟（EVA）成立時(shí)，其創(chuàng)始公司就認(rèn)為，在廣泛的市場范圍內(nèi)，在實(shí)用計(jì)算機(jī)視覺技術(shù)和解決方案領(lǐng)域的投資、創(chuàng)新和部署，將很快出現(xiàn)前所未有的增長。在不到十年后，這一預(yù)測就真正實(shí)現(xiàn)了。在過去的六年中，美國和中國在計(jì)算機(jī)視覺公司領(lǐng)域的投資都在加速，過去六年的投資額增長了100倍，并且增長速度沒有任何放緩的跡象（見圖1a）。

圖1a：全球在計(jì)算機(jī)視覺公司領(lǐng)域的投資顯著增加，并且沒有放緩跡象。（來源：Woodside Capital/Crunchbase）

這些投資正在刺激這些公司及其合作伙伴和客戶加速在視覺領(lǐng)域的研究、開發(fā)和部署活動(dòng)。EVA會(huì)定期對(duì)視覺開發(fā)者社區(qū)就各種主題開展調(diào)查，最新調(diào)查結(jié)果表明，93%的被調(diào)查組織表示，未來一年中在視覺領(lǐng)域的投入會(huì)增加（其中61%表示會(huì)大幅增加）（見圖1b）。

圖1b：2019年，開發(fā)者在視覺領(lǐng)域的投入將顯著增加。（來源：EVA）

預(yù)計(jì)這些增加的活動(dòng)將轉(zhuǎn)化為收入的增加；例如，Tractica最近發(fā)布的一份市場研究報(bào)告預(yù)測，從現(xiàn)在到2025年，計(jì)算機(jī)視覺市場（包括硬件、軟件和服務(wù)，見圖1c）的收入將增加25倍，到2025年將超過260億美元。

圖1c：全球范圍內(nèi)對(duì)計(jì)算機(jī)視覺相關(guān)公司的投資，將驅(qū)動(dòng)這些公司未來的收入大幅增長。

（來源：Tractica）

其中，有四大關(guān)鍵趨勢正在驅(qū)動(dòng)這些增長，它們分別是：（1）深度學(xué)習(xí)；（2）3D傳感；（3）快速、便宜、節(jié)能的處理器；（4）硬件和軟件的普及化。

趨勢一、深度學(xué)習(xí)

傳統(tǒng)上，計(jì)算機(jī)視覺應(yīng)用依賴于專用的算法，這些算法經(jīng)過精心設(shè)計(jì)以識(shí)別特定的特征（如邊緣、角落、物體）。然而最近，卷積神經(jīng)網(wǎng)絡(luò)（CNN）和其他深度學(xué)習(xí)方法已經(jīng)在各種圖像理解任務(wù)上，表現(xiàn)得優(yōu)于傳統(tǒng)算法。與傳統(tǒng)算法相比，深度學(xué)習(xí)方法是通過實(shí)例訓(xùn)練的通用學(xué)習(xí)算法，來識(shí)別特定的特征，包括物體類型和位置。深度神經(jīng)網(wǎng)絡(luò)（DNN）已經(jīng)改變了計(jì)算機(jī)視覺領(lǐng)域，其在識(shí)別物體、在一幀圖像內(nèi)定位物體以及確定哪個(gè)像素屬于哪個(gè)物體等功能上，都提供了優(yōu)越的結(jié)果。即使是像光流和立體匹配這樣的已經(jīng)用傳統(tǒng)技術(shù)能很好地解決的問題，現(xiàn)在也可以用深度學(xué)習(xí)技術(shù)找到更好的解決方案。

此外，基于深度學(xué)習(xí)的視覺處理方法，在解決許多問題上都優(yōu)于傳統(tǒng)的計(jì)算機(jī)視覺算法。ImageNet圖像識(shí)別挑戰(zhàn)賽獲獎(jiǎng)?wù)叩慕Y(jié)果表明，從幾年前開始，在相同的任務(wù)和相同的數(shù)據(jù)集中，深度學(xué)習(xí)在識(shí)別物體方面的準(zhǔn)確性開始超過典型的人類功能（見圖2a）。深度神經(jīng)網(wǎng)絡(luò)也被訓(xùn)練、以填補(bǔ)照片中缺失的補(bǔ)丁，與能夠熟練處理圖片的操作員的技能相匹配，同時(shí)能夠比人更快地提供處理結(jié)果。而且，訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)甚至開始產(chǎn)生遠(yuǎn)超越技術(shù)嫻熟的人類所能做出的成就，例如從非常差的曝光照片中產(chǎn)生可接受的圖像（見圖2b）。

圖2a：現(xiàn)在深度學(xué)習(xí)算法在圖像中精確識(shí)別物體的能力，已經(jīng)能夠與人類的能力相匹配。（來源：www.eff.org/ai/metrics）

圖2b：在某些情況下，深度學(xué)習(xí)算法可以產(chǎn)生超出人類能力的結(jié)果。（來源：Learning to See in the Dark, Chen Chen, Qifeng Chen, Jia Xu and Vladlen Koltun, CVPR 2018）

因此，不出所料，計(jì)算機(jī)視覺開發(fā)人員正越來越多地將深度學(xué)習(xí)技術(shù)添加到他們的工具箱中（見圖3）。EVA最近的調(diào)查結(jié)果顯示，59%的視覺系統(tǒng)和解決方案開發(fā)者已經(jīng)在使用DNN，比兩年前的34%大幅增加。28%的人計(jì)劃在不久的將來使用DNN用于視覺智能。總體來看，87%的開發(fā)者已經(jīng)使用或計(jì)劃使用神經(jīng)網(wǎng)絡(luò)來執(zhí)行計(jì)算機(jī)視覺功能。

圖3：87%的開發(fā)者已經(jīng)使用或計(jì)劃在不久的將來使用神經(jīng)網(wǎng)絡(luò)來執(zhí)行計(jì)算機(jī)視覺功能。（來源：EVA）

趨勢二、3D傳感

2D圖像傳感器能夠在許多嵌入式視覺系統(tǒng)設(shè)計(jì)中，實(shí)現(xiàn)巨大的視覺能力。然而，它們無法辨別物體與傳感器之間的距離，這將導(dǎo)致某些視覺功能的實(shí)現(xiàn)非常困難或是無法實(shí)現(xiàn)。例如，手勢接口實(shí)現(xiàn)。識(shí)別運(yùn)動(dòng)的能力，包括上下、左右和前后，能夠大大擴(kuò)展系統(tǒng)能夠解讀的手勢的多樣性、豐富性和精確性。或者是人臉識(shí)別情況（見圖4）：深度傳感在“確定被識(shí)別的物體是真實(shí)的人臉而非人臉的照片”方面，也很有價(jià)值。

圖4：人臉識(shí)別（上圖）和視覺同步定位和映射（下圖）是3D圖像傳感所實(shí)現(xiàn)的眾多功能中的兩個(gè)。（來源：appleinsider.com/pcc.disam.etsii.upm.es）

ADAS（汽車高級(jí)駕駛輔助系統(tǒng)）和其他受益于3D傳感器的半自動(dòng)和全自動(dòng)設(shè)備應(yīng)用也非常豐富。例如，你可以很容易地想象，在公路上，你不僅能夠確定另一輛車或物體在你的前方或后方，而且還能準(zhǔn)確地辨別它與你之間的距離。準(zhǔn)確地確定車輛與限速標(biāo)志之間的距離，對(duì)于確定多久必須把車速降下來、進(jìn)而避免罰單同樣非常有用。

同樣，用于3D打印的3D物體掃描也是一個(gè)重要的應(yīng)用案例。幸運(yùn)的是，最近將3D光學(xué)傳感器引入手機(jī)和汽車等大批量生產(chǎn)應(yīng)用中，不但加速了創(chuàng)新，而且使尺寸、成本和3D傳感的復(fù)雜性都有所降低（見圖5）。3D相機(jī)模塊通常包括某種形式的紅外照明，其同樣得益于最近顯著的成本降低趨勢，它在低光環(huán)境中以及在監(jiān)控戴太陽鏡的車輛駕駛員的注意力方面，非常有用。

圖5：最新一代小型、低成本、低功耗3D相機(jī)實(shí)現(xiàn)了強(qiáng)大的視覺部署（上圖）；它們的紅外照明模塊同樣越來越具有成本效益（下圖）。（來源：Microsoft/Intel/Occipital/Yole Développement）

在微軟Kinect游戲機(jī)外設(shè)首次亮相8年后，現(xiàn)在3D相機(jī)模塊已經(jīng)準(zhǔn)備好部署在成本和功率敏感的應(yīng)用中。計(jì)算機(jī)視覺開發(fā)者正在對(duì)3D傳感采取積極行動(dòng)和積極預(yù)測。EVA最近的調(diào)查顯示，近30%的開發(fā)者已經(jīng)在使用3D傳感，26%的開發(fā)者計(jì)劃近期內(nèi)在其項(xiàng)目中采用3D傳感功能（見圖6）。

圖6：55%的受訪開發(fā)者表示，他們已經(jīng)開始使用或計(jì)劃近期在他們的計(jì)算機(jī)視覺項(xiàng)目中加入3D傳感技術(shù)，該比例比去年增加了4%。（來源：EVA）

趨勢三、更好的處理器

推動(dòng)強(qiáng)大而廣泛的視覺感知可部署性的最重要因素，是更好的處理器?！案谩笔侵父叩男阅?、更低的成本、更低的功耗，以及其他關(guān)鍵因素的改進(jìn)。視覺算法對(duì)計(jì)算性能要求很高，各種嵌入式系統(tǒng)通常需要滿足低成本和低功耗的要求。在數(shù)字無線通信和以壓縮為中心的消費(fèi)視頻設(shè)備等其他應(yīng)用領(lǐng)域，芯片設(shè)計(jì)人員通過使用專用協(xié)處理器和加速器，獲得高性能、低成本和低功耗的極具挑戰(zhàn)性的組合，從而實(shí)現(xiàn)應(yīng)用中最苛刻的處理任務(wù)。然而，這些協(xié)處理器和加速器通常不能由芯片用戶編程。

在很多標(biāo)準(zhǔn)應(yīng)用中，這種權(quán)衡通常是可以接受的，因?yàn)樵谶@些應(yīng)用中，不同設(shè)計(jì)者使用的算法具有很強(qiáng)的通用性。然而，在視覺應(yīng)用中，并沒有標(biāo)準(zhǔn)來約束算法的選擇。此外，視覺算法發(fā)展迅速，并且變化頻繁。

因此，實(shí)現(xiàn)高性能、低成本、低功耗和可編程性的結(jié)合，是一項(xiàng)非常具有挑戰(zhàn)性的工作，通常需要在異構(gòu)計(jì)算體系結(jié)構(gòu)中通過組合多種類型的處理器（CPU、GPU、FPGA、DSP等）來實(shí)現(xiàn)。

基于機(jī)器學(xué)習(xí)的視覺處理，無論對(duì)于預(yù)先培訓(xùn)還是隨后的推理任務(wù)而言，從計(jì)算和存儲(chǔ)需求來看，都是資源密集型的工作。幸運(yùn)的是，視覺處理器正在以驚人的速度發(fā)展，一方面開發(fā)速度非常快，另一方面來自數(shù)量龐大且仍在增長的技術(shù)供應(yīng)商方面的競爭壓力。例如，現(xiàn)在有50多家公司同時(shí)在為深度學(xué)習(xí)推理和/或訓(xùn)練開發(fā)處理器。在過去的幾年中，深度學(xué)習(xí)加速的處理能力，已經(jīng)有了兩個(gè)數(shù)量級(jí)的提升，這些性能的提升與多方技術(shù)進(jìn)步相結(jié)合，將使處理器的處理能力呈指數(shù)級(jí)增長。

EVA最近在開發(fā)者調(diào)查中收集的數(shù)據(jù)顯示，深度學(xué)習(xí)專用處理器的采用顯著增加；近1/3的受訪者表示現(xiàn)在正在使用深度學(xué)習(xí)專用處理器，而兩年前這一比例只有19%（見圖7，由于調(diào)查對(duì)象要求標(biāo)記所有他們的項(xiàng)目使用的處理器，所以總數(shù)超過100%）。這種趨勢尤其令人震驚，因?yàn)樵趲啄昵?，深度學(xué)習(xí)專用處理器還根本不存在。同樣需要注意的是，其他處理架構(gòu)通常用于各種視覺任務(wù)。

圖7：被調(diào)查的開發(fā)者在他們的計(jì)算機(jī)視覺設(shè)計(jì)中使用的多種處理結(jié)構(gòu)。(來源：EVA)

趨勢四、軟件和硬件的普及化

“普及化”意味著開發(fā)有效的計(jì)算機(jī)視覺系統(tǒng)和應(yīng)用、以及大規(guī)模部署這些解決方案，正在快速變得越來越容易。為什么？主要有以下三大原因：

第一、深度學(xué)習(xí)使非專家能夠使用樣本圖像數(shù)據(jù)（與手工設(shè)計(jì)的代碼相比）更容易地創(chuàng)建功能性視覺系統(tǒng)。

第二、有了更高性能、更低成本的處理器和有效的開發(fā)工具。

第三、作為邊緣處理的輔助或替代，云計(jì)算越來越普遍。

前兩點(diǎn)已經(jīng)討論過，但第三點(diǎn)值得注意。云計(jì)算作為基于邊緣視覺處理方法的輔助（如果不是替代的話），正變得越來越普遍。

“云vs邊緣計(jì)算vs兩者混合”的拓?fù)錄Q策通常并不簡單，“正確”的答案因應(yīng)用和公司的不同而不同，甚至同一公司內(nèi)的不同項(xiàng)目之間也不同（見圖8）。

圖8：邊緣計(jì)算和云計(jì)算的性能比較。星星越多，優(yōu)勢越大。

云計(jì)算的有利因素包括：

上市時(shí)間：云計(jì)算的軟件開發(fā)通常比嵌入式平臺(tái)的軟件開發(fā)更快捷、更容易。

可升級(jí)性：在限制范圍內(nèi)，用戶可以輕松升級(jí)到更高性能的處理器、更大的內(nèi)存容量、更多的硬盤存儲(chǔ)、更新的操作系統(tǒng)和中間件版本等。當(dāng)然用戶也不能在云中升級(jí)所有東西，例如不能升級(jí)圖像傳感器。

準(zhǔn)確性：用戶可以在云中獲得巨大的計(jì)算能力，因此可以運(yùn)行更大的神經(jīng)網(wǎng)絡(luò)，也就是運(yùn)行更復(fù)雜的算法，包括能夠根據(jù)需要利用突發(fā)的額外處理能力。

分布式設(shè)備之間的協(xié)作：例如，如果你正在跟蹤城市中行駛的車輛，那么就有必要在一個(gè)地理區(qū)域內(nèi)收集信息。雖然云并不是實(shí)現(xiàn)這一點(diǎn)的唯一途徑，但它能很方便地將來自許多分散邊緣節(jié)點(diǎn)的信息結(jié)合起來。

設(shè)備成本：更低的物料清單成本、更小的電池等。當(dāng)然以邊緣為中心的方法有其自身優(yōu)勢。

無需經(jīng)常性成本：不必為每次使用云計(jì)算處理、內(nèi)存和存儲(chǔ)資源支付費(fèi)用。

網(wǎng)絡(luò)連接性：通常根本不需要，或是不會(huì)經(jīng)常需要。

帶寬和延遲：當(dāng)需要網(wǎng)絡(luò)連接時(shí)，帶寬和延遲要求會(huì)降低，因?yàn)樵谶M(jìn)入云傳輸之前，很大一部分?jǐn)?shù)據(jù)處理已經(jīng)在邊緣設(shè)備上完成了。

隱私和安全：原始數(shù)據(jù)在邊緣設(shè)備上處理，通常會(huì)立即丟棄。唯一能進(jìn)入云端的信息是元數(shù)據(jù)，而且通常是匿名的。

EVA最新的開發(fā)者調(diào)查結(jié)果不出所料地顯示，大多數(shù)受訪者至少在邊緣設(shè)備上做了一些神經(jīng)網(wǎng)絡(luò)推理（見圖9，由于調(diào)查對(duì)象要求標(biāo)記所有他們的項(xiàng)目使用的處理器，所以總數(shù)超過100%）。然而，近一半的受訪者也在云中進(jìn)行部分或全部推理。

圖9：多數(shù)受訪者至少在邊緣設(shè)備上做了一些神經(jīng)網(wǎng)絡(luò)推理，近一半的受訪者也在云中進(jìn)行部分或全部推理。（來源：EVA）

聲明：部分內(nèi)容來源于網(wǎng)絡(luò)，僅供讀者學(xué)術(shù)交流之目的。文章版權(quán)歸原作者所有。如有不妥，請(qǐng)聯(lián)系刪除。

責(zé)任編輯：PSY

原文標(biāo)題：推動(dòng)機(jī)器視覺應(yīng)用發(fā)展的四個(gè)關(guān)鍵趨勢

文章出處：【微信公眾號(hào)：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。