面板AOI檢測之ROI自動提取算法解析 -智空 act視覺系統(tǒng)設(shè)計

液晶面板、OLED面板的AOI自動缺陷檢測設(shè)備，核心算法第一步就是ROI（感興趣區(qū)域）自動提取。

什么是ROI自動提取技術(shù)？

如下圖所示，光學(xué)相機(jī)獲取到的原始圖像，藍(lán)框部分為AOI感興趣的面板檢測區(qū)域，其他部分，均為無效區(qū)域，需要將AOI部分摳圖，進(jìn)行接下來的缺陷檢測步驟。

難度究竟在哪呢？

對于部分面板產(chǎn)品，紋理條紋現(xiàn)象較多，形成了類似摩爾效應(yīng)，嚴(yán)重干擾了ROI的自動提取，很容易造成分割失敗。

（PS. 這么復(fù)雜的紋理，去提取ROI感興趣邊緣，你說難不難？）

展示一下這個圖片放大后的邊緣細(xì)節(jié)，你就知道，壓根沒法用常規(guī)的邊緣提取...

優(yōu)秀的自動ROI技術(shù)價值體現(xiàn)在哪里？

1)對產(chǎn)品對應(yīng)的載具對位精度要求降低，減少載具精確對位產(chǎn)生的機(jī)構(gòu)成本；（實在的降成本，劃重點1）

2)對光學(xué)相機(jī)水平面的偏轉(zhuǎn)要求降低，可以允許相機(jī)在水平方向，有一定的旋轉(zhuǎn)Buffer空間，不再要求嚴(yán)格的水平校準(zhǔn)，進(jìn)一步降低相機(jī)的水平調(diào)校機(jī)構(gòu)成本；（實在的降成本，劃重點2）

3)不用人為做ROI區(qū)域的手動設(shè)定，減少人為干預(yù)，提高自動化程度；（PK對手）

4)為后段的AOI缺陷檢測算法，做好必須且必要的摳圖鋪墊，減輕算法對全局圖像處理的載荷負(fù)擔(dān)，降低硬件資源消耗和TT。（內(nèi)部矛盾化解）

高紋理對應(yīng)的ROI自動提取技術(shù)，具體是怎么做的？

1)Sobel_dir 邊緣提取

注意，這里的Sobel提取的是邊緣相位，不是邊緣振幅。（敲黑板）

2)閾值分割

為了增強(qiáng)ROI算法的自適應(yīng)性，一類產(chǎn)品機(jī)種對應(yīng)一套參數(shù)，不頻繁修改，將閾值范圍設(shè)為0~250。幾乎除了純白色255，其他區(qū)域都進(jìn)行了閾值分割！

3)區(qū)域連接、填充空洞及選擇區(qū)域

區(qū)域連接和填充空洞，比較好理解，是指閾值分割后區(qū)域的相關(guān)處理，為的是更好的服務(wù)于區(qū)域選擇。通過區(qū)域選擇函數(shù)select_shape，以及面積特征，快速的分割出候選的ROI面板區(qū)域。其中，面積特征可以選擇大于總體圖像的1%的區(qū)域，此參數(shù)比較好設(shè)置。

4) 區(qū)域最小外接矩形

由于面板的矩形度較好，圖像分割出的外輪廓與最小外接矩形高度重合。

5)ROI區(qū)域提取

至此，從原圖摳出ROI感興趣區(qū)域，你以為工作結(jié)束了么..

然，并不是，請繼續(xù)陪我搬磚。（因為缺陷檢測算法對邊緣部分敏感，上圖的ROI提取區(qū)域，包含了一些黑色無效區(qū)域，容易對后續(xù)的缺陷分割造成誤判）

6)ROI區(qū)域旋轉(zhuǎn)、拆減

計算外接矩形的Phi偏轉(zhuǎn)角度，然后反向旋轉(zhuǎn)Phi角度，即可將偏轉(zhuǎn)（歪的）圖像，進(jìn)行校正。一般四周邊緣的黑色部分像素距離是固定的，裁剪黑色部分后，就可以得到純凈的、校正后的ROI區(qū)域！如上圖所示。

至此，高紋理圖像的自動ROI提取完畢。

理論學(xué)習(xí)深度

理論學(xué)習(xí)深度學(xué)習(xí)是讓不同平臺的多個學(xué)科之間無法互相配合地執(zhí)行，在不同理論上都能看到了深度學(xué)習(xí)的學(xué)習(xí)。通過這系列理論來改善計算機(jī)網(wǎng)絡(luò)模型的發(fā)展，讓計算機(jī)技術(shù)在知識中的每一個小計算機(jī)技術(shù)構(gòu)成了一個結(jié)構(gòu)，計算機(jī)視覺的結(jié)構(gòu)需要在一定的層面，并給出了一套復(fù)雜的學(xué)習(xí)。計算機(jī)技術(shù)在包含數(shù)字視覺預(yù)處理、語音、自然語言處理、大數(shù)據(jù)等多個領(lǐng)域中的復(fù)雜結(jié)構(gòu)，并以一定的技術(shù)為核心，通過多模態(tài)聚類來描述具體的計算機(jī)系。

計算機(jī)視覺是通過采集特征值和方法，生成具有實時獲取數(shù)據(jù)的框架，并且從質(zhì)編處介紹如何使用數(shù)據(jù)挖掘、疾病自動診斷和經(jīng)濟(jì)評價。學(xué)習(xí)是通過結(jié)合決策所發(fā)現(xiàn)的大規(guī)模樣本對于大型模型和計算機(jī)視覺領(lǐng)域進(jìn)行聚合，從而得到研究對象的大規(guī)?；A(chǔ)。M域感知域感知域感知，是指用于識別數(shù)據(jù)流生成的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法，可以讓過域感知浮點、不斷優(yōu)

The Imaging Source 相機(jī)幫助降低無塵室受污染的機(jī)率--機(jī)器視覺網(wǎng)

晶圓半導(dǎo)體制程必須嚴(yán)密監(jiān)控且無塵的工作環(huán)境中進(jìn)行，只要有一點污染可能就會影響整批晶圓，影響產(chǎn)能，現(xiàn)今半導(dǎo)體無塵室中配備多臺自主機(jī)器人多進(jìn)行搬運工作以減少人工帶來的污染。The Imaging Source及經(jīng)銷商與晶圓廠合作，運用機(jī)器視覺系統(tǒng)的方式進(jìn)行檢測及數(shù)值記錄回報，大幅降低無塵室受污染的機(jī)率，也令檢測過程更有效率。

無塵室自主機(jī)器人臟污檢測

晶圓片價格昂貴且價值高，在半導(dǎo)體無塵室中，晶圓的制程小劃分為好幾個階段與步驟，就像生產(chǎn)流水線，每個階段都有自己的工作站，而因為晶圓脆弱易損，在工作站間運送晶圓變成了很大的課題，現(xiàn)大部分的半導(dǎo)體無塵室導(dǎo)入自動化系統(tǒng)，利用自主機(jī)器人的靈敏度來提取并運送晶圓至下一個工作站，搭配工作人員進(jìn)行機(jī)臺設(shè)定及檢

機(jī)器視覺系統(tǒng)中光源的重要性--機(jī)器視覺網(wǎng)

光源

機(jī)器視覺系統(tǒng)主要由三部分組成：圖像的獲取、圖像的處理和分析、輸出或顯示。而圖像的獲取是機(jī)器視覺的核心，圖像的獲取系統(tǒng)則是由光源、鏡頭、相機(jī)三部分組成。光源的選取與打光合理與否可直接影響至少30%的成像質(zhì)量。所以光源是機(jī)器視覺系統(tǒng)中非常重要的一部分。

作用

通過適當(dāng)?shù)墓庠凑彰髟O(shè)計，使圖像中的目標(biāo)信息與背景信息得到最佳分離，可以大大降低圖像處理算法分割、識別的難度，同時提高系統(tǒng)的定位、測量精度，使系統(tǒng)的可靠性和綜合性能得到提高。反之，如果光源設(shè)計不當(dāng)，會導(dǎo)致在圖像處理算法設(shè)計和成像系統(tǒng)設(shè)計中事倍功半。因此，光源及光學(xué)系統(tǒng)設(shè)計的成敗是決定系統(tǒng)成敗的首要因素。

照亮目標(biāo)，提高目標(biāo)亮度；突出測量特征，簡化圖像處理算法；克服環(huán)境光的干擾，保證圖

優(yōu)傲機(jī)器人全球員工突破千人大關(guān) 中國團(tuán)隊及本地生態(tài)進(jìn)一步發(fā)展，持續(xù)賦能制造業(yè)自動化轉(zhuǎn)型升級

優(yōu)傲機(jī)器人全球員工突破千人大關(guān) 中國團(tuán)隊及本地生態(tài)進(jìn)一步發(fā)展，持續(xù)賦能制造業(yè)自動化轉(zhuǎn)型升級

丹麥協(xié)作機(jī)器人制造商優(yōu)傲機(jī)器人（以下簡稱“優(yōu)傲”）宣布，經(jīng)過持續(xù)發(fā)展，其全球員工人數(shù)突破1000人大關(guān)。在千禧年后創(chuàng)立的所有丹麥企業(yè)中，僅有幾家目前達(dá)成了這一里程碑。

【優(yōu)傲丹麥總部】

2005年，南丹麥大學(xué)三位年輕的研究員Esben ?stergaard，Kasper St?y和Kristian Kassow有感于當(dāng)時的機(jī)器人實在過于笨重、昂貴、復(fù)雜，于是在大學(xué)的地下室創(chuàng)辦了優(yōu)傲，希望打造更靈活、安全、易于安裝和編程的機(jī)器人。2008年，優(yōu)傲率先推出全球首臺商用協(xié)作機(jī)器人UR5，隨后開發(fā)了一系列產(chǎn)品組合，逐步成長為全球協(xié)作機(jī)器人市場的領(lǐng)先企業(yè)，其總部所在地丹麥歐登塞也已成為全球領(lǐng)先的機(jī)器人研發(fā)中心之一。如今，優(yōu)傲

.

移動機(jī)器人需求強(qiáng)勁，未來五年復(fù)合增長率將達(dá)30%

數(shù)據(jù)顯示，我國制造業(yè)增加值從2012年的16.98萬億元增加到2021年的31.4萬億元，占全球比重從22.5%提高到了30%，持續(xù)保持世界第一制造大國的地位。

龐大的制造業(yè)，也孕育出了全球最龐大的物流需求，國家郵政局?jǐn)?shù)據(jù)顯示，2021年全國快遞量突破了1000億件，是5年前的1.7倍，面對數(shù)量眾多的快遞包裹量，依靠人手進(jìn)行分揀、包裝、搬運根本難以應(yīng)對，因此應(yīng)用移動機(jī)器人打造智能物流系統(tǒng)就成為了許多企業(yè)的選擇。

如今在許許多多的物流倉庫和制造工廠中，正上演著一場史無前例的物流變革，在整齊切割的智能倉庫中，靈活往返運輸貨物的是一臺臺移動機(jī)器人，從商品入庫到分揀、出庫，都充斥著它們的身影，一個龐大的倉庫，往往只需要少數(shù)幾個員工。

移動機(jī)器人助力企業(yè)降本增效

一文了解prompt learning在計算機(jī)視覺領(lǐng)域進(jìn)展

本文是對prompt Learning在CV領(lǐng)域的文獻(xiàn)總結(jié)，讀者閱讀完全文會對prompt learning在CV的各種用法有所了解，希望能對大家未來研究工作有所啟發(fā)。

CLIP（Learning Transferable Visual Models From Natural Language Supervision）

CLIP是OpenAI的一個非常經(jīng)典的工作，從網(wǎng)上收集了4億個圖片文本對用于訓(xùn)練，最后進(jìn)行zero-shot transfer到下游任務(wù)達(dá)到了非常好的效果，主要流程如下：

在訓(xùn)練階段，文本會通過Text Encoder（Transformer）編碼成一些文本Embedding向量，圖像會通過Image Encoder（ResNet50或VIT）編碼成一些圖像Embedding向量，然后將文

10億元砸向研發(fā)，小冰到底要搞什么？

意外。

今年科技圈的“寒冬”大潮還在持續(xù)上演著，而有這么一則消息卻與這股大勢“背道而馳”：

小冰公司，完成10億元新一輪融資。

這家公司，很多友友們并不陌生。

因為近幾年出自它家的眾多虛擬人，經(jīng)?；钴S出現(xiàn)在人們的熱議話題中。

而隨著這次最新消息的曝光，新融資的歸去來，也成了外界最關(guān)心的問題，特別還是大環(huán)境不好的當(dāng)前。

對此，小冰公司在官宣中也直接做了解答：

用于加速AI Being小冰框架技術(shù)研發(fā)。

未來一個季度內(nèi)，完成框架中正在運行的30萬名虛擬員工（AI Being Employee）的升級。

更進(jìn)一步的，小冰公司更是直言了這些動作背后的一個“小目標(biāo)”——

推動虛擬員工的普及。

至此，新的疑問也接

蘋果頭顯團(tuán)隊放出多個招聘：面向AR/VR應(yīng)用開發(fā)，看重游戲、虛擬效果方面能力

硅谷寒氣逼人，但是蘋果頭顯團(tuán)隊卻是熱火朝天。

剛剛過去的周末，他們一口氣發(fā)布3個崗位招聘，全部面向AR/VR應(yīng)用開發(fā)。

還被曝出有兩位重磅人員加盟，同樣擅長應(yīng)用領(lǐng)域。

其一曾在蘋果自動駕駛部門任職，擅長醫(yī)療健康、機(jī)器人方面應(yīng)用開發(fā)。

另一位則是蘋果內(nèi)部高級工程主管，供職超過20年，此前一直負(fù)責(zé)Pages、Keynote等蘋果基本應(yīng)用的開發(fā)。

此外還有消息稱，一家MR移動游戲工作室的兩位聯(lián)合創(chuàng)始人，都被蘋果挖來做AR/VR內(nèi)容了。

種種現(xiàn)象來看，蘋果憋了很久的MR頭顯，這回真的快來了。

知名蘋果爆料人Mark Gurman透露，這一重磅產(chǎn)品或在2023年發(fā)布。

它將具備哪些能力？

透過如上招聘動向，或許就能

審核編輯 ：李倩