聚焦于關(guān)鍵科學(xué)問題的數(shù)據(jù)不斷促進(jìn)著目標(biāo)檢測領(lǐng)域的技術(shù)進(jìn)步，使得目標(biāo)檢測的性能從簡單的圖像擴(kuò)展到了復(fù)雜的場景，從邊框標(biāo)注拓展到了語義分割掩膜。

近日來自facebook AI研究院的研究人員們又發(fā)布了一個(gè)大規(guī)模的詞匯實(shí)例分割數(shù)據(jù)集（Large Vocabulary Instance Segmentation，LVIS ），包含了164k圖像，并針對(duì)超過1000類物體進(jìn)行了約200萬個(gè)高質(zhì)量的實(shí)例分割標(biāo)注。由于數(shù)據(jù)集中包含自然圖像中的物體分布天然具有長尾屬性，LVIS數(shù)據(jù)集將促進(jìn)深度學(xué)習(xí)在圖像分割領(lǐng)域的進(jìn)一步發(fā)展。

目標(biāo)檢測是計(jì)算機(jī)視覺領(lǐng)域的重要任務(wù)，適用性強(qiáng)、用途廣泛、發(fā)展迅速，近年來在數(shù)據(jù)集、基準(zhǔn)算法和檢測能力上都得到了大幅度提升，并衍生出一系列新的能力，包括圖像分割、三維表示和三維目標(biāo)檢測等內(nèi)容。

目前針對(duì)目標(biāo)檢測算法的嚴(yán)格測評(píng)只在少量的分類上進(jìn)行（例如20類/80類），那么在真實(shí)環(huán)境中有大規(guī)模類別的物體或者出現(xiàn)了罕見的物體時(shí)該如何處理？這就為科學(xué)家們提出了新的問題。

圖像中目標(biāo)類別的長尾效應(yīng)是不可避免的，標(biāo)注更多的數(shù)據(jù)集雖然可以有效地發(fā)現(xiàn)先前未見或罕見的類別，但有效地從小樣本中學(xué)習(xí)至今還是機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺領(lǐng)域一個(gè)重要的開放問題，也使得這一領(lǐng)域成為科學(xué)界與工業(yè)界研究最為活躍的領(lǐng)域。但要深入的對(duì)這一領(lǐng)域進(jìn)行研究，一個(gè)高質(zhì)量的數(shù)據(jù)集和基準(zhǔn)必不可少！

FAIR的研究人員針對(duì)這一研究方向設(shè)計(jì)并收集了稱為LVIS的針對(duì)于大規(guī)模詞匯實(shí)例分割的數(shù)據(jù)集，這一數(shù)據(jù)集包含了164k圖像，超過1000類數(shù)據(jù)，約兩百萬個(gè)標(biāo)注。

值得一提的是，這個(gè)數(shù)據(jù)集的收集流程沒有預(yù)先確定的類別（沒有類別先驗(yàn)），首先收集圖像然后根據(jù)圖像中目標(biāo)的自然分布來進(jìn)行標(biāo)注。大量的人工標(biāo)注代替了機(jī)器的自動(dòng)化標(biāo)注使得圖像中自然存在的長尾分布可以被有效識(shí)別。

COCO和ADE20K數(shù)據(jù)集

研究人員設(shè)計(jì)了一個(gè)有效的眾包標(biāo)注流程，可以在高質(zhì)量標(biāo)注的前提下獲取大規(guī)模的數(shù)據(jù)集。對(duì)于目標(biāo)檢測和實(shí)例分割來說，標(biāo)注的質(zhì)量對(duì)于算法十分重要。類似COCO這樣相對(duì)較粗的標(biāo)注限制了算法對(duì)于mask預(yù)測質(zhì)量的提升。與COCO和ADE20K相比，LVIS數(shù)據(jù)的標(biāo)注mask具有更大的重疊面積和更好的邊緣連續(xù)性。

在構(gòu)建數(shù)據(jù)集的過程中，研究人員采用了評(píng)價(jià)優(yōu)先的設(shè)計(jì)原則。這意味著研究人員首先確定了對(duì)算法性能進(jìn)行評(píng)價(jià)的方法，并基于這一方法來進(jìn)行數(shù)據(jù)集的收集和構(gòu)建，以滿足評(píng)測方法的需求。研究人員提出的測評(píng)基準(zhǔn)使用了類似coco風(fēng)格的的實(shí)例分割和AP計(jì)算方法。

但針對(duì)自然圖像中較為長尾的數(shù)據(jù)集，需要解決兩個(gè)不可避免的問題：

1）在類別龐大的情況下，如果某個(gè)目標(biāo)擁有多個(gè)標(biāo)簽，該如何公平的評(píng)測檢測器的性能？

2）針對(duì)164k圖像超過一千個(gè)類別的標(biāo)注任務(wù)，如何設(shè)計(jì)合適的標(biāo)注流程來減少工作量？

解決這些問題的關(guān)鍵在于構(gòu)建聯(lián)合數(shù)據(jù)集：通過多個(gè)小數(shù)據(jù)集聯(lián)合構(gòu)建大規(guī)模的完整數(shù)據(jù)集，而每一個(gè)子數(shù)據(jù)集則類似于只聚焦于某個(gè)單一類別的傳統(tǒng)數(shù)據(jù)集。在標(biāo)注過程中，每一個(gè)小數(shù)據(jù)集將集中標(biāo)注某一個(gè)特定的類別，將圖中某個(gè)特定類別的所有目標(biāo)窮盡（exhaustive ）標(biāo)注。

對(duì)于完整的大數(shù)據(jù)集來說，構(gòu)成的子數(shù)據(jù)集間可能會(huì)有重疊，單一目標(biāo)可能會(huì)有多個(gè)標(biāo)簽。此外由于在每個(gè)小數(shù)據(jù)集中進(jìn)行了針對(duì)一類物體的窮盡標(biāo)注，在完整的聯(lián)合數(shù)據(jù)集中就無需對(duì)所有的類別進(jìn)行窮盡標(biāo)注，這樣的方法極大地減小了標(biāo)注的工作量。

更為關(guān)鍵的是，在測試評(píng)價(jià)時(shí)算法并不知道每張圖片組成的標(biāo)記類別，它將對(duì)所有的標(biāo)記類別一視同仁地進(jìn)行處理，這將對(duì)聯(lián)合數(shù)據(jù)集內(nèi)的各個(gè)數(shù)據(jù)集提供公平的測評(píng)。

LVIS數(shù)據(jù)集針對(duì)的是實(shí)例分割任務(wù)，這一任務(wù)的主要目標(biāo)是在給定分類已知固定類別的情況下，算法可以針對(duì)一張事先未見過的圖像進(jìn)行處理，并輸出圖像中出現(xiàn)的每一個(gè)實(shí)例及其對(duì)應(yīng)的分類和置信度分?jǐn)?shù)。通過算法生成的一系列輸出，可以計(jì)算出掩膜的平均精度mAP。

但在算法的測評(píng)中，研究人員將面臨著一系列問題。隨著分類數(shù)目的增加，實(shí)例的標(biāo)簽不可避免的將會(huì)出現(xiàn)重疊和混淆：部分視覺概念的重合、父子分類關(guān)系的的界定和同義詞的識(shí)別等等。如果沒有有效的方法處理這些問題，測評(píng)的方法將會(huì)產(chǎn)生很大的不公平性。

例如很多玩具都不是鹿，大多數(shù)鹿都是不是玩具，但是一只玩具鹿同時(shí)是玩具也是一只鹿，這時(shí)目標(biāo)檢測算法很有可能得到錯(cuò)誤的標(biāo)記。再比如，一輛車的標(biāo)記是交通工具vehicle，算法如果輸入了car那么就會(huì)被判定為錯(cuò)誤。

這些問題的發(fā)生主要來源于GT標(biāo)注缺失了一個(gè)或者多個(gè)描述目標(biāo)的標(biāo)簽。如果算法預(yù)測到了某個(gè)標(biāo)簽但是沒有在GT中標(biāo)注過就會(huì)得到錯(cuò)誤的懲罰。但對(duì)于這個(gè)新的數(shù)據(jù)集來說，每一個(gè)物體的標(biāo)簽都被窮盡且正確的標(biāo)注，上面的問題就可以迎刃而解。

數(shù)據(jù)集標(biāo)注流程

數(shù)據(jù)集的標(biāo)注流程分為了六個(gè)主要的步驟包括目標(biāo)定點(diǎn)、窮盡標(biāo)記、實(shí)例分割和驗(yàn)證、窮盡標(biāo)注驗(yàn)證、負(fù)例標(biāo)簽等。

目標(biāo)定點(diǎn)中標(biāo)注者被要求將圖像中輸入不同類別的實(shí)例進(jìn)行標(biāo)記，這個(gè)階段將迭代進(jìn)行，使得標(biāo)注者可以不斷從圖像中發(fā)掘出自然場景下目標(biāo)的長尾信息。隨后再針對(duì)第一階段標(biāo)記的每一個(gè)類別，將進(jìn)行徹底的實(shí)例標(biāo)記，找出每一類別包含的所有實(shí)例。在圖中可以看到標(biāo)記者又標(biāo)記出了更多的書。

在第三和第四階段，分別對(duì)前面標(biāo)記的實(shí)例進(jìn)行實(shí)例分割標(biāo)注和驗(yàn)真，重復(fù)進(jìn)行直到準(zhǔn)確率超過99%通過驗(yàn)證。第五階段將進(jìn)行窮盡標(biāo)注驗(yàn)證檢測，檢查是否所有的實(shí)例都被分割和標(biāo)注類別，如果有就將缺失標(biāo)注實(shí)例的類別篩選出來進(jìn)行補(bǔ)充標(biāo)注。最后一步的負(fù)例標(biāo)簽將用來驗(yàn)證類別子類的標(biāo)簽沒有出現(xiàn)在圖像中。更詳細(xì)的標(biāo)注細(xì)節(jié)請(qǐng)參看論文的第三部分。

探索數(shù)據(jù)集

下面讓我們來探索一下數(shù)據(jù)集，下圖中可以看到每張圖像里對(duì)于某一類圖像都進(jìn)行了完善地標(biāo)注，小的、被遮掩的難以辨認(rèn)的，目標(biāo)實(shí)例都被標(biāo)注了出來。比如第一行最后一列的車牌標(biāo)注和第三行最后一列的相機(jī)標(biāo)注，盡管很小但也別明確地畫出掩膜。這些目標(biāo)對(duì)于圖像的抽象和理解十分重要。

下圖中各類實(shí)例也別分別標(biāo)注出來了：

子數(shù)據(jù)集中，每個(gè)實(shí)例都被窮盡標(biāo)注。例如對(duì)于飛機(jī)這個(gè)分類，下圖展示了每張圖片中所有的飛機(jī)，無論是飛機(jī)的一部分還是完整的飛機(jī)都被標(biāo)注了出來。

還有這些誘人的水果，都被一個(gè)個(gè)挑了出來。就拿菠蘿來說吧，無論是商店里的完整菠蘿還是沙拉里的菠蘿，就連披薩里的菠蘿丁也被標(biāo)記出來了。

還有更多好玩的的數(shù)據(jù)集和詳細(xì)的分類信息，請(qǐng)參看數(shù)據(jù)集網(wǎng)站：

https://www.lvisdataset.org