10月11日至10月17日，2021國(guó)際計(jì)算機(jī)視覺大會(huì)International Conference on Computer Vision （ICCV）于線上拉開序幕。此次會(huì)議，深蘭科技DeepBlueAI團(tuán)隊(duì)共參加2項(xiàng)比賽4個(gè)賽道，分別在VisDrone Object Detection，VisDroneMot，Large-AI-Food三個(gè)賽道獲得冠軍。VisDrone 已成為無(wú)人機(jī)領(lǐng)域標(biāo)桿數(shù)據(jù)集，且業(yè)界多篇論文在此數(shù)據(jù)集基礎(chǔ)上研究發(fā)表。

本次無(wú)人機(jī)挑戰(zhàn)賽吸引來(lái)自全球多家知名團(tuán)隊(duì)參與角逐，其中不乏多所高校與頂級(jí)技術(shù)團(tuán)隊(duì)，包括清華大學(xué)、中科院計(jì)算所、北京郵電大學(xué)、騰訊、谷歌等上百支知名團(tuán)隊(duì)參賽。以下主要分享在無(wú)人機(jī)挑戰(zhàn)賽中兩個(gè)賽道的方案解讀。



冠軍方案解讀


本次挑戰(zhàn)賽深蘭團(tuán)隊(duì)包攬兩個(gè)賽道的冠軍：

●任務(wù)1：圖像中的目標(biāo)檢測(cè)。任務(wù)旨在從無(wú)人機(jī)拍攝的單個(gè)圖像中檢測(cè)預(yù)定義類別的對(duì)象（例如，汽車和行人）；

●任務(wù) 2：多目標(biāo)跟蹤挑戰(zhàn)。該任務(wù)旨在恢復(fù)每個(gè)視頻幀中對(duì)象的軌跡。

VisDrone Object Detection 方案解讀

挑戰(zhàn)賽官網(wǎng)地址：http://aiskyeye.com/

VisDrone數(shù)據(jù)集由天津大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒?yàn)室 AISKYEYE 隊(duì)伍負(fù)責(zé)收集，全部基準(zhǔn)數(shù)據(jù)集由無(wú)人機(jī)捕獲，包括 288 個(gè)視頻片段，總共包括 261908 幀和 10209 個(gè)靜態(tài)圖像。

這些幀由 260 多萬(wàn)個(gè)常用目標(biāo)（如行人、汽車、自行車和三輪車）的手動(dòng)標(biāo)注框組成。為了讓參賽隊(duì)伍能夠更有效地利用數(shù)據(jù)，數(shù)據(jù)集還提供了場(chǎng)景可見性、對(duì)象類別和遮擋等重要屬性。

VisDrone Object Detection 賽道獲獎(jiǎng)證書


據(jù)DeepBlueAI團(tuán)隊(duì)介紹，雖然該比賽已舉辦多屆，仍然存在以下幾個(gè)難點(diǎn)：
1. 大量的檢測(cè)物體
2. 部分目標(biāo)過(guò)小
3. 不同的數(shù)據(jù)分布
4. 目標(biāo)遮擋嚴(yán)重


數(shù)據(jù)分布


遮擋數(shù)據(jù)量統(tǒng)計(jì)

針對(duì)數(shù)據(jù)集難點(diǎn)，DeepBlueAI團(tuán)隊(duì)設(shè)計(jì)了一套強(qiáng)有力的數(shù)據(jù)增強(qiáng)方式和pipeline。

數(shù)據(jù)處理


1、數(shù)據(jù)平衡



上圖為每一類數(shù)據(jù)在訓(xùn)練集中的數(shù)量(舉例：6471張訓(xùn)練集中，有1150張包含awining-tricycle這個(gè)類)，將每一類圖片數(shù)量小于4000張的，通過(guò)隨機(jī)加噪聲、改變亮度、cutout等方式擴(kuò)充為4000張，以緩解類別不平衡的問(wèn)題。
 
2、中心裁剪

用中心裁剪的方式，隨機(jī)在原圖上裁剪320~960大小的區(qū)域，然后把它們r(jià)esize為相近的尺度，以緩解目標(biāo)尺度不一致的問(wèn)題。上面第一行是在原圖中切了960×960大小，第二行是切了320×320大小，把它們r(jià)esize到同一個(gè)尺度(如640×640)，相當(dāng)于達(dá)到了小目標(biāo)放大、大目標(biāo)縮小的目的。并且對(duì)于邊界目標(biāo)是全保留的策略。

3、馬賽克增強(qiáng)



馬賽克數(shù)據(jù)增強(qiáng)將4張訓(xùn)練圖像按一定比例組合成1張，豐富了檢測(cè)數(shù)據(jù)集， 增加了很多小目標(biāo)。Mosaic是YOLOv4中引入的第一個(gè)新的數(shù)據(jù)增強(qiáng)技術(shù)。這使得模型能夠?qū)W習(xí)如何識(shí)別比正常尺寸小的物體。它還鼓勵(lì)模型在框架的不同部分定位不同類型的圖像。通過(guò)縮放，以及一次計(jì)算4 張圖片，充分利用了 GPU 資源，使得 batch_size 不用很大就能達(dá)到很好的效果。

消融實(shí)驗(yàn)：數(shù)據(jù)處理帶來(lái)了很大的收益



PipeLine


Swin-Transformer+ CBNet + Cascade RCNN + DCN + FPN





Cbnetv2體系結(jié)構(gòu)將多個(gè)相同的主干網(wǎng)分組，這些主干網(wǎng)通過(guò)復(fù)合連接進(jìn)行連接，可以在不增加額外成本的情況下獲得良好的效果。

Swin-Trainsformer作為計(jì)算機(jī)視覺領(lǐng)域的強(qiáng)有力的backbone之一，扮演著越來(lái)越重要的角色。當(dāng)DeepBlueAI團(tuán)隊(duì)用swin-Transformer系列替換主干時(shí)，線上結(jié)果得到了極大的改善。

后處理


1）soft nms + WBF，根據(jù)預(yù)測(cè)的score分段集成的，大于等于0.1用WBF，小于0.1用soft_nms。目的是既可以提高高分框的定位精度，增加召回從而提升mAP；
2）模型集成，使用不同backbone以及pipeline訓(xùn)練。

消融實(shí)驗(yàn)結(jié)果
 


本文針對(duì)Visdrone挑戰(zhàn)賽設(shè)計(jì)了一套解決方案包括數(shù)據(jù)處理，檢測(cè)器和軌跡后處理，DeepBlueAI團(tuán)隊(duì)表示：“很榮幸在Visdrone 2021取得第一名的成績(jī)”。同時(shí)團(tuán)隊(duì)也在多目標(biāo)跟蹤賽道取得了不錯(cuò)的成績(jī)，接下來(lái)會(huì)介紹MOT相關(guān)技術(shù)內(nèi)容。
 

VisDrone MOT 方案解讀


VisDrone Mot 賽道獲獎(jiǎng)證書


Pipeline


對(duì)于同一挑戰(zhàn)賽的MOT賽道，DeepBlueAI團(tuán)隊(duì)也總結(jié)了相關(guān)難點(diǎn)并設(shè)計(jì)出一套相關(guān)的pipeline。

 
本次采用的多目標(biāo)跟蹤系統(tǒng)是DeepBlueAI團(tuán)隊(duì)長(zhǎng)時(shí)間以來(lái)總結(jié)的一套比較好的pipeline，在競(jìng)賽中多次取得不錯(cuò)的成績(jī)，基于Detection和Embedding分離的方法，團(tuán)隊(duì)采用了以GeneralizedFocal Loss(GFL)為損失的anchor-free檢測(cè)器，并以MultipleGranularity Network (MGN)作為Embedding模型。在關(guān)聯(lián)過(guò)程中，DeepBlueAI團(tuán)隊(duì)借鑒了DeepSORT和FairMOT的思想，構(gòu)建了一個(gè)簡(jiǎn)單的在線多目標(biāo)跟蹤器。
 
Detector



對(duì)于檢測(cè)器DeepBlueAI團(tuán)隊(duì)使用了GFLDetector、Generalized Focal Loss(GFL)，更具體的來(lái)說(shuō)，GFL可以分成QualityFocal Loss(QFL)以及Distribution Focal Loss(DFL)。

QFL專注于asparse set of hard examples，同時(shí)在相應(yīng)的類別上產(chǎn)生它們的連續(xù)0~1之間的localizationquality estimation；DFL使網(wǎng)絡(luò)能夠在任意和靈活的分布下，學(xué)習(xí)bounding boxes在連續(xù)位置上的概率值。
 
Embedding


MGN把全局和局部的特征結(jié)合在一起，能夠有豐富的信息和細(xì)節(jié)去表征輸入圖片的完整情況。在觀察中發(fā)現(xiàn)，確實(shí)是隨著分割粒度的增加，模型能夠?qū)W到更詳細(xì)的細(xì)節(jié)信息,全局特征跟多粒度局部特征結(jié)合在一起，思路比較簡(jiǎn)單，全局特征負(fù)責(zé)整體的宏觀上大家共有的特征的提取，然后把圖像切分成不同塊，每一塊不同粒度，它去負(fù)責(zé)不同層次或者不同級(jí)別特征的提取。
 
Data Association


DeepBlueAI團(tuán)隊(duì)借鑒了DeepSORT和FairMOT的想法，以檢測(cè)框的表觀距離為主，以檢測(cè)框的空間距離為輔。首先，根據(jù)第一幀中的檢測(cè)框初始化多個(gè)軌跡。在隨后的幀中，團(tuán)隊(duì)根據(jù)embedding features之間的距離（最大距離限制為0.7），來(lái)將檢測(cè)框和已有的軌跡做關(guān)聯(lián)。與FairMOT一致，每一幀都會(huì)通過(guò)指數(shù)加權(quán)平均更新跟蹤器的特征，以應(yīng)對(duì)特征變化的問(wèn)題。對(duì)于未匹配的激活軌跡和檢測(cè)框通過(guò)他們的IOU距離關(guān)聯(lián)起來(lái)（閾值為0.8）。最后，對(duì)于失活但未完全跟丟的軌跡和檢測(cè)框也是由它們的IoU距離關(guān)聯(lián)的(閾值為0.8)。
 
Post Process


由于只有較高的置信度的檢測(cè)框進(jìn)行跟蹤，因此存在大量假陰性的檢測(cè)框，導(dǎo)致MOTA性能低下。為了減少置信閾值的影響，DeepBlueAI團(tuán)隊(duì)嘗試了兩種簡(jiǎn)單的插值方法。

1) 對(duì)總丟失幀不超過(guò)20的軌跡進(jìn)行線性插值。我們稱之為簡(jiǎn)單插值（simple interpolation, SI）。

2)對(duì)每一個(gè)軌跡只在丟失不超過(guò)4幀的幀之間插入。另外，DeepBlueAI團(tuán)隊(duì)稱之為片段插值（fragment interpolation,FI）。
 
Result

 
 
Conclusion

DeepBlueAI團(tuán)隊(duì)設(shè)計(jì)了一個(gè)簡(jiǎn)單、在線的多目標(biāo)跟蹤系統(tǒng)，包括檢測(cè)器、特征提取、數(shù)據(jù)關(guān)聯(lián)和軌跡后處理，最終在VisDrone 2021 MOT賽道斬獲冠軍。