日前,兩年一度的計(jì)算機(jī)視覺領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議 ICCV 在加拿大蒙特利爾圓滿閉幕。在此期間,與大會(huì)同期舉行的首屆LargeFineFoodAI技術(shù)研討會(huì),由美團(tuán)視覺智能中心聯(lián)合中科院計(jì)算所、北京智源、巴塞羅那大學(xué)在Kaggle競賽平臺(tái)上共同主辦,會(huì)議核心聚焦計(jì)算機(jī)視覺技術(shù)在大規(guī)模細(xì)粒度食品分析領(lǐng)域的應(yīng)用。

首屆 LargeFineFoodAI 比賽分為 Recognition 和 Retrieval 兩個(gè)賽道,根據(jù)研討會(huì)評(píng)選結(jié)果得知,深蘭DeepBlueAI團(tuán)隊(duì)在Large-ScaleFine-Grained Food Retrieval 賽道中取得了冠軍的成績。

01

賽題介紹

與通用圖像識(shí)別及檢索相比,食品細(xì)粒度識(shí)別及檢索技術(shù)難度更大。許多不同類型的食品外觀看起來可能非常相近,而同一種類型的食品也可能由于做法不同看起來差異較大,此外光線、拍攝角度、不同的拍攝背景都可能對算法的精度產(chǎn)生影響,即便對于專業(yè)人員也較難快速準(zhǔn)確的進(jìn)行辨別。

另一方面,相關(guān)技術(shù)具有廣泛的應(yīng)用場景和實(shí)際的應(yīng)用價(jià)值,例如降低商家端食品圖片的審核成本,提升C端食品圖片和視頻的分發(fā)效率等。美團(tuán)作為國內(nèi)領(lǐng)先的生活服務(wù)平臺(tái),準(zhǔn)確把握住消費(fèi)升級(jí)趨勢給餐飲行業(yè)的經(jīng)營、消費(fèi)方式帶來的革命性變化,率先提出借助計(jì)算機(jī)視覺算法對食品圖像進(jìn)行細(xì)粒度分析,來快速響應(yīng)和滿足商戶和用戶大量多樣的在線食品圖像審核、管理、瀏覽、評(píng)價(jià)等需求。

本次挑戰(zhàn)賽所用數(shù)據(jù)集來自美團(tuán)自建數(shù)據(jù)集"Food2K",該數(shù)據(jù)集每一張美食圖片均由不同個(gè)人,采用不同設(shè)備,在不同環(huán)境場景下拍攝獲取,是難得的可以公正評(píng)價(jià)算法魯棒性和效果的圖片數(shù)據(jù),挑戰(zhàn)也非常大。并且所有圖像均由美團(tuán)公司的食品專家進(jìn)行評(píng)估,確保了數(shù)據(jù)的高質(zhì)量。相比其他主流食品圖像識(shí)別數(shù)據(jù)集,"Food2K"數(shù)據(jù)集完全人工標(biāo)注,數(shù)據(jù)集噪聲比例控制在 1% 以內(nèi);數(shù)據(jù)分布與真實(shí)場景相符,不平衡現(xiàn)象顯著;而且類別粒度更細(xì)。以披薩為例,主流數(shù)據(jù)集(例如Food-101)僅具有披薩類,而"Food2K"進(jìn)一步將其劃分為多種多樣的披薩,如鮮蝦披薩、榴蓮披薩等。

02

評(píng)測指標(biāo)

此外,為了進(jìn)一步推進(jìn)食品視覺分析領(lǐng)域的研究與實(shí)踐,吸引更多行業(yè)相關(guān)團(tuán)隊(duì)關(guān)注參與,美團(tuán)發(fā)起了以LargeFineFoodAI為主題的挑戰(zhàn)賽。該競賽將分為兩大賽道,其一是“大規(guī)模食品圖像細(xì)粒度識(shí)別”,將采用Food1K數(shù)據(jù)集(包含1500種類別中的1000種食物類別),通過Top-1分類準(zhǔn)確率進(jìn)行算法評(píng)估;其二是“大規(guī)模食品圖像細(xì)粒度檢索”,將使用同賽道一的訓(xùn)練和驗(yàn)證集,使用剩余的Food500作為測試集,使用MAP@100進(jìn)行算法評(píng)估。

03

團(tuán)隊(duì)成績

團(tuán)隊(duì)成績排名

獲獎(jiǎng)證書

04

題目特點(diǎn)以及常用方法

圖像檢問題現(xiàn)有研究比較多,但對于大規(guī)模、細(xì)粒度的圖像檢索比較新。圖像檢索最主要的就是特征提取網(wǎng)絡(luò),現(xiàn)有的的特征提取網(wǎng)絡(luò)主要基于卷積神經(jīng)網(wǎng)絡(luò)如ResNet、ResNest和EfficientNet等,無法像transformer一樣提取到更加豐富、區(qū)分度更高的特征。提取完特征后,在度量兩張圖片相似度的階段單純使用余弦距離來計(jì)算精度很低,DeepBlueAI團(tuán)隊(duì)使用ReRank的方法將歐式距離和雅可比距離加權(quán)來度量query和gallery之間的相似度。

05

比賽數(shù)據(jù)與數(shù)據(jù)分析

本次比賽數(shù)據(jù)集包含超過1000個(gè)細(xì)粒度食物類別和超過50000張圖像的數(shù)據(jù)集。它包含西餐和中餐,每個(gè)類別的圖像數(shù)量在范圍內(nèi)[153; 1999],與現(xiàn)有的食物數(shù)據(jù)集相比,顯示出更大的類別不平衡。下圖顯示了它的本體和數(shù)據(jù)集的詳細(xì)統(tǒng)計(jì)信息:

從圖中可以看出,LargeFoodAI數(shù)據(jù)集,具有類別多、細(xì)粒度和類別不平衡等特點(diǎn)。

06

PIPELINE

如下圖所示,DeepBlueAI團(tuán)隊(duì)首先采用五折交叉驗(yàn)證的方法對數(shù)據(jù)進(jìn)行劃分;然后用Swin Transfomrer作為主干網(wǎng)絡(luò)提取特征;接著用BNNeck模塊對所提特征進(jìn)行歸一化操作;最后使用交叉熵和label smooth函數(shù)對模型進(jìn)行優(yōu)化。

07

實(shí)驗(yàn)?zāi)Ｐ?/strong>

Swin Transforme主干網(wǎng)絡(luò)

DeepBlueAI團(tuán)隊(duì)基于Swin Transformer主要實(shí)驗(yàn)了4種結(jié)構(gòu),swin_base_224, swin_base_384、swin_large_224和swin_large_384模型。下圖為Swin Transfomer的結(jié)構(gòu)圖:

Sharpness-AwareMinimization

(SAM)優(yōu)化器

SAM優(yōu)化器通過一種新的、有效的方法來同時(shí)減小損失值和損失的銳度,在領(lǐng)域內(nèi)尋找具有均勻的低損失值的參數(shù)。該方法通過求解最小-最大優(yōu)化問題,使得梯度下降可以有效地執(zhí)行,在各種基準(zhǔn)數(shù)據(jù)集上都改善了模型得泛化能力。下圖為SGD優(yōu)化器和SAM優(yōu)化器的示意圖:

CutMix數(shù)據(jù)增強(qiáng)

DeepBlueAI團(tuán)隊(duì)采用CutMix數(shù)據(jù)增強(qiáng)的方法來擴(kuò)充數(shù)據(jù)的多樣性,同時(shí)也能提高模型對相似類別數(shù)據(jù)的區(qū)分度。

Rerank_qe

DeepBlueAI團(tuán)隊(duì)將所有數(shù)據(jù)中和query特征最為相似的40個(gè)特征的平均值作為新的query特征,用0．25的權(quán)值對歐式距離和雅可比距離進(jìn)行加權(quán)。ReRank方式如下圖所示:

08

模型融合

模型融合是算法大賽中常用的提高模型精度方法,DeepBlueAI團(tuán)隊(duì)最終選擇了swinb_224、swinb_384、swinl_224和swinl_384等不同主干和訓(xùn)練尺度生成的特征進(jìn)行模型融合,最終模型融合的結(jié)果為82．813mAP@100,取得了本次比賽第一的成績。

# 深蘭DeepBlueAI團(tuán)隊(duì)總結(jié)

我們在最初做這個(gè)任務(wù)的時(shí)候,嘗試了許多基于CNN的主干網(wǎng)絡(luò),如ResNet、ResNeSt和EfficientNet等,但是發(fā)現(xiàn)這些主干網(wǎng)絡(luò)無論分類還是檢索的效果都不是很好。在分類任務(wù)使用Swin Transformer取得遠(yuǎn)優(yōu)于CNN網(wǎng)絡(luò)的效果之后,就把它移植到檢索任務(wù)里來,取得了不錯(cuò)的成績。在進(jìn)一步的使用ReRank、Ensemble等檢索任務(wù)常用trick之后,取得了檢索任務(wù)第一的成績。

在數(shù)據(jù)處理方面,我們發(fā)現(xiàn)CutMix方法有效的增強(qiáng)了不同類別之間特征的區(qū)分度。SAM優(yōu)化器和LabelSmooth損失函數(shù)的采用,也進(jìn)一步的提高了模型的泛化能力和識(shí)別精度。