碼隆科技提出跨越時(shí)空的樣本配對(duì),解決深度度量學(xué)習(xí)痛點(diǎn)
作者: 將門投資企業(yè) 碼隆科技研究團(tuán)隊(duì)將門好聲音第·54·期CVPR 2020系列分享第·13·期將門投資企業(yè)——碼隆科技今年在 CVPR 多有斬獲。在大會(huì)論文接受率僅有 22%、被稱為“十年來最難的一屆”的情況下,有兩篇論文入選 CVPR 2020,本文將為大家解讀其中一篇Oral:《Cross-Batch Memory for Embedding Learning》 。
導(dǎo)讀:
該論文提出了 XBM 方法,能夠用極小的代價(jià),提供巨量的樣本對(duì),為 pair-based 的深度度量學(xué)習(xí)方法取得巨大的效果提升。
這種提升難例挖掘效果的方式突破了過去兩個(gè)傳統(tǒng)思路:加權(quán)和聚類,并且效果也更加簡(jiǎn)單、直接,很好地解決了深度度量學(xué)習(xí)的痛點(diǎn)。XBM 在多個(gè)國(guó)際通用的圖像搜索標(biāo)準(zhǔn)數(shù)據(jù)庫上(比如 SOP、In-Shop 和 VehicleID 等),取得了目前最好的結(jié)果。
一、背景和動(dòng)機(jī)
難例挖掘是深度度量學(xué)習(xí)領(lǐng)域中的核心問題,最近有頗多研究都通過改進(jìn)采樣或者加權(quán)方案來解決這一難題,目前主要兩種思路: 第一種思路是在 mini-batch 內(nèi)下功夫,對(duì)于 mini-batch 內(nèi)的樣本對(duì),從各種角度去衡量其難度,然后給予難樣本對(duì)更高權(quán)重,比如 N-pairs、Lifted Struture Loss、MS Loss 使用的就是此種方案。 第二種思路是在 mini-batch 的生成做文章,比如 HTL、Divide and Conquer,他們的做法雖然看上去各有不同,但是整體思路有異曲同工之處。大致思路都是對(duì)整個(gè)數(shù)據(jù)集進(jìn)行聚類,每次生成 mini-batch 不是從整個(gè)數(shù)據(jù)集去采樣,而是從一個(gè)子集,或者說一個(gè)聚類小簇中去采樣。這樣一來,由于采樣范圍本身更加集中,生成的 mini-batch 中難例的比例自然也會(huì)更大,某種程度上也能解決問題。 然而,無論是第一種方法的額外注重難樣本,還是第二種方法的小范圍采樣,他們的難例的挖掘能力其實(shí)依然有一個(gè)天花板——那就是 mini-batch 的大小。這個(gè) mini-batch 的大小決定了在模型中單次迭代更新中,可以利用的樣本對(duì)的總量。因此,即使是很精細(xì)的采樣加權(quán)方法,在 mini-batch 大小有限的情況下,也很難有頂級(jí)的表現(xiàn)。我們?cè)谌齻(gè)標(biāo)準(zhǔn)圖像檢索數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn),基于三種標(biāo)準(zhǔn)的 pair-based 方法,我們發(fā)現(xiàn)隨著 mini-batch 變大,效果(Recall@1)大幅提升。實(shí)驗(yàn)結(jié)果如下圖:
可以看出,隨著 mini-batch 的增大,效果有顯著提升。但是,在實(shí)際工業(yè)應(yīng)用中 mini-batch 越大,訓(xùn)練所需要的 GPU 或 TPU 就越多,即使計(jì)算資源有充分保證,在多機(jī)多卡的訓(xùn)練過程中,如何在工程上保證通信的效率也是一個(gè)有挑戰(zhàn)的問題。
二、特征偏移
由此,我們希望另辟蹊徑,得以在 mini-batch 有限的情況下,也能獲得充足的難例樣本對(duì)。首先,必須突破深度度量學(xué)習(xí)一直以來的一個(gè)思維局限——僅在對(duì)當(dāng)前 mini-batch里的樣本對(duì)兩兩比較,形成樣本對(duì)。以此我們引入了 XBM(Cross-batch Memory)這一方法來突破局限,跨越時(shí)空進(jìn)行難例挖掘,把過去的 mini-batch 的樣本提取的特征也拿過來與當(dāng)前 mini-batch 作比較,構(gòu)建樣本對(duì)。
我們將樣本特征隨著模型訓(xùn)練的偏移量,稱之為特征偏移(Feature Drift)。從上圖我們發(fā)現(xiàn),在訓(xùn)練的一開始,模型還沒有穩(wěn)定,特征劇烈變化,每過 100 次迭代,特征偏移大約 0.7 以上。但是,隨著訓(xùn)練的進(jìn)行,模型逐步穩(wěn)定,特征的偏移也變小。我們稱這個(gè)現(xiàn)象為慢偏移(Slow Drift),這是我們可以利用的一點(diǎn)。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
3月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會(huì)
-
4月30日立即下載>> 【村田汽車】汽車E/E架構(gòu)革新中,新智能座艙挑戰(zhàn)的解決方案
-
5月15-17日立即預(yù)約>> 【線下巡回】2025年STM32峰會(huì)
-
即日-5.15立即報(bào)名>>> 【在線會(huì)議】安森美Hyperlux™ ID系列引領(lǐng)iToF技術(shù)革新
-
5月15日立即下載>> 【白皮書】精確和高效地表征3000V/20A功率器件應(yīng)用指南
-
5月16日立即參評(píng) >> 【評(píng)選啟動(dòng)】維科杯·OFweek 2025(第十屆)人工智能行業(yè)年度評(píng)選
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今,五類新物種登上歷史舞臺(tái)
- 5 國(guó)產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計(jì)算迎來商業(yè)化突破,但落地仍需時(shí)間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長(zhǎng)空間
- 8 地平線自動(dòng)駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營(yíng)收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機(jī)器人東風(fēng)翻身?