Holopix50k發(fā)布: 最多最豐富的雙目數(shù)據(jù)集大幅提升多個相關(guān)任務(wù)性能?
由于這一數(shù)據(jù)集主要集中于針對水平排列相機的立體視覺,而在垂直方向上的視差會影響立體視覺匹配算法的性能,需要去除具有垂直視差的圖像。在這樣的篩選后剩下約60k的圖像對。
垂直視差造成的匹配性能下降,c和d分別是垂直方向上有2像素和5個像素視差下的匹配結(jié)果。
由于絕大多數(shù)照片是由Hydrogen One拍攝的,其后攝基線只有12mm前攝則為5mm,場景中包含的視差信息應(yīng)該是處于有限范圍內(nèi)的,所有研究人員通過視差分析模型去除了包含極端誤差的圖像和立體特征較差的圖像對,最終得到了約50k的立體視覺圖像對。
為了探索數(shù)據(jù)集的分布,研究人員利用在coco數(shù)據(jù)集上預(yù)訓(xùn)練的Mask-RCNN目標(biāo)檢測器對每一對圖像的左圖來進行檢測分析,結(jié)果表明其中包含了大量豐富的常見物體,由于這是社交媒體平臺,所以其中會包含很多的人物,共檢測到了約21k個人體實例。此外數(shù)據(jù)集中還包含了風(fēng)景和肖像攝影,為數(shù)據(jù)集貢獻了可觀的多樣性。
Holopix中物體的詞云分布包含了很多常見的物體
定量測評
為了展現(xiàn)數(shù)據(jù)集的優(yōu)勢,研究人員利用熵、BRISQUE、SR-metric和ENIQA等指標(biāo)比較了Holopix與現(xiàn)有的數(shù)據(jù)集,結(jié)果如下表所示 :
除了數(shù)據(jù)集的數(shù)量顯著高于其他數(shù)據(jù)集外,可以看到其具有最高的SR指標(biāo),意味數(shù)據(jù)集的質(zhì)量在人類感知下是最高的、熵值第二高意味著圖像中包含的信息也很豐富。
研究人員將數(shù)據(jù)集按照分辨率分為了HD(720p)和SD(360p)兩個子集,其指標(biāo)在數(shù)據(jù)集比較中都處于top2的范圍內(nèi)。
除了數(shù)據(jù)集本身的比較外,研究人員還利用這一數(shù)據(jù)集重新訓(xùn)練了幾個關(guān)鍵的立體視覺任務(wù)模型,都得到了大幅的性能提升。
針對圖像超分辨任務(wù),采用了PASSRNet模型進行4x圖像超分辨,在Holopix50k數(shù)據(jù)集上訓(xùn)練的結(jié)果與Flickr1024上的結(jié)果相比具有非常大的性能提升。下表顯示了隨著訓(xùn)練數(shù)據(jù)集的增加,得到的模型在不同測試集上的結(jié)果也有著顯著提升。
下圖可以看到基于這一大型數(shù)據(jù)集訓(xùn)練的結(jié)果要明顯優(yōu)于Flickr1024數(shù)據(jù)集的結(jié)果,細節(jié)得到更為豐富的重建:

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機器人東風(fēng)翻身?