在拍照時(shí)不期而遇的遮擋會(huì)讓照片的效果大打折扣，從窗戶玻璃的反光到雨滴的遮擋都在影響著清晰的成像，而去除這些惱人的遮擋也是計(jì)算機(jī)視覺領(lǐng)域的重要研究?jī)?nèi)容。

最近來自臺(tái)大、谷歌等機(jī)構(gòu)的研究人員提出了一種基于前景背景運(yùn)動(dòng)差異的學(xué)習(xí)方法，通過深度學(xué)習(xí)交替光流場(chǎng)估計(jì)和圖像重建實(shí)現(xiàn)了高質(zhì)量的遮擋去除和前景、背景的重建，同時(shí)還利用在線優(yōu)化的方法提高了對(duì)于多種真實(shí)場(chǎng)景的適應(yīng)能力。

從反射遮擋中獲取清晰的圖像

從反光的玻璃或遮擋的前景中獲取清晰的圖像一直是計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一，從反光或者遮擋物體的混合圖像中獲取清晰的圖像將有助于提升包括機(jī)器人感知、安防監(jiān)控等多種視覺應(yīng)用等性能。

目前解決這一問題的方法主要集中于單張圖像去除和多幀去除兩個(gè)角度�；�于單幀的方法充分利用包括圖像先驗(yàn)和離焦線索的方法來對(duì)遮擋部分進(jìn)行識(shí)別和重建。雖然取得了優(yōu)異的結(jié)果，但是從遮擋／反射混合的圖像中分離出清晰的背景和前景卻在根本上是一個(gè)病態(tài)問題，通常需要對(duì)場(chǎng)景有著更高級(jí)別的語義理解。實(shí)際使用中當(dāng)面臨分布外圖像時(shí)，基于學(xué)習(xí)的算法會(huì)發(fā)生嚴(yán)重的退化。

為了解決這些問題，研究人員開始利用多幀圖像來處理遮擋反射問題。對(duì)于相機(jī)來說，拍照時(shí)背景和遮擋物具有不同的深度，通過小幅度運(yùn)動(dòng)拍攝的多幀照片將有利于分離出兩層結(jié)構(gòu)間的不同運(yùn)動(dòng)。已經(jīng)有很多工作充分利用運(yùn)動(dòng)線索來對(duì)前景遮擋進(jìn)行去除，但對(duì)于對(duì)于多幀視頻處理需要消耗大量的計(jì)算資源，同時(shí)也需要滿足嚴(yán)格的光照連續(xù)性假設(shè)和精確的運(yùn)動(dòng)估計(jì)結(jié)果。雖然研究人員開始利用無模型的3DCNN來解決這些問題，但卻無法在真實(shí)輸入序列中獲得與優(yōu)化方法可比擬的效果。

為了實(shí)現(xiàn)更為迅速、高效、高精度的遮擋去除和重建結(jié)果，在這一工作中研究人員提出了一種結(jié)合深度學(xué)習(xí)與優(yōu)化方法多幀的遮擋去除方案。在優(yōu)化思路的啟發(fā)下，本文由粗到精地交替估計(jì)稠密運(yùn)動(dòng)和重建前景／背景圖像。對(duì)于稠密運(yùn)動(dòng)的顯式建模使得算法可以漸進(jìn)地重建出前景和背景層。

本文的方法沒有構(gòu)建手工的目標(biāo)函數(shù)來構(gòu)建圖像，而是采用了基于學(xué)習(xí)的方法來融合流反射變換圖像來適應(yīng)不滿足光照連續(xù)性和光流估計(jì)誤差。在通過合成數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練后，為了提高針對(duì)真實(shí)序列的生成質(zhì)量，研究人員還增加了在線優(yōu)化過程來對(duì)結(jié)果進(jìn)行提升。

下圖顯示了算法的整體流程，這一漸進(jìn)式的模型通過由粗到精的過程，經(jīng)過L層的處理不斷提升生成結(jié)果的質(zhì)量。