模型實現(xiàn)

本文的任務是在給定包含T幀的圖像序列下，將每一幀分解為清晰的背景圖像和各種原因造成的遮擋層。將圖像分解為背景層和遮擋層是十分困難的任務，因為兩層在輸入圖像中是強耦合的，同時也需要解決兩個強耦合的問題：光流分解和每層的重建。

如果沒有好的光流分解，不精確的運動估計將會使得每層無法精確地重建。但另一方面，沒有良好重建的背景層和遮擋層，混合的圖像無法精確估計出代表運動的光流。我們所面臨的是一個雞生蛋蛋生雞的悖論問題，無法堅實地選擇先重建光流還是兩層圖像。

為了解決這一問題，本文嘗試利用三個模塊構建的深度學習模型來處理。模型主要包括初始光流分解、背景－遮擋層重建以及光流優(yōu)化三個部分。首先在在粗糙的層級上估計光流，來作為初始光流；而后漸進的重建遮擋和背景層，并對前景和背景的光流運動場進行優(yōu)化。在每一層級上，利用前一層的結果和重建模塊來重建背景和前景遮擋層，并利用PWC－Net來預測兩層優(yōu)化后的光流結果。

首先我們來分析初始光流分解模塊的構成。首先需要在粗糙的層級上對前景和背景光流進行預測，針對每一層提出了均勻運動矢量來代替稠密光流場的估計。初始光流模塊分為特征抽取和層流估計器兩個模塊。特征抽取器對輸入幀特征進行特征抽取得到尺度大小的特征圖結果。隨后利用協(xié)方差重建出第k幀和第j幀間的損失，其中和代表抽取出的特征，x代表像素的位置。構建的cost volum與特征合并在一起輸入層（光）流估計模塊。

層流估計器利用全局池化和全連接層生成兩個全局運動矢量。隨后將全局運動矢量轉換為兩個均勻運動場，其空間分辨率為輸入的，針對初始化層來說，得到背景層和遮擋／反射層的初始運動光流場為，。

下圖顯示了初始分解模塊的細節(jié)：

在前景和反射層初始流估計后，就需要對每一層的圖像進行重建了。雖然都是對圖像進行重建，前景和背景具有不同的特點。背景圖像通常在圖像中占據(jù)主要位置，而反射層圖像則通常較暗也較為模糊。所以分別訓練了兩個網(wǎng)絡來重建前景和背景圖像。下圖以背景重建網(wǎng)絡作為例子，前景重建網(wǎng)絡也具有相同的結構。

首先將上一層級重建得到關鍵幀的背景與反射圖像，以及得到的背景流結果進行二倍上采樣；一方面使用上一層級的背景流與當前層級的輸入圖像基于關鍵幀進行變換與對齊得到背景注冊的幀序列；隨后計算出被遮擋或者其他問題造成的失效掩膜序列，并利用關鍵幀計算出差異圖序列；隨后失效掩膜序列、差異圖序列、上采樣后的上一層級關鍵幀反射與背景圖一同疊加送入到背景重建網(wǎng)絡中；最后通過疊加背景重建網(wǎng)絡得到的殘差與當前層級關鍵幀上采樣背景圖來得到重建后的背景圖結果。

在對每一層圖像進行重建后，還需要對光流進行優(yōu)化。這一部分主要利用預訓練的PWC－Net來估計背景圖像間的光流場，值得一提的是此處PWC－Net的權重固定不參與訓練：

為了改善訓練的穩(wěn)定性，研究人員首先對初始光流分解模塊進行訓練；隨后將初始光流分解網(wǎng)絡固定，對圖像重建網(wǎng)絡進行進一步訓練。在訓練過程中，研究人員基于Vimeo－90k數(shù)據(jù)集進行了訓練數(shù)據(jù)合成，通過隨機變換與裁剪，結合反射圖像合成模型來構建數(shù)據(jù)集。

在模型構建后，為了提升在真實圖像序列上的性能，研究人員還采用了無監(jiān)督的方法來對最終結果進行在線優(yōu)化：

上面的連續(xù)性損失主要基于這樣的考慮，預測出的背景和遮擋結果應該可以重新變換回輸入結果。此外還加入了總變分損失來鼓勵網(wǎng)絡盡可能生成自然的圖像。

為了展示這種方法的廣泛適用性，研究人員針對反射、遮擋和雨滴等情況進行了實驗。特別需要指出的是，在針對圖像遮擋移除時模型只需要重建背景層，而無需再對遮擋層進行光流和圖像重建。背景重建網(wǎng)絡只需要增加一個alpha通道來分割出障礙層。這樣細微地改造后使得網(wǎng)絡可以有效處理籬笆金屬網(wǎng)以及雨滴遮擋等問題。