總  結(jié)

我們提出了一種基于單張圖像的端到端室內(nèi)場景重建方法。此方法對場景理解和網(wǎng)格重建進行聯(lián)合訓(xùn)練，自動生成房間布局、攝像機姿態(tài)、物體包圍盒和三維網(wǎng)格，以完全恢復(fù)房間和室內(nèi)物體的幾何信息。實驗表明，本文的聯(lián)合學(xué)習(xí)方法顯著地提高了每個子任務(wù)的性能，且每個階段的場景解析過程都對其他階段有著潛在的影響。這說明了對所有階段進行聯(lián)合訓(xùn)練的必要性。本文方法的一個局限是，學(xué)習(xí)物體的三維網(wǎng)格形狀時，需要用稠密點云進行全監(jiān)督訓(xùn)練。而在真實場景中獲取較精確的稠密點云需要耗費大量的人力。為了解決這個問題，我們計劃在未來的工作中嘗試自監(jiān)督或弱監(jiān)督的學(xué)習(xí)方式。

關(guān)于團隊：香港中文大學(xué)（深圳）GAP實驗室

該工作由香港中文大學(xué)（深圳）GAP實驗室主導(dǎo)完成。GAP實驗室取名于Generation and Analysis of Pixels， Points and Polygons�；�于深圳市大數(shù)據(jù)研究院與香港中文大學(xué)（深圳），該實驗室在韓曉光博士的帶領(lǐng)下，致力于探索和解決圖片、視頻及三維內(nèi)容的生成與分析方面的難題，其主要研究方向涵蓋計算機視覺、計算機圖形學(xué)和機器學(xué)習(xí)。

該工作主要由伯恩茅斯大學(xué)博士生聶隱愚在GAP實驗室交換期間完成。團隊成員還包括香港中文大學(xué)（深圳）研究助理教授韓曉光博士、廈門大學(xué)副教授郭詩輝博士、香港中文大學(xué)（深圳）博士生鄭玉健及伯恩茅斯大學(xué)常建教授與張建軍教授。

References：

［1］ Gkioxari， G．， Malik， J． and Johnson， J．， 2019． Mesh r－cnn． In Proceedings of the IEEE International Conference on Computer Vision （pp． 9785－9795）．

［2］ Pan， J．， Han， X．， Chen， W．， Tang， J． and Jia， K．， 2019． Deep Mesh Reconstruction from Single RGB Images via Topology Modification Networks． In Proceedings of the IEEE International Conference on Computer Vision （pp． 9964－9973）．

［3］ Hu， H．， Gu， J．， Zhang， Z．， Dai， J． and Wei， Y．， 2018． Relation networks for object detection． In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （pp． 3588－3597）．

［4］ Groueix， T．， Fisher， M．， Kim， V．G．， Russell， B．C． and Aubry， M．， 2018． A papier－m？ché approach to learning 3d surface generation． In Proceedings of the IEEE conference on computer vision and pattern recognition （pp． 216－224）．

［5］ Huang， S．， Qi， S．， Xiao， Y．， Zhu， Y．， Wu， Y．N． and Zhu， S．C．， 2018． Cooperative holistic scene understanding： Unifying 3d object， layout， and camera pose estimation． In Advances in Neural Information Processing Systems （pp． 207－218）．