高質(zhì)量的三維點云對于機器人導(dǎo)航、三維重建、視覺測量以及AR/VR等視覺應(yīng)用具有非常重要的意義，但現(xiàn)有的3D傳感技術(shù)對于高質(zhì)量稠密點云的獲取十分耗時耗力，從常規(guī)的低成本測量中恢復(fù)出高質(zhì)量的點云上采樣方法吸引了研究人員和產(chǎn)業(yè)界的注意。點云上采樣方法通過算法對輸入的稀疏低分辨率點云進行處理，來獲取均勻稠密的高質(zhì)量點云。 來自香港城市大學(xué)和南洋理工大學(xué)的研究人員們提出了一種基于幾何變換的深度學(xué)習(xí)方法PUGeo-Net來學(xué)習(xí)每一個點的局域參數(shù)和法向量，通過二維參數(shù)域內(nèi)的采樣和學(xué)習(xí)出的三維變換實現(xiàn)點云的加密，并能在4x～16x的上采樣率上實現(xiàn)精確高效的上采樣結(jié)果。

PUGeoNet

現(xiàn)存的點云上采樣方法主要包括優(yōu)化方法和深度學(xué)習(xí)方法，其中優(yōu)化方法主要用于局部幾何特征并適用于光滑的特征較少目標的點云上采樣，但他們卻難以保留點云中的多尺度結(jié)構(gòu)。近年來，出現(xiàn)了一系列深度學(xué)習(xí)的方法在點云上采樣中取得了優(yōu)異的結(jié)果，包括PU-Net，EC-Net以及MPU模型，其中PU-Net利用點云卷積抽取多尺度特征并將特征進行復(fù)制拓展、EC-Net則添加了對于邊緣和曲面的學(xué)習(xí)能力提高了上采樣的性能，同時MPU則從圖像超分辨的思想來從多層次學(xué)習(xí)多尺度的細節(jié)。這些方法都基于點云片進行處理，使得高分辨率的點云上采樣成為可能。

雖然在點云上采樣中取得了良好的結(jié)果，但這些方法大多基于圖像領(lǐng)域的技術(shù)，對于輸入形狀的幾何特征考慮較少，這使得生成結(jié)果中會包含這多種人工痕跡。表面法向量作為重要的幾何特征，目前的方法也沒有在輸出處理和輸出結(jié)果中對法向量進行考慮。

在這篇論文中，研究人員基于輸入點云形狀的幾何特征，深入分析了現(xiàn)有深度學(xué)習(xí)模型的局限，提出了一種針對每個點學(xué)習(xí)局域參數(shù)化法向量的點云加密方法。與現(xiàn)有基于特征空間來生成點云的方法不同，PUGeo-Net則通過純粹的幾何采樣方法來實現(xiàn)點云加密。

它首先在二維參數(shù)空間中生成樣本，而后利用學(xué)習(xí)出的線性變換將其轉(zhuǎn)為到三維空間中，最終將切面上的上采樣點映射回曲面上實現(xiàn)點云加密。下圖顯示了PUGeo-Net的主要流程，包括學(xué)習(xí)局域參數(shù)、二維參數(shù)空間中的點云擴增、以及三維坐標優(yōu)化和法向量優(yōu)化。

在考慮到幾何特性以及參數(shù)化表面采樣的啟發(fā)下，PUGeo-Net主要分為三個步驟：首先將三維曲面表示為二維的參數(shù)空間中，隨后從參數(shù)空間中進行采樣，最后將擴增得到的2D參數(shù)采樣重新映射到三維曲面上去。其中包含了特征抽取、重標定、參數(shù)化拓展和優(yōu)化等模塊。

眾所周知，參數(shù)化技術(shù)十分依賴于曲面的拓撲結(jié)構(gòu)，主要包括局域參數(shù)化和全局參數(shù)化。PUGeo-Net可以針對任意拓撲結(jié)構(gòu)三維形狀點云進行處理，但考慮到計算和學(xué)習(xí)全局參數(shù)消耗計算資源十分龐大，研究人員將點云上采樣問題簡化為了針對每一個點的局域參數(shù)化問題。下圖展示了如何將二維參數(shù)空間中的樣本映射到三維曲面上的過程。鄰域內(nèi)的點x可以通過雅可比矩陣J將參數(shù)域中的映射到的切平面上。

Φ表示將二維參數(shù)空間映射到三維空間中去的可差分映射，針對點，其對應(yīng)參數(shù)平面上的點。那么對于參數(shù)空間中的點，可以利用一階近似來得到：

其中為在參數(shù)空間中方向和方向上的偏微分，O為高階項。由于偏微分方向在切平面內(nèi)，可以得到點處的法向量：定義雅可比矩陣，此時在三維空間中切平面上的鄰域點可由下式表示：隨后定義強化雅可比矩陣：T = [Φu, Φv, Φu × Φv] 來計算xi點處的法向量和鄰域點上面的數(shù)學(xué)公式表達了如何將二維參數(shù)空間中擴增采樣點映射到三維空間原始點切平面的過程。那么PUGeo-Net模型的核心在于學(xué)習(xí)出在參數(shù)空間中采樣，同時還在于學(xué)習(xí)出進行線性變換的增強雅可比矩陣T. 針對每一個點xi要學(xué)習(xí)出線性變換矩陣Ti。

PUGeo-Net需要以下步驟：首先需要在二維參數(shù)域中生成新的樣本,隨后計算出xi點處的法向量；接著將生成的二維參數(shù)域上的點(u_i,v_i)映射到xi點的切平面上，最后通過計算每個新生成點在法向上的位移將這些點投影到3D曲面上去，生成稠密點云。

層級特征學(xué)習(xí)和重標定

針對點云的處理，研究人員首先引入了類似STN的子網(wǎng)絡(luò)結(jié)構(gòu)來計算出全局的變換矩陣，并作用到所有的點上以解決旋轉(zhuǎn)不變性的挑戰(zhàn)。隨后利用DGCNN來逐點的層級特征，將輸入片元所包含的局域和全局的內(nèi)蘊信息進行有效編碼。

上圖顯示了層級特征學(xué)習(xí)模塊由低到高抽取特征的過程，為了充分保持各層級的特征和細節(jié)，研究人員利用自門控單元來提升多層級特征的質(zhì)量。輸入的特征通過多層感知機計算出每一層級特征的權(quán)重，而后進行加權(quán)平均（圖中的乘法操作）并最終銜接在一起得到增強后的特征輸出。

基于參數(shù)化方法的點擴增

這一模塊的主要目的在于將輸入的稀疏點云擴增R倍，并通過多尺度特征回歸粗略生成較為稠密的點云和法向量。擴增過程首先在二維參數(shù)空間上進行自適應(yīng)采樣，而后將采樣點通過線性變換投影到三維切平面上。

針對每一個點xi，使用一個多層感知機f1(ci) 在參數(shù)平面上生成R個2D坐標：

由于局域特征ci中編碼曲面的局域信息，在2D平面上將自適應(yīng)地均勻化采樣。值得一提的是這種擴增采樣方法與先前的深度學(xué)習(xí)模型有顯著的差異：像PU-Net和MPU等方法都是在特征空間中進行特征復(fù)制來實現(xiàn)擴增的，沒有考慮生成點間的空間相關(guān)性。而PUGeo-Net則通過在2D參數(shù)空間中對點云進行拓展，而后將其轉(zhuǎn)換到切平面中，這種方法更多地考慮了點云內(nèi)部的幾何關(guān)系。隨后針對每個點需要基于特征ci通過另一個多層感知機f2 預(yù)測出線性變換矩陣Ti，通過這一矩陣的作用將生成的擴增點轉(zhuǎn)換到切平面上，同時得到此處的法向量：

投影后的坐標如下所示：

法向量則可以通過下式計算得到：