論文模型

融合采樣

3D 目標(biāo)檢測(cè)有基于點(diǎn)和基于體素兩種框架，前者更加耗時(shí)，由候選生成與預(yù)測(cè)細(xì)化兩個(gè)階段組成。

在第一個(gè)階段，SA 用于降采樣以獲得更高的效率以及擴(kuò)大感受野，F(xiàn)P 用來(lái)為降采樣過(guò)程中丟掉的點(diǎn)傳播特征。在第二階段，一個(gè)優(yōu)化模塊最優(yōu)化 RPN 的結(jié)果以獲得更準(zhǔn)確的預(yù)測(cè)。SA 對(duì)于提取點(diǎn)的特征是必需的。但 FP 和優(yōu)化模塊會(huì)限制效率。

首先最容易想到的是直接用 SA 的采樣點(diǎn)進(jìn)行預(yù)測(cè)，但如果用 D－FPS 的采樣方法會(huì)使得采樣點(diǎn)中有很多背景點(diǎn)，這是由于 D－FPS 是在歐式空間中進(jìn)行最遠(yuǎn)點(diǎn)采樣，并不會(huì)考慮到該點(diǎn)的任何屬性特征，從而極大的降低預(yù)測(cè)效果。

因此本文引入了 F－FPS，以達(dá)到保留更多前景點(diǎn)信息的目的，同時(shí)為了防止保留很多同一個(gè)目標(biāo)的點(diǎn)導(dǎo)致精度下降，作者將 F－FPS 與 D－FPS 相結(jié)合，同時(shí)考慮歐式空間和特征空間的采樣信息，通過(guò) F－FPS 和 D－FPS 各選擇一半的點(diǎn)的方法以保證分類的效果。

邊框預(yù)測(cè)網(wǎng)絡(luò)

已有的工作是在得到每個(gè)點(diǎn)的特征后接三層 SA 分別用于中心點(diǎn)選擇、周圍點(diǎn)特征的提取以及生成語(yǔ)義信息。本文為進(jìn)一步降低計(jì)算成本，候選中心點(diǎn)的生成是直接在 F－FPS 采樣后進(jìn)行的。F－FPS 采樣的點(diǎn)由于比 D－FPS 的點(diǎn)更加可能是前景點(diǎn)，所以候選點(diǎn)僅僅只是在 F－FPS 的點(diǎn)上生成。接著作者將這些候選中心點(diǎn)當(dāng)作候選生成層的中心點(diǎn)。最后根據(jù)候選中心點(diǎn)領(lǐng)域選擇從 F－FPS 和 D－FPS 中采樣得到的代表點(diǎn)進(jìn)行局部特征提取，采用 MLP 進(jìn)行特征提取。

在 3D 目標(biāo)檢測(cè)中，需要在場(chǎng)景中每隔一段距離就設(shè)置一個(gè)錨，這些錨有幾個(gè)不同的朝向，所以每增加一個(gè)類別需要線性的增加錨，為了降低計(jì)算量，本文的回歸頭是無(wú)錨的。由于沒(méi)有每個(gè)點(diǎn)的先驗(yàn)方位，在方位角回歸中采用分類和回歸公式的混合表達(dá)式。

在訓(xùn)練過(guò)程中，需要一種分配策略來(lái)為每個(gè)候選點(diǎn)打標(biāo)簽。在 2D 但階段檢測(cè)中，IoU 閾值或 mask 可以用于標(biāo)簽分配。在 3DLIDAR 數(shù)據(jù)上，由于點(diǎn)云數(shù)據(jù)都在物體的表面，因此他們的中心性非常接近的，這會(huì)導(dǎo)致不太可能從這些點(diǎn)得到好的預(yù)測(cè)。因此之前生成候選點(diǎn)的時(shí)候要選取采樣后再朝中心靠近的點(diǎn)而不是直接用原始采樣點(diǎn)。