CVPR 2020 |用于3D目標檢測的層級圖網(wǎng)絡
GU-net
本文設計了一個下采樣模塊,并將其重復堆疊 4 次以形成下采樣路徑,而將一個上采樣模塊重復堆疊兩次以構成上采樣方式。類似 FPN、GU-net 生成三張點特征圖的特征金字塔。下采樣使用的是 FPS,然后通過KNN構建局部區(qū)域,再使用 SA-GConv 更新特征,上采樣模塊的過程與下采樣模塊的過程相反,主要由 SA-GConv 執(zhí)行。
候選生成器
GU-net 生成了包含多級語義的三張點特征圖。一些先前的方法(如 VoteNet)僅使用一個特征圖進行目標預測。即使通過在上采樣過程中融合較低層的特征來計算較高層的特征,由于不同層的特征提供了各種語義,因此將多層特征一起用于候選生成會更加有益。本文提出了一種候選生成器,以改進的投票模塊作為主要結構來預測對象中心,該模型將多級特征轉換為相同的特征空間。接下來為了聚合特征,通過 FPS 保留 Np 的投票,該做法與 VoteNet 類似,從而融合多級特征以預測邊界框及其類別。
候選推理模塊
通過以上幾步,多層局部的語義信息已經(jīng)被很好的捕捉到了,但全局信息還沒有很好的學到,或者說可能有些目標在點云中只體現(xiàn)出很小的一部分表面的點,在這樣少的信息下很難正確的將其識別出來。其推理過程為:
其中 Hp 表示候選特征 tensor,P 表示候選的相對位置
論文實驗
本文在 SUN RGB-D 和 ScanNet-V2 兩個數(shù)據(jù)集上進行了實驗。
此外,本文還進行了消融實驗以證明各?斓挠行。
結論
本文提出了一種新穎的 HGNet 框架,該框架通過層級圖建模學習語義。
具體來說,作者提出了一種新穎且輕巧的形狀注意圖卷積來捕獲局部形狀語義,該語義聚合了點的相對幾何位置的特征; SA-GConv 和 SA-DeGConv 構建了 GU-net,生成了包含多級語義的特征金字塔。要素金字塔投票的點將位于相應的對象中心,并且進一步聚合多級語義以生成候選。然后使用 ProRe 模塊在候選之間合并和傳播特征,從而利用全局場景語義來提高檢測性能。最后,對邊界框和類別進行了預測。

請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
-
10 中東AI迷霧里的中美棋局
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」?
- 2 大廠紛紛入局,百度、阿里、字節(jié)搶奪Agent話語權
- 3 一文看懂視覺語言動作模型(VLA)及其應用
- 4 深度報告|中國AI產業(yè)正在崛起成全球力量,市場潛力和關鍵挑戰(zhàn)有哪些?
- 5 上海跑出80億超級獨角獸:獲上市公司戰(zhàn)投,干人形機器人
- 6 國家數(shù)據(jù)局局長劉烈宏調研格創(chuàng)東智
- 7 下一代入口之戰(zhàn):大廠為何紛紛押注智能體?
- 8 百億AI芯片訂單,瘋狂傾銷中東?
- 9 Robotaxi新消息密集釋放,量產元年誰在領跑?
- 10 格斗大賽出圈!人形機器人致命短板曝光:頭腦過于簡單