ST-GCN: Spatial Temporal Graph Convolutional Networks時(shí)空?qǐng)D卷積網(wǎng)絡(luò),這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)源于2018年發(fā)表的一篇文章《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》,也就是基于時(shí)空?qǐng)D卷積網(wǎng)絡(luò)來(lái)做人體動(dòng)作識(shí)別。

今天,我們就來(lái)了解下,如何基于ST-GCN來(lái)實(shí)現(xiàn)人體動(dòng)作的識(shí)別與生成。

Why:為什么要使用ST-GCN?

ST-GCN網(wǎng)絡(luò)訓(xùn)練好之后要達(dá)到的效果就是:用戶提供一段視頻,網(wǎng)絡(luò)會(huì)輸出視頻中人的動(dòng)作分類。

類似于上圖中的視頻,如何來(lái)識(shí)別視頻中的人在做什么動(dòng)作呢? 視頻其實(shí)就是一幀一幀的圖片拼接而成的,而傳統(tǒng)處理圖像識(shí)別的網(wǎng)絡(luò)最常用的就是CNN(卷積神經(jīng)網(wǎng)絡(luò)),那ST-GCN是否跟CNN有關(guān)系呢?為什么要使用這個(gè)網(wǎng)絡(luò)呢?

可以從以下三點(diǎn)來(lái)理解:

(1) 輸入數(shù)據(jù)有量級(jí)的差別。舉個(gè)例子,數(shù)據(jù)為一段10秒左右的視頻,大概300幀,像素1920*1080,分別輸入兩個(gè)網(wǎng)絡(luò)中。傳統(tǒng)CNN是將所有視頻拆分為一幀一幀的圖片輸入網(wǎng)絡(luò),而ST-GCN則直接輸入人體的骨架關(guān)節(jié)數(shù)據(jù),CNN的輸入數(shù)據(jù)量約為ST-GCN的83000倍。

(2) 輸入數(shù)據(jù)純凈度高,噪聲少。CNN是將視頻數(shù)據(jù)直接輸入網(wǎng)絡(luò),包括了視頻的背景以及圖片中的各種噪音,而ST-GCN是僅僅將人體骨架關(guān)節(jié)點(diǎn)的信息輸入網(wǎng)絡(luò),只保留了主要的有效信息,噪聲低。

(3) 考慮了空間和時(shí)間上的相鄰關(guān)節(jié),效果更好。ST-GCN不僅考慮了空間上的相鄰節(jié)點(diǎn),也考慮了時(shí)間上的相鄰節(jié)點(diǎn),將鄰域的概念擴(kuò)展到了時(shí)間上,實(shí)驗(yàn)效果表明精度也更高。

What:ST-GCN到底是什么?

ST-GCN是TCN與GCN的結(jié)合。TCN,對(duì)時(shí)間維度的數(shù)據(jù)進(jìn)行卷積操作;GCN,則對(duì)空間維度的數(shù)據(jù)進(jìn)行卷積操作。GCN屬于GNN,而GNN的基礎(chǔ)是圖論。神經(jīng)網(wǎng)絡(luò)處理的傳統(tǒng)數(shù)據(jù)都是歐式距離結(jié)構(gòu)的數(shù)據(jù),比如二維的圖像、一維的聲音等等。而對(duì)于非歐式距離結(jié)構(gòu)的數(shù)據(jù),比如社交網(wǎng)絡(luò)、交通運(yùn)輸網(wǎng)等等,傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)無(wú)法直接處理,而GNN就是用來(lái)處理這類型數(shù)據(jù)的。所以要了解ST-GCN,就要先從圖論的一些基本理論入手,然后再延伸到GNN、GCN、ST-GCN。

2．1 圖論

這里的圖并不是指我們?nèi)粘Ｋ��?jiàn)的圖片,圖的廣泛概念包含具體的事物,以及事物之間的聯(lián)系。圖論中的圖由兩部分構(gòu)成,即點(diǎn)和邊。

點(diǎn):圖上具體的節(jié)點(diǎn)。

邊:連接圖上點(diǎn)和點(diǎn)之間的東西,邊分為有向邊和無(wú)向邊。

圖:節(jié)點(diǎn)V(G)和邊E(G)構(gòu)成的集合就是圖,可以表示為:G = {V(G), E(G)}。圖可以簡(jiǎn)單分為有向圖和無(wú)向圖(如下圖所示)。

2．2 GNN

GNN: Group Neural Network 圖神經(jīng)網(wǎng)絡(luò),即結(jié)合圖論與深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)。目前主要包含:Graph Convolutional Networks (GCN)、Graph Attention Networks、Graph Auto-encoder、Graph Generative Networks、Graph Spatial-Temporal Networks。最初的GNN網(wǎng)絡(luò),就是將點(diǎn)和邊的特征一起傳入網(wǎng)絡(luò)中學(xué)習(xí)。

2．3 GCN

GCN:Graph Convolutional Networks 圖卷積神經(jīng)網(wǎng)絡(luò),顧名思義,是將圖與卷積結(jié)合起來(lái)。根據(jù)卷積核的不同,主要分為spectral method(頻譜方法)和spatial method(空間方法)。二者的區(qū)別在于:頻譜方法基于拉普拉斯矩陣,與圖的關(guān)系緊密聯(lián)系,可泛化能力弱;空間方法則直接在圖上定義卷積,對(duì)有緊密關(guān)系的節(jié)點(diǎn)進(jìn)行操作,分為點(diǎn)分類和圖分類。ST-GCN中的GCN屬于圖分類,且采用的是空間方法。

2．4 ST-GCN

ST-GCN:Spatial Temporal Graph Convolutional Networks時(shí)空?qǐng)D卷積網(wǎng)絡(luò),是在GCN的基礎(chǔ)上提出的。核心觀點(diǎn)是將TCN與GCN相結(jié)合,用來(lái)處理有時(shí)序關(guān)系的圖結(jié)構(gòu)數(shù)據(jù)。網(wǎng)絡(luò)分為2個(gè)部分:GCN_Net與TCN_Net。

GCN_Net對(duì)輸入數(shù)據(jù)進(jìn)行空間卷積,即不考慮時(shí)間的因素,卷積作用于同一時(shí)序的不同點(diǎn)的數(shù)據(jù)。TCN_Net對(duì)數(shù)據(jù)進(jìn)行時(shí)序卷積,考慮不同時(shí)序同一特征點(diǎn)的關(guān)系,卷積作用于不同時(shí)序同一點(diǎn)的數(shù)據(jù)。

How:ST-GCN 具體如何使用?

前部分講了ST-GCN是什么,那我們回歸到ST-GCN的具體應(yīng)用上,首次提出ST-GCN是用來(lái)做人體動(dòng)作識(shí)別,即通過(guò)一段視頻來(lái)判斷其中人的動(dòng)作,也就是人體動(dòng)作識(shí)別。

數(shù)據(jù)集:論文中使用的數(shù)據(jù)集為NTU-RGB+D,包含60種動(dòng)作,共56880個(gè)樣本,其中有40類為日常行為動(dòng)作,9類為與健康相關(guān)的動(dòng)作,11類為雙人相互動(dòng)作。數(shù)據(jù)集已經(jīng)將視頻中的人體動(dòng)作轉(zhuǎn)換為了骨架關(guān)節(jié)的數(shù)據(jù),其中人體的骨架標(biāo)注了25個(gè)節(jié)點(diǎn),就是一種圖結(jié)構(gòu)的數(shù)據(jù)。

NTU-RGB+D數(shù)據(jù)集的分類

亮點(diǎn):

(1) 鄰接矩陣不采用傳統(tǒng)的方式,采用一種新的方式,將鄰接矩陣分為3個(gè)子集:根節(jié)點(diǎn)本身、向心力群,離心群。這一策略的靈感來(lái)自于身體部位的運(yùn)動(dòng)可以被廣泛地歸類為同心運(yùn)動(dòng)和偏心運(yùn)動(dòng),通常距離重心越近,運(yùn)動(dòng)幅度越小,同時(shí)能更好地區(qū)分向心運(yùn)動(dòng)和離心運(yùn)動(dòng)。即下圖中的(d)。

(2) 網(wǎng)絡(luò)中加入可學(xué)習(xí)的邊的權(quán)重,即加入attention機(jī)制。每層網(wǎng)絡(luò)中鄰接矩陣A都與可學(xué)習(xí)的權(quán)重相乘,這些權(quán)重在反向傳播中更新。添加的原因是考慮到人體做不同的動(dòng)作所側(cè)重的關(guān)節(jié)點(diǎn)不同,而且添加了注意力機(jī)制更有利于提高網(wǎng)絡(luò)的泛化能力。

整體效果:

使用ST-GCN的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行人體動(dòng)作識(shí)別,論文中在NTU-RGB+D數(shù)據(jù)集的x_sub模式下識(shí)別精度達(dá)到81．5%,NTU-RGB+D數(shù)據(jù)集的x-view模式下識(shí)別精度達(dá)到88．3%,優(yōu)于傳統(tǒng)的人體動(dòng)作識(shí)別網(wǎng)絡(luò)。

團(tuán)隊(duì)工作亮點(diǎn)

ST-GCN的技術(shù)延展-動(dòng)作生成

基于對(duì)ST-GCN在人體動(dòng)作識(shí)別上的效果,我們將ST-GCN網(wǎng)絡(luò)與VAE網(wǎng)絡(luò)結(jié)合。目的在于獲取人體動(dòng)作的語(yǔ)義,進(jìn)而生成人體的動(dòng)作,最終可以應(yīng)用于機(jī)器人動(dòng)作模仿或者其他強(qiáng)化學(xué)習(xí)項(xiàng)目中。

目前項(xiàng)目已在進(jìn)行中,下圖展示的是真實(shí)的人體骨架節(jié)點(diǎn)3D圖與網(wǎng)絡(luò)生成的人體骨架節(jié)點(diǎn)3D圖。具體的研究結(jié)果,之后再跟大家分享,敬請(qǐng)期待。