本發(fā)明涉及計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域，尤其是涉及一種人體動(dòng)作識(shí)別方法。
背景技術(shù)：
：在日常生活中，通過肉眼來識(shí)別人體動(dòng)作是件非常簡(jiǎn)單的事。但是通過計(jì)算機(jī)視覺系統(tǒng)來實(shí)現(xiàn)對(duì)人體動(dòng)作的自動(dòng)分類，是件非常復(fù)雜和具有挑戰(zhàn)性的工作。其中，有許多問題需要解決，比如，人體動(dòng)作信息的捕獲、訓(xùn)練樣本的學(xué)習(xí)、相似動(dòng)作模式在其時(shí)間與空間中的微小變化的識(shí)別以及人的行為意圖的獲取等。目前，人體動(dòng)作識(shí)別技術(shù)還不夠成熟，還有很長(zhǎng)的路要走，該項(xiàng)研究面臨的主要困難有：(1)人體結(jié)構(gòu)與動(dòng)作人體是由一系列的骨骼關(guān)節(jié)所構(gòu)成的復(fù)雜有機(jī)體，其動(dòng)作是由相關(guān)骨骼驅(qū)動(dòng)產(chǎn)生不同姿勢(shì)組成。人體動(dòng)作是高度復(fù)雜的非剛體動(dòng)作，在人體動(dòng)作期間呈現(xiàn)出復(fù)雜的動(dòng)作特征。由于人的體型、動(dòng)作習(xí)慣的不同，以及不同人做同種動(dòng)作也會(huì)有明顯的差異，這無疑為人體動(dòng)作識(shí)別增大了技術(shù)難度。(2)人體動(dòng)作的切割要識(shí)別的人體動(dòng)作通常是由一系列的動(dòng)作姿勢(shì)組成的，這些姿勢(shì)之間無明顯的界限，它們具有持續(xù)性，因此對(duì)這些連續(xù)動(dòng)作的切割是一個(gè)難題。目前主要對(duì)單個(gè)動(dòng)作的識(shí)別進(jìn)行了大量的研究，對(duì)連續(xù)動(dòng)作的研究還很少，也缺乏考慮涵蓋四肢精細(xì)復(fù)雜姿勢(shì)的人體動(dòng)作。(3)人體的高維表示人體動(dòng)作識(shí)別首先遇到的問題是人體動(dòng)作的跟蹤和重建，為了更真實(shí)地描述人體動(dòng)作與便于計(jì)算，目前大多選用人體模型來表示，即人體骨架模型。專家們一般需要人體模型的60個(gè)左右的關(guān)節(jié)參數(shù)實(shí)現(xiàn)對(duì)人體動(dòng)作的精確估計(jì)，但是超過60維的參數(shù)空間中的最優(yōu)參數(shù)估計(jì)的計(jì)算是非常復(fù)雜的，并且需要消耗大量的時(shí)間。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于幀選模型的人體動(dòng)作識(shí)別方法，結(jié)合模糊支持向量機(jī)，以實(shí)現(xiàn)更準(zhǔn)確快速的人體動(dòng)作識(shí)別。本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：一種人體動(dòng)作識(shí)別方法，包括以下步驟：S1，獲取包含人體動(dòng)作識(shí)別特征數(shù)據(jù)的連續(xù)圖像幀，所述的特征數(shù)據(jù)為人體多個(gè)骨骼關(guān)節(jié)點(diǎn)的深度圖像數(shù)據(jù)；S2，使用基于累積運(yùn)動(dòng)能量的幀選擇算法，篩選出有效圖像幀，將有效圖像幀中的特征數(shù)據(jù)作為待測(cè)數(shù)據(jù)；S3，構(gòu)建待測(cè)數(shù)據(jù)的靜態(tài)姿勢(shì)特征向量Fcc、連續(xù)動(dòng)作特征向量Fcp和整體動(dòng)作特征向量Fco作為動(dòng)作特征，所述的靜態(tài)特征向量Fcc表示一幀圖像中，人體各個(gè)軀干的位置向量信息，所述的連續(xù)動(dòng)作特征向量Fcp表示一幀圖像相對(duì)其前一幀圖像的骨骼關(guān)節(jié)點(diǎn)的位移變化，所述的整體動(dòng)作特征向量Fco表示一幀圖像相對(duì)于首幀圖像的骨骼關(guān)節(jié)點(diǎn)的位移變化；S4，構(gòu)建最終特征向量Fc，F(xiàn)c＝[Fcc,Fcp,Fco]；S5，對(duì)最終特征向量Fc降維；S6，使用訓(xùn)練好的模型分類器對(duì)降維后最終特征向量Fc進(jìn)行動(dòng)作識(shí)別，得到識(shí)別結(jié)果。所述的步驟S1中，通過Kinect設(shè)備采集圖像幀，特征數(shù)據(jù)包括人體20個(gè)骨骼關(guān)節(jié)點(diǎn)的深度圖像數(shù)據(jù)。所述的步驟S2中，幀選擇算法包括：對(duì)于同一個(gè)動(dòng)作，按照?qǐng)D像幀順序，從第二幀開始計(jì)算當(dāng)前幀三維深度圖像的動(dòng)作能量圖的和AME(i)，將當(dāng)前幀與上一幀進(jìn)行比較，若AME(i)-AME(i-1)＞ε，則將當(dāng)前幀作為有效圖像幀進(jìn)行保留，否則舍棄當(dāng)前幀，然后進(jìn)行下一幀的計(jì)算，直到最后一幀，當(dāng)AME(i)-AME(i-1)＞ε其中，i表示幀的序號(hào)，表示第j幀三維深度圖像被投射到三維坐標(biāo)軸得到的三維坐標(biāo)，其中v表示坐標(biāo)軸，v∈{1,2,3}，ε是幀選擇算法設(shè)定的閾值，0<ε<1。AME(i)計(jì)算得到這個(gè)動(dòng)作能量圖的和，每一幀的動(dòng)作能量圖通過兩個(gè)連續(xù)的幀之間累積差計(jì)算獲得。所述的步驟S3中，靜態(tài)姿勢(shì)特征向量Fcc、連續(xù)動(dòng)作特征向量Fcp和整體動(dòng)作特征向量Fco的表達(dá)式分別為：Fcc＝{v20-v3,v1-v3,v2-v3,v1-v8,v8-v10,v10-v12,v2-v9,v9-v11,v11-v13,v3-v4,v4-v7,v7-v5,v7-v6,v5-v14,v6-v15,v14-v16,v15-v17,v16-v18,v17-v19}Fcp＝{vi-vj|vi∈Vc,vj∈Vp,i＝j(luò)}Fco＝{vi-vj|vi∈Vc,vj∈Vo,i＝j(luò)}其中，V表示一幀圖像包含的數(shù)據(jù)，V的下標(biāo)c表示當(dāng)前幀，p表示前一幀，o表示首幀，V＝{v1,v2,v3…v20}，vi＝(xi,yi,zi)T∈R3，其中zi表示紅外攝像頭光軸坐標(biāo)，光軸與圖像平面垂直，yi表示實(shí)際點(diǎn)的上下位置坐標(biāo)，xi表示實(shí)際點(diǎn)的左右位置坐標(biāo)。所述的步驟S5中，使用主成分分析法進(jìn)行降維。所述的步驟S6中，所述的訓(xùn)練模型分類器訓(xùn)練包括以下步驟：S61，將與已知人體動(dòng)作對(duì)應(yīng)的連續(xù)圖像幀作為訓(xùn)練樣本集，并使用如步驟S2～S5所述的過程對(duì)訓(xùn)練樣本集進(jìn)行處理；S62，使用基于標(biāo)準(zhǔn)模型的模糊支持向量機(jī)對(duì)訓(xùn)練樣本集進(jìn)行訓(xùn)練，得到訓(xùn)練模型分類器。所述的步驟S62包括以下步驟：S621，在標(biāo)準(zhǔn)支持向量機(jī)的基礎(chǔ)上，給每個(gè)訓(xùn)練樣本賦予不同的隸屬度值，得到新的模糊訓(xùn)練樣本集；S622，采用標(biāo)準(zhǔn)支持向量機(jī)的方法對(duì)新的模糊訓(xùn)練樣本集進(jìn)行訓(xùn)練，得到訓(xùn)練模型分類器。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：(1)建立結(jié)合了動(dòng)態(tài)屬性以及靜態(tài)屬性的特征向量，充分發(fā)揮了人體骨架模型的優(yōu)勢(shì)，提取到足夠充分的動(dòng)作特征，對(duì)后期的動(dòng)作識(shí)別率有所提高。(2)使用基于累積運(yùn)動(dòng)能量的幀選擇算法，篩選出有效圖像幀，作為特征提取的基礎(chǔ)，該過程可以幫助移除容易混淆識(shí)別的幀，提高識(shí)別率，同時(shí)減少計(jì)算量。(3)在標(biāo)準(zhǔn)支持向量機(jī)的基礎(chǔ)上改進(jìn)得到模糊支持向量機(jī)，給每個(gè)訓(xùn)練樣本賦予不同的隸屬度值，從而提高算法抵抗噪聲的能力。有效的提高了人體動(dòng)作識(shí)別的準(zhǔn)確性和效率。附圖說明圖1為本實(shí)施例的方法流程圖；圖2為特征向量的示意圖；圖3為人體的20個(gè)關(guān)節(jié)點(diǎn)位置信息表示的人體骨架模型示意圖；圖4為骨骼空間坐標(biāo)示意圖；圖5為三組交叉實(shí)驗(yàn)中特征向量在不同維度下的識(shí)別率的變化的示意圖。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。本實(shí)施例以本發(fā)明技術(shù)方案為前提進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。實(shí)施例如圖1所示，本實(shí)施例一種人體動(dòng)作識(shí)別方法，包括如下步驟。步驟一：獲取所需要的人體動(dòng)作識(shí)別特征數(shù)據(jù)的視頻；具體的，可以使用MSRAction3D動(dòng)作數(shù)據(jù)庫(kù)作為實(shí)驗(yàn)數(shù)據(jù)；MSRAction3D是一個(gè)公共數(shù)據(jù)集，其提供由一個(gè)RGBD攝像機(jī)捕獲的深度圖和骨架序列。它包括由10個(gè)人面對(duì)相機(jī)進(jìn)行20種動(dòng)作的操作。每個(gè)動(dòng)作每個(gè)人進(jìn)行兩到三次。該深度圖的像素大小為320x240。為了能夠更加清楚的分析動(dòng)作識(shí)別的結(jié)果，將該動(dòng)作數(shù)據(jù)集分成三部分實(shí)驗(yàn)，從20個(gè)動(dòng)作數(shù)據(jù)中選擇18個(gè)動(dòng)作類分成三組進(jìn)行實(shí)驗(yàn)，定義這18個(gè)動(dòng)作分別是Action1至Action18。步驟二：基于傳統(tǒng)累積運(yùn)動(dòng)能量改進(jìn)幀選擇算法，選擇有效的圖像幀；具體的，其表達(dá)式可以為上式中：對(duì)于第i幀，它的三維深度圖被投射到三維坐標(biāo)軸上從而產(chǎn)生了fv，v∈{1,2,3}，ε是一個(gè)大于0小于1的常數(shù)；通過所提出的改進(jìn)的累積能量算法AME對(duì)圖像幀序列進(jìn)行選擇，選擇適合進(jìn)行動(dòng)作識(shí)別的視頻幀，同時(shí)減少了后續(xù)訓(xùn)練識(shí)別的計(jì)算量；步驟三：將實(shí)驗(yàn)數(shù)據(jù)分為兩類：訓(xùn)練動(dòng)作序列數(shù)據(jù)和測(cè)試動(dòng)作序列數(shù)據(jù)；測(cè)試序列需要與訓(xùn)練序列經(jīng)過相同的數(shù)據(jù)處理，包括特征提取，特征向量構(gòu)建，標(biāo)準(zhǔn)化處理，降維處理中的至少一種。交叉實(shí)驗(yàn)中，本發(fā)明實(shí)施例可以將1/2的人做的動(dòng)作數(shù)據(jù)用于訓(xùn)練，剩下的1/2的人的動(dòng)作數(shù)據(jù)用于測(cè)試。步驟四：利用3D骨骼關(guān)節(jié)點(diǎn)的位置信息構(gòu)建實(shí)驗(yàn)數(shù)據(jù)的位移向量作為動(dòng)作特征；如圖2所示，本發(fā)明實(shí)施例給出了一個(gè)視頻的幀序列，前兩行表示機(jī)器采集視頻幀圖像，后兩行表示原視頻幀圖像。用current表示當(dāng)前幀，prior表示當(dāng)前幀的前一幀，original表示視頻的初始幀；所以Fcc表示靜態(tài)姿勢(shì)特征向量，F(xiàn)cp表示連續(xù)動(dòng)作特征向量，F(xiàn)co表示整體動(dòng)作特征向量。首先，靜態(tài)姿勢(shì)特征是視頻序列中一幀圖像的人體骨骼特征點(diǎn)之間的向量特征，該特征表征了該幀中人體的靜態(tài)的姿勢(shì)特征。獲取人體的20個(gè)關(guān)節(jié)點(diǎn)位置信息來表示人體骨架模型，如圖3所示。用這20個(gè)骨骼關(guān)節(jié)點(diǎn)之間的向量關(guān)系表示靜態(tài)姿勢(shì)特征，也就是如圖3人體骨架所示的19條線段所表示的人體軀干的向量形式。因?yàn)閷?shí)驗(yàn)設(shè)備所獲得的一幀圖像有20個(gè)骨骼關(guān)節(jié)點(diǎn)，每一幀的骨骼關(guān)節(jié)點(diǎn)的位置信息為V＝{v1,v2,v3…v20}，vi＝(xi,yi,zi)T∈R3，其中zi表示紅外攝像頭光軸坐標(biāo)，與圖像平面垂直，yi軸表示實(shí)際當(dāng)中的豎直方向，xi軸表示實(shí)際當(dāng)中的左右方向，骨骼空間坐標(biāo)如圖4所示；假設(shè)當(dāng)前幀為Vc，計(jì)算當(dāng)前幀的靜態(tài)姿勢(shì)特征，其表達(dá)式為：Fcc＝{v20-v3,v1-v3,v2-v3,v1-v8,v8-v10,v10-v12,v2-v9,v9-v11,v11-v13,v3-v4,v4-v7,v7-v5,v7-v6,v5-v14,v6-v15,v14-v16,v15-v17,v16-v18,v17-v19}；通過公式可知Fcc為3*19維的特征向量。其次，連續(xù)動(dòng)作特征是當(dāng)前幀相對(duì)于前一幀骨骼關(guān)節(jié)點(diǎn)之間的位移變化的向量特征，假設(shè)當(dāng)前幀為Vc，當(dāng)前幀的前一幀為Vp，因此骨骼關(guān)節(jié)點(diǎn)的位移變化的特征向量為Fcp，連續(xù)動(dòng)作特征向量的公式如下：Fcp＝{vi-vj|vi∈Vc,vj∈Vp,i＝j(luò)}；可知Fcp為3*20維的特征向量。最后，整體動(dòng)作特征指的是當(dāng)前幀與視頻起始幀之間的骨骼關(guān)節(jié)點(diǎn)之間的位移變化向量特征，當(dāng)前幀為Vc，當(dāng)前視頻序列的起始幀為Vo，則骨骼關(guān)節(jié)點(diǎn)的位移變化特征向量為Fco，公式如下：Fco＝{vi-vj|vi∈Vc,vj∈Vo,i＝j(luò)}；計(jì)算得到Fco為3*20的特征向量。步驟五：在特征提取與特征向量構(gòu)建的過程中，利用的是Kinect設(shè)備得到的3D骨骼關(guān)節(jié)點(diǎn)的位置信息構(gòu)建的位移向量作為動(dòng)作特征，通過結(jié)合動(dòng)態(tài)動(dòng)作和靜態(tài)姿態(tài)構(gòu)建了所需要的用于識(shí)別的動(dòng)作特征向量，結(jié)合這三個(gè)表征不同動(dòng)作特征信息的特征向量作為在該動(dòng)作識(shí)別系統(tǒng)中所使用的動(dòng)作特征向量，構(gòu)建最終特征向量Fc，其表達(dá)式為：Fc＝[Fcc,Fcp,Fco]；步驟六：為了能夠更加合理有效的利用獲得的特征向量，需要對(duì)獲得的特征向量進(jìn)行標(biāo)準(zhǔn)化處理，同時(shí)，為了能夠減小計(jì)算量，提高識(shí)別精度，通過主成份分析法對(duì)特征向量進(jìn)行降維處理，其方法為：假設(shè)有樣本數(shù)據(jù)集X＝[x1,x2,…,xN]∈Rn，它存在C類樣本，Ni代表第i類的樣本數(shù)，為樣本的總數(shù)，xk代表一個(gè)樣本圖像數(shù)據(jù)，表示第i類的第j幅圖像數(shù)據(jù)。所有樣本的均值向量u和類i的樣本均值ui可通過如下方式計(jì)算：根據(jù)式上式，訓(xùn)練樣本的總散布矩陣可定義為其中e為N維單位向量，I為單位矩陣。主成分分析通過下式的線性變換把圖像xk映射到低維空間中ykyk＝aTxk,k＝1,2,…N式中，xk∈Rn，a∈Rn，是投影方向。主成分分析的目的就是通過尋找最大方差來尋找投影方向a，相反就是移除方差最小的投影方法w，即滿足下式步驟七：使用支持向量機(jī)對(duì)動(dòng)作特征進(jìn)行訓(xùn)練，然后用訓(xùn)練得到的模型分類器識(shí)別測(cè)試動(dòng)作序列。在實(shí)際應(yīng)用中，數(shù)據(jù)集常常帶有孤立點(diǎn)或噪聲。針對(duì)標(biāo)準(zhǔn)支持向量機(jī)對(duì)噪聲點(diǎn)或孤立點(diǎn)敏感的問題，采用臺(tái)灣學(xué)者ChunfuLin，ShengdeWang等人提出的將隸屬度函數(shù)引入支持向量機(jī)，構(gòu)建一種單邊加權(quán)模糊支持向量機(jī)(fuzzysupportvectormachine,FSVM)。FSVM的基本思想是：訓(xùn)練樣本集中的每個(gè)樣本對(duì)于分類的貢獻(xiàn)程度是不同的，根據(jù)樣本對(duì)于分類的重要程度賦予樣本不同的隸屬度，這樣可以有效地減少噪聲和孤立點(diǎn)對(duì)于分類性能造成的影響。使用基于標(biāo)準(zhǔn)模型的模糊支持向量機(jī)對(duì)動(dòng)作特征進(jìn)行訓(xùn)練，其特點(diǎn)在于：SVM的基本思想是將那些在低維空間無法分類的樣本通過一個(gè)非線性變換映射到高維的特征空間，這樣在高維空間中樣本變?yōu)榫€性可分的，此時(shí)構(gòu)造出一個(gè)超平面作為分類超平面，并且使得所分樣本之間的間隔達(dá)到最大，假定大小為n的訓(xùn)練樣本集{(xi,yi),i＝1,2,…,n}，其中yi＝±1，為樣本的類別屬性(正類與負(fù)類)，學(xué)習(xí)的目標(biāo)是構(gòu)造一個(gè)決策函數(shù)，將測(cè)試數(shù)據(jù)盡可能正確分類。d維空間中分類面方程為：wx+b＝0，其中w表示d維向量，x為樣本的向量表示，對(duì)所有的樣本模糊化，得到每個(gè)樣本的隸屬度值si，于是訓(xùn)練集就變成了模糊訓(xùn)練集，如下T＝{(x1,y1,s1),(x2,y2,s2),…,(xn,yn,sn)}，其中xk∈Rn，對(duì)于二分類問題，yi∈{-1,1}，σi≤si≤1，σi為充分小的正數(shù)。則求解最優(yōu)分類超平面的數(shù)學(xué)模型為下列優(yōu)化問題：s.t.yi(wTφ(xi)+b)≥1-ξi,i＝1,2,…,n，ξi≥0,i＝1,2,…,n其中wT為w的轉(zhuǎn)置，上式優(yōu)化問題的Lagrange函數(shù)為：其中，αi和βi為拉格朗日乘子，且αi＞0，βi＞0。其KKT(Karush-Kuhn-Tucker)條件為：其中x＝(x1,…,xn)→φ(x)＝(φ1(x),…φn(x))，這個(gè)步驟等價(jià)于將輸入X空間映射到一個(gè)新的空間，F(xiàn)＝{φ(x)|x∈X}。進(jìn)一步推導(dǎo)，得到原問題的對(duì)偶問題為：s.t.0≤αi≤siC,i＝1,…,n，其中K(xi,xj)為徑向基核函數(shù)，給定了樣本的模糊隸屬度si后，就可以用求解標(biāo)準(zhǔn)支持向量機(jī)的算法來求解優(yōu)化問題，待得到超平面參數(shù)α和b之后，就可以用判別函數(shù)其中式中sign()為符號(hào)函數(shù)，由于非支持向量對(duì)應(yīng)的αi均為O，因此，式中的求和實(shí)際上只對(duì)支持向量進(jìn)行，最后根據(jù)分類函數(shù)的正負(fù)判別樣本x的所屬類別，對(duì)新的樣本x進(jìn)行識(shí)別；步驟八：訓(xùn)練得到的模型分類器識(shí)別測(cè)試動(dòng)作序列；第九步：輸出結(jié)果，圖5為交叉實(shí)驗(yàn)識(shí)別率隨維度變化的折線圖，其中x軸代表特征向量維度，y軸代表識(shí)別率；其中，測(cè)試序列需要與訓(xùn)練序列經(jīng)過相同的數(shù)據(jù)處理，包括(特征提取，特征向量構(gòu)建，標(biāo)準(zhǔn)化處理，降維處理)；進(jìn)一步地，步驟八中的模型分類器是將訓(xùn)練樣本通過步驟六、七處理后得到的訓(xùn)練模型。其中，步驟五中的特征向量結(jié)合了動(dòng)態(tài)屬性以及靜態(tài)屬性的特征向量，靜態(tài)特征指的是靜態(tài)的姿勢(shì)特征，表征的是一幀圖像中各個(gè)軀干的位置向量信息；動(dòng)態(tài)特征動(dòng)態(tài)的動(dòng)作姿勢(shì)變化，包含兩部分，一部分是當(dāng)前幀相對(duì)于前一幀的骨骼關(guān)節(jié)點(diǎn)的位移變化，另一部分是當(dāng)前幀與首幀的骨骼關(guān)節(jié)點(diǎn)的位移變化。本發(fā)明實(shí)施例在MSRAction3D數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)從而評(píng)估所提出的方法具體結(jié)果如表1和圖5所示，表1為發(fā)明實(shí)施例所構(gòu)建的識(shí)別系統(tǒng)與當(dāng)前比較先進(jìn)的識(shí)別算法：bag-of-3D-points和HOJ3D在交叉實(shí)驗(yàn)環(huán)境下的識(shí)別結(jié)果的對(duì)比。結(jié)果顯示，當(dāng)維度一定時(shí)具有較高的識(shí)別效率，其性能與一些先進(jìn)的且具有代表性的算法具有可比性。表1識(shí)別方法交叉實(shí)驗(yàn)Bag-of-3D-points[33]74.7HOJ3D[34]79.0我們的識(shí)別系統(tǒng)77.2上述實(shí)施例僅例示性說明本發(fā)明實(shí)施例的原理及其功效，而非用于限制本發(fā)明實(shí)施例。任何本領(lǐng)域技術(shù)人員均可在不違背本發(fā)明實(shí)施例的精神及范疇下，對(duì)上述實(shí)施例進(jìn)行修飾與改變。因此，本發(fā)明實(shí)施例的權(quán)利保護(hù)范圍，，應(yīng)如權(quán)利要求書所列。當(dāng)前第1頁(yè)1 2 3