本發明屬于視頻處理技術領域，更進一步涉及一種行為識別方法，可用于異常行為檢測和人機交互。

背景技術：

近年來，計算機視覺作為一門新興學科發展十分迅速，行為識別作為視頻分析和理解的關鍵技術，重要的學術價值、潛在的商業價值和巨大的應用前景使其迅速成為計算機視覺領域研究的熱點和難點，已廣泛應用于視頻檢索、智能監控、機器人導航、智能交通及游戲娛樂等人機交互領域，越來越多的學者和機構在相關方面相繼進行了大量的研究工作。人體行為分析的關鍵就是捕獲視頻中的運動信息以及幀序列間的關系，如何有效的從視頻數據中獲取時空信息成為行為識別領域的研究重點。一些學者發現小波變換多分辨率分析能力和優秀的時頻分析特性有助于時空信息的挖掘和提取，將其與現有特征描述方法相結合用于行為識別。

(1).shaol,gaor.awaveletbasedlocaldescriptorforhumanactionrecognition[c]//bmvc.2010:1-10。這種方法將二維小波變換與興趣點檢測方法相結合用于人體行為識別。該方法在時空興趣點周圍的立方體中進行2d小波分解，可以獲得具備鑒別性和可靠性的描述子，特征維度低，對噪聲、光照等影響具有一定的容許性，但該方法在進行小波分解時只選取局部立方體內的三個代表平面，對數據的覆蓋范圍不足，獲取空時信息不充分。此外對于運動或背景較復雜的情況，基于興趣點檢測方法魯棒性較差。

(2).omidyeganehm,ghaemmaghamis,shirmohammadis.applicationof3d-waveletstatisticstovideoanalysis[j].multimediatoolsandapplications,2013,65(3):441-465。這種方法將3d小波變換與概率統計方法相結合用于人體行為識別。該方法將小波系數使用廣義高斯分布擬合，能夠在一定程度上獲取視頻序列空時信息以及小波系數間的依賴性，選用概率模型參數作為特征描述子有助于特征降維，但是僅采用全局特征表示方法對視頻結構信息獲取不足，且對復雜背景、噪聲等干擾較為敏感。

視頻中的二維空間域和一維時間域的特性存在很大的差異，因此從直覺上應該針對這兩者采用不同的處理方式而不是僅將二維空間方法擴展應用于聯合三維空間，沿著視頻序列對興趣點進行跟蹤是近些年學者們發現的適于處理上述問題的方法，然而目前并沒有學者使用小波變換提取視頻中運動軌跡，以將軌跡的優勢引入小波域行為識別。

技術實現要素：

本發明的目的在于針對上述已有技術的不足，提出一種基于3d平穩小波的運動軌跡行為識別方法，以更充分地提取視頻序列中的時空信息，提高人體行為識別準確率。

實現本發明目的的方案是：利用時空可分離的3d平穩小波變換提取視頻中的運動信息，通過基于熵的高頻和中頻小波系數子帶加權融合和基于能量閾值的特征點提取，提高對噪聲、背景干擾的魯棒性，依據連續幀間特征點小波描述子歐式距離最小原則對特征點進行追蹤提取運動軌跡，充分獲取視頻時空信息，并進一步濾除無關特征點。在所提取軌跡周圍按不同系數子帶方向統計并構建能量特征，最后使用詞袋模型編碼特征后，輸入svm分類器實現行為識別，其具體實現步驟包括如下：

(1)對行為視頻進行時空可分離的3d平穩小波分解：

(1a)將彩色視頻數據轉換為灰度數據，完成對視頻數據的預處理；

(1b)沿時間維方向對視頻數據進行一維平穩小波分解，分解總級數為2，得到三個包含時域信息的系數子帶：低頻系數子帶tll，高頻系數子帶th和中頻系數子帶tlh；

(1c)分別逐幀對三個小波系數子帶tll，th和tlh進行二維平穩小波分解，獲取包含時空域信息的12×ls個12個方向的系數子帶：tll-llj，tll-lhj，tll-hlj，tll-hhj；th-llj，th-lhj，th-hlj，th-hhj；tlh-llj，tlh-lhj，tlh-hlj，tlh-hhj，其中j為小波分解級數，j＝1,2,...,ls，ls為分解總級數；

(2)基于系數子帶的熵對高頻th和中頻子帶tlh進行加權：

(2a)將高頻子帶th和中頻子帶tlh中系數值量化到[0-255]的灰度值范圍內，分別在兩個頻率子帶內，計算高頻子帶th的熵eh和中頻子帶tlh的熵em；

(2b)計算高頻子帶th和中頻子帶tlh的權值：

其中，wh和wm分別表示高頻子帶th和中頻子帶tlh對應的權值，表示向上取整；

(2c)對高頻子帶th和中頻子帶tlh進行加權融合，得到融合后的系數子帶：

fu＝wh×th+wm×tlh；

(3)基于系數能量閾值在融合后的子帶內提取特征點：

(3a)對于融合之后的系數子帶fu中的每一個點，在其三維立方體鄰域內，計算該鄰域中所有系數值的平均能量值

(3b)將作為融合之后的系數子帶fu中的每一個系數的能量值e(x,y,t)，設定閾值為te，通過比較e(x,y,t)和te的大小，區分出特征點：

若e(x,y,t)≥te，則認為該能量值對應的像素點為特征點，

若e(x,y,t)＜te，則認為該能量值對應的像素點不是特征點；

(4)使用步驟(1c)中獲得的各方向小波系數子帶，對特征點進行描述，得到特征點的小波系數描述子；

(5)依據兩點的小波系數描述子間的歐式距離最小原則，對相鄰幀間特征點進行匹配，得到視頻的運動軌跡；

(6)在沿軌跡彎曲的立方體內，構造小波方向能量直方圖特征：

(6a)以提取的各條軌跡為中心，構建沿軌跡彎曲的立方體；

(6b)以步驟(1c)中獲得的子帶tlh-lhj為例，根據步驟(3)中能量計算方法，計算tlh-lhj中系數的能量值；

(6c)在沿軌跡彎曲的立方體中，將各級小波分解所得子帶tlh-llj的系數所對應的能量值進行直方圖統計，得到tll-llj子帶方向的能量直方圖向量ve；

(6d)依次計算高頻子帶th分解所得的th-llj，th-lhj，th-hlj，th-hhj，以及中頻子帶tlh分解所得的tlh-llj，tlh-lhj，tlh-hlj，tlh-hhj，共八個子帶方向的能量直方圖向量，并將八個能量直方圖串接，得到描述當前軌跡的小波方向能量直方圖特征vh＝[ve1,ve2,...,ved,...,ve8]，其中，ved表示第d個子帶方向的能量直方圖向量，d＝1,2,...,8；

(7)將所有視頻樣本的小波方向能量直方圖特征劃分為訓練集vhtr和測試集vhte，使用詞袋模型獲到訓練集vhtr的直方圖向量htr和測試集vhte的直方圖向量hte；

(8)使用訓練集的直方圖向量htr訓練svm分類器，將測試集的直方圖向量hte輸入到訓練好的svm中，輸出測試集vhte對應的測試樣本所屬的行為類別。

本發明與現有技術相比具有以下優點：

1)本發明將軌跡跟蹤引入小波域行為識別，能更有效的挖掘和獲取視頻中空時信息；同時結合基于熵的子帶加權和基于能量閾值的特征點提取，提高了對背景、光照、噪聲等的魯棒性，并有效降低算法的計算復雜度；

2)本發明采用可時空分離的3d平穩小波變換，在保證平移穩定性的情況下，能獲得更多方向的小波系數子帶，并進一步降低計算復雜度；通過對小波系數能量的分方向統計，提高了系數能量特征的判別性。

附圖說明

圖1是本發明的實現流程圖。

具體實施方式

參照圖1，本發明的基于3d平穩小波的運動軌跡行為識別方法，步驟如下：

步驟1，使用時空可分離的3d平穩小波變換對行為視頻進行分解，獲得包含時域運動信息的高頻和中頻系數子帶以及包含空時信息的各方向小波系數子帶。

將行為視頻視為由x,y,t三個方向構成的三維直角坐標系中的三維數據，其中x,y分別表示視頻幀的寬方向和高方向，t表示時間方向；

3d平穩小波變換的實現過程是依次沿著x、y和t三個方向進行1d小波變換。為了獲取更多結構信息，本發明采用時空可分離的3d平穩小波分解，首先沿著時間維t方向進行1d平穩小波變換，再對所獲得的時域子帶依次沿著x和y方向進行1d平穩小波變換，也就是空間維的2d平穩小波變換，此分解方法可以獲得更多方向子帶，且時間維和空間維的小波分解總級數可獨立選擇，能在一定程度上降低計算復雜度，其分解步驟如下：

(1.1)將數據集中的視頻樣本進行由彩色數據轉換為灰度數據的預處理，以降低計算復雜度；

(1.2)沿視頻數據t方向進行兩級1d平穩小波分解，即沿時間維方向，將預處理后的視頻數據分解為包含低頻系數子帶tll，高頻系數子帶th和中頻系數子帶tlh的三個時域系數子帶；

(1.3)分別逐幀對三個小波系數子帶tll，th和tlh進行2d平穩小波分解，獲取包含時空域信息的12×ls個12個方向的系數子帶：tll-llj，tll-lhj，tll-hlj，tll-hhj；th-llj，th-lhj，th-hlj，th-hhj；tlh-llj，tlh-lhj，tlh-hlj，tlh-hhj，其中j為小波分解級數，j＝1,2,...,ls，ls為分解總級數。

步驟2，利用熵值對步驟1中獲取的時域高頻子帶th和中頻子帶tlh進行加權，實現不同頻率的子帶間融合。

(2.1)高頻子帶th表示行為視頻幀間變化較劇烈的信息，即主要運動信息，系數值分布較集中；而中頻子帶tlh是分解低頻系數子帶tll所得，因此比高頻子帶th包含較多的近似信息，其中有非主要運動部位附帶的運動信息或干擾信息，系數值分布較分散；系數值的分散程度可以用系數子帶的熵來衡量，將高頻子帶th和中頻子帶tlh中系數值量化到[0-255]的灰度值范圍內，分別在兩個頻率子帶內，計算高頻子帶th的熵eh和中頻子帶tlh的熵em：

其中，mi表示高頻子帶th中，灰度值為i的系數所占比例，ni表示中頻子帶tlh中，灰度值為i的系數所占比例，log的底選為2。

(2.2)根據子帶內系數值的分散程度與子帶成正比，高頻子帶th的熵小于中頻子帶tlh的熵，且th包含的信息比中頻子帶tlh包含的運動信息更重要的特性，在進行加權處理時，給th設置較大的權值wh，給tlh設置較小的權值wm，這兩個權值wh和wm的計算公式如下：

其中，wh和wm分別表示高頻子帶th和中頻子帶tlh對應的權值，表示向上取整；加權融合對非主要運動和干擾信息有一定的抑制作用；

(2.2)對高頻子帶th和中頻子帶tlh進行加權融合，得到融合后的系數子帶：

fu＝wh×th+wm×tlh。

步驟3，基于系數能量閾值在融合后的子帶內提取特征點。

(3.1)對于融合之后的系數子帶fu中的每一個點，在其三維立方體鄰域內，計算該鄰域中所有系數值的平均能量值

其中，n為三維鄰域中系數的總個數，w(x,y,t)表示融合后系數子帶fu中位置為(x,y,t)的系數值；

(3.2)將作為融合之后的系數子帶fu中的每一個點的能量值e(x,y,t)，設定閾值為te，通過比較e(x,y,t)和te的大小，區分出特征點：

若e(x,y,t)≥te，則說明該能量值對應的像素點屬于主要運動的點，因此認為其是特征點；

若e(x,y,t)＜te，則說明該能量值對應的像素點對應非運動點，或者其產生的運動是非主要運動或是干擾運動，因此認為其不是特征點。

步驟4，使用步驟(1.3)中獲得的各方向小波系數子帶，對特征點進行描述，得到特征點的小波系數描述子，具體實現如下：

(4.1)以系數子帶tll-llj為例，將各級小波分解所得子帶tll-llj中與步驟(3.2)得到的一個特征點相對應的系數連接為一個向量，得到子帶tll-llj中該特征點的描述向量其中，aj為特征點在第j級子帶中對應的系數；

(4.2)計算步驟(1c)中得到的12個方向的系數子帶中特征點fp對應的描述向量，并將這12個向量串接，得到特征點fp的小波系數描述子v＝[v1,v2,...,vk,...v12]，其中，vk表示第k個方向系數子帶中特征點fp對應的描述向量，k＝1,2,...,12。

步驟5，依據小波系數描述子間歐式距離最小原則，通過相鄰幀間特征點匹配，實現視頻運動軌跡的提取：

(5.1)選取視頻的第t幀為軌跡起始幀，對于第t幀中的一個特征點pt，依據特征點的小波系數描述子間歐式距離最小原則，在t+1幀中的一個m×m的窗口中尋找特征點pt的最佳匹配點pt+1：

其中，des(pt)表示當前幀特征點pt的小波系數描述子，des(pt+1)表示下一幀中的候選特征點pt+1的小波系數描述子，t＝1,2,...,nf，nf為視頻的總幀數；

當在t+1幀的鄰域窗口中未匹配到特征點pt+1時，則放棄當前軌跡，從第t幀中的下一個特征點開始新的特征點匹配；

(5.2)對步驟(5.1)中匹配到的候選特征點pt+1，以t+1幀為當前幀，按照步驟(5.1)中的方法，在t+2幀的指定窗口中為其匹配特征點pt+2，得到沿時間方向逐漸延伸的軌跡；

(5.3)重復步驟(5.2)，直到軌跡長度達到l時，從軌跡起始幀中的下一個特征點重新開始下一條軌跡的跟蹤，其中，l是一個人為設定的固定值，可以避免因為軌跡過長而造成的軌跡漂移問題；

(5.4)在遍歷了當前軌跡起始幀中所有的特征點之后，將下一幀作為新的軌跡起始幀，重復步驟(5.1)到(5.3)進行軌跡的跟蹤，直到軌跡起始幀為第nf-l+2幀時，軌跡跟蹤結束，得到視頻中所有的運動軌跡，這樣可以保證軌跡能覆蓋視頻絕大部分信息，此時獲得的一系列特征點的坐標，就是從該視頻中提取的人體行為運動軌跡。

步驟6，在沿軌跡彎曲的立方體內，構造小波方向能量直方圖特征：

(6.1)在每條軌跡周圍構建的一個大小均為c×r×l的立方體，其中c和r分別為立方體一個時間點橫截面的長和寬，l為軌跡的長度。

(6.2)以步驟(1.3)中獲得的子帶tlh-lhj為例，根據步驟3中能量的計算方法，計算tlh-lhj中系數的能量值；

(6c)在沿軌跡彎曲的立方體中，將各級小波分解所得子帶tlh-llj的系數所對應的能量值進行直方圖統計，得到tll-llj子帶方向的能量直方圖向量ve；

(6d)依次計算高頻子帶th分解所得的th-llj，th-lhj，th-hlj，th-hhj，以及中頻子帶tlh分解所得的tlh-llj，tlh-lhj，tlh-hlj，tlh-hhj，共八個子帶方向的能量直方圖向量，并將八個能量直方圖串接，得到描述當前軌跡的小波方向能量直方圖特征vh＝[ve1,ve2,...,ved,...,ve8]，其中，ved表示第d個子帶方向的能量直方圖向量，d＝1,2,...,8，該方向能量直方圖特征在不同方向上對小波系數能量進行統計，增加了特征的鑒別性。

步驟7，對小波方向能量直方圖特征構建詞袋模型，獲取視頻的表示，并訓練svm分類器。

(7.1)根據不同人體數據集常用劃分比例，將所有視頻樣本對應的小波方向能量直方圖特征劃分為訓練集vhtr和測試集vhte；以人體行為數據庫ucf-sports為例，該數據庫包含10種不同的行為，共150個視頻樣本，每次將其中149個樣本對應的小波方向能量直方圖特征作為訓練集，剩余1個樣本對應的小波方向能量直方圖特征作為測試集；

(7.2)對訓練集vhtr采用k-means聚類方法生成詞典dide×ce，通過詞典dide×ce，將訓練集vhtr和測試集vhte進行量化編碼，得到訓練集vhtr的直方圖向量htr和測試集vhte的直方圖向量hte，其中de表示特征維數，ce表示聚類中心數。

步驟8，使用訓練集的直方圖向量htr訓練svm分類器，將測試集的直方圖向量hte輸入到訓練好的svm中，輸出測試集vhte對應的測試樣本所屬的行為類別。

為驗證本發明的有效性，在常用的人體行為數據庫kth和ucf-sports上，利用本發明進行行為識別；

識別的結果為：在數據庫kth上的正確識別率為96.32％，在數據庫ucf-sports上的正確識別率為95.33％。