一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征的提取方法
【專利摘要】本發(fā)明公開了一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征提取方法，該方法包括以下步驟：步驟1：收集待處理的視頻數(shù)據(jù)文件；步驟2：對(duì)于待處理的視頻數(shù)據(jù)文件，提取三維時(shí)空局部特征；步驟3：對(duì)于每一個(gè)三維時(shí)空局部特征，沿空間維度展開得到二維時(shí)空局部特征；步驟4：將二維時(shí)空局部特征Y作為線性動(dòng)態(tài)系統(tǒng)的輸出，學(xué)習(xí)得到線性動(dòng)態(tài)系統(tǒng)的模型參數(shù)，作為所述二維時(shí)空局部特征Y的描述子。本發(fā)明提取的描述子能夠同時(shí)表達(dá)時(shí)空局部特征的靜態(tài)表觀信息和運(yùn)動(dòng)信息，可以廣泛應(yīng)用在視頻內(nèi)容檢索，敏感視頻檢測與過濾以及智能視頻監(jiān)控等業(yè)務(wù)中。
【專利說明】一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征的提取方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理及計(jì)算機(jī)應(yīng)用【技術(shù)領(lǐng)域】，特別涉及一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征的提取方法。

【背景技術(shù)】
[0002]隨著社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)的飛速發(fā)展，視頻已被廣泛地應(yīng)用于各種場所，例如，在銀行、機(jī)場、居民生活區(qū)等地區(qū)安裝用于安防的監(jiān)控系統(tǒng)，每天產(chǎn)生大量的監(jiān)控視頻數(shù)據(jù)；再例如，在互聯(lián)網(wǎng)上存儲(chǔ)著海量的視頻節(jié)目，而且每時(shí)每刻還在不斷地高速增長。如何在如此海量的視頻數(shù)據(jù)中快速準(zhǔn)確地檢索到我們所期望的內(nèi)容，是一個(gè)具有重要研究價(jià)值和巨大應(yīng)用價(jià)值的實(shí)際問題，這一問題的有效解決將對(duì)相關(guān)產(chǎn)業(yè)的深入發(fā)展起到重要的促進(jìn)和推動(dòng)作用。
[0003]視頻內(nèi)容分析技術(shù)的首要環(huán)節(jié)是提取視頻的特征，然后對(duì)這些特征進(jìn)行描述，將其表示為一個(gè)向量。在視頻特征提取上，時(shí)空局部特征因?yàn)榫哂行D(zhuǎn)、尺度、光照以及遮擋等不變性的優(yōu)點(diǎn)而得到廣泛的應(yīng)用。在視頻特征描述上，目前常用的方法包括梯度方向直方圖(H0G)、光流直方圖(HOF)和運(yùn)動(dòng)邊界直方圖(MBH)等。梯度方向直方圖通過計(jì)算時(shí)空局部特征中每幀圖像的梯度方向信息來描述局部特征。這種方法注重特征的靜態(tài)表觀信息，但忽略了特征中幀與幀之間的運(yùn)動(dòng)信息。光流直方圖著重考慮了特征中幀與幀之間的運(yùn)動(dòng)信息，但這種方法很難處理鏡頭自身運(yùn)動(dòng)的情況。運(yùn)動(dòng)邊界直方圖在光流直方圖的基礎(chǔ)上，通過計(jì)算光流場的梯度信息，能有效過濾鏡頭自身運(yùn)動(dòng)的信息，因此能更好地描述視頻中感興趣目標(biāo)的運(yùn)動(dòng)信息。
[0004]在實(shí)際的視頻內(nèi)容分析系統(tǒng)中，一個(gè)具有共識(shí)的觀點(diǎn)是:特征的靜態(tài)表觀信息和運(yùn)動(dòng)信息在描述視頻特征方面，具有同等重要的地位。為此目的，一部分研究工作通過融合上述的特征描述方法(H0G、H0F和MBH)來實(shí)現(xiàn)。研究結(jié)果也表明融合方法在大多數(shù)情況下要優(yōu)于單個(gè)特征描述方法。本發(fā)明公開的方法與已有方法不同，本發(fā)明方法通過將時(shí)空局部特征看作線性動(dòng)態(tài)系統(tǒng)的輸出，反求出線性動(dòng)態(tài)系統(tǒng)的模型參數(shù)，并將該模型參數(shù)作為時(shí)空局部特征的描述子。這種全新的描述子能夠同時(shí)表達(dá)時(shí)空局部特征的靜態(tài)表觀信息和運(yùn)動(dòng)信息，因此不需要進(jìn)行復(fù)雜的融合操作。在計(jì)算結(jié)果上，這種描述子的區(qū)分判別能力也優(yōu)于上述單個(gè)方法、甚至多種方法的融合。


【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明的主要目的是提供一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征的提取方法，該方法將時(shí)空局部特征看作線性動(dòng)態(tài)系統(tǒng)的輸出，反求出線性動(dòng)態(tài)系統(tǒng)的模型參數(shù)，并將該模型參數(shù)作為時(shí)空局部特征的描述子來同時(shí)刻畫特征的靜態(tài)表觀信息和動(dòng)態(tài)信肩、O
[0006]為達(dá)到上述目的，本發(fā)明提出一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征提取方法，該方法包括以下步驟:
[0007]步驟1:收集待處理的視頻數(shù)據(jù)文件；
[0008]步驟2:對(duì)于所述待處理的視頻數(shù)據(jù)文件，提取大小為NXNXL的三維時(shí)空局部特征；
[0009]步驟3:對(duì)于每一個(gè)三維時(shí)空局部特征，沿空間維度展開得到二維時(shí)空局部特征
Y；
[0010]步驟4:將所述二維時(shí)空局部特征Y作為線性動(dòng)態(tài)系統(tǒng)的輸出，學(xué)習(xí)得到所述線性動(dòng)態(tài)系統(tǒng)的模型參數(shù)，作為所述二維時(shí)空局部特征Y的描述子。
[0011]根據(jù)上述技術(shù)方案，本發(fā)明具有以下有益效果:
[0012]1、在本發(fā)明提供的基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征提取方法中，將時(shí)空局部特征看作線性動(dòng)態(tài)系統(tǒng)的輸出，用模型參數(shù)作為時(shí)空局部特征的描述子。這種全新的描述子能夠同時(shí)表達(dá)時(shí)空局部特征的靜態(tài)表觀信息和運(yùn)動(dòng)信息，從一個(gè)全新的角度解決了如何同時(shí)捕捉視頻表觀信息和運(yùn)動(dòng)信息的難題。
[0013]2、本發(fā)明所采用的穩(wěn)態(tài)最小二乘的模型參數(shù)學(xué)習(xí)方法，能夠以非常小的計(jì)算代價(jià)學(xué)習(xí)得到模型參數(shù)的次優(yōu)閉合解。
[0014]因此，本發(fā)明可以廣泛應(yīng)用在視頻內(nèi)容檢索，敏感視頻檢測與過濾以及智能視頻監(jiān)控等業(yè)務(wù)中。

【專利附圖】

【附圖說明】
[0015]圖1為本發(fā)明提供的一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征提取方法的流程圖。

【具體實(shí)施方式】
[0016]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。
[0017]圖1為本發(fā)明提供的一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征提取方法的流程圖，如圖1所示，所述方法包括以下步驟:
[0018]步驟1:收集待處理的視頻數(shù)據(jù)文件；
[0019]步驟2:對(duì)于所述待處理的視頻數(shù)據(jù)文件，提取大小為NXNXL的三維時(shí)空局部特征；
[0020]所述步驟2進(jìn)一步包括以下步驟:
[0021]步驟21，計(jì)算每幀視頻圖像的興趣點(diǎn)和光流場；
[0022]其中，所述興趣點(diǎn)可以是SIFT，MSER等局部稀疏興趣點(diǎn)，也可以是根據(jù)等間隔采樣得到的稠密興趣點(diǎn)。
[0023]步驟22，在時(shí)間尺度上對(duì)得到的興趣點(diǎn)進(jìn)行匹配跟蹤，得到興趣點(diǎn)軌跡；
[0024]步驟23，將以興趣點(diǎn)軌跡為中心的三維立方體作為時(shí)空局部特征，所述時(shí)空局部特征為大小為NXNX L的三維時(shí)空局部特征，其中，NXN是每幀視頻圖像上以興趣點(diǎn)為中心的局部像素塊大小，L是時(shí)間方向上的幀數(shù)，所有這樣的時(shí)空局部特征構(gòu)成了所述視頻數(shù)據(jù)文件的時(shí)空局部特征集。
[0025]步驟3:對(duì)于每一個(gè)三維時(shí)空局部特征，沿空間維度展開得到二維時(shí)空局部特征
Y；
[0026]所述步驟3具體為:將所述三維時(shí)空局部特征中的局部像素塊沿空間維度展開成向量，這樣每幀視頻圖像的二維局部像素塊就變換為一個(gè)長度為S = NXN的向量，結(jié)合時(shí)間維度后，三維時(shí)空局部特征就變換為以大小為SXL的二維矩陣表示的二維時(shí)空局部特征Y;
[0027]其中，在所述三維時(shí)空局部特征大小的選取上，N—般選取為32或16，過大則表觀變化劇烈，過小則不足以刻畫局部表觀信息；L 一般選取為15-20之間，軌跡過長容易造成跟蹤失敗，并且可能不滿足線性系統(tǒng)條件；軌跡過短則動(dòng)態(tài)特性不明顯，同時(shí)也造成軌跡過多，計(jì)算量急劇增加。
[0028]步驟4:將所述二維時(shí)空局部特征Y作為線性動(dòng)態(tài)系統(tǒng)的輸出，學(xué)習(xí)得到所述線性動(dòng)態(tài)系統(tǒng)的模型參數(shù)，作為所述二維時(shí)空局部特征Y的描述子；
[0029]所述步驟4進(jìn)一步包括以下步驟:
[0030]步驟41，令二維時(shí)空局部特征Y滿足線性動(dòng)態(tài)系統(tǒng)模型，如下式所示:
(Xm =Axt+Vt
[0031]<
[yt = Lxt + W1
[0032]其中，Y = {Υι, - ,Yi, -,yj，其中yi是第i幀像素塊變換得到的列向量，下標(biāo)t表示離散的視頻幀，Xt表示線性動(dòng)態(tài)系統(tǒng)的狀態(tài)變量，其維數(shù)稱為線性動(dòng)態(tài)系統(tǒng)的階數(shù)，通常這個(gè)階數(shù)遠(yuǎn)遠(yuǎn)小于觀測變量It的維度S，其取值范圍為3-10之間；yt表示線性動(dòng)態(tài)系統(tǒng)的觀測變量；vt，wt表示系統(tǒng)的噪音變量;A，C表示線性動(dòng)態(tài)系統(tǒng)的模型參數(shù)，其中A表示系統(tǒng)狀態(tài)之間的轉(zhuǎn)移關(guān)系，它反映的是系統(tǒng)的動(dòng)態(tài)特性；C表示系統(tǒng)觀測與狀態(tài)之間的映射關(guān)系，它反映的是系統(tǒng)的表觀特征，因此模型參數(shù)A，C可以用來作為時(shí)空局部特征Y的描述子。
[0033]步驟42，求解所述線性動(dòng)態(tài)系統(tǒng)模型中的模型參數(shù)A，C，作為所述二維時(shí)空局部特征Y的描述子。
[0034]所述步驟42進(jìn)一步包括以下步驟:
[0035]步驟421，對(duì)于所述二維時(shí)空局部特征Y進(jìn)行SVD分解，得到:
[0036]Y = UXVt,
[0037]其中，Y表示二維時(shí)空局部特征；U和V表示正交特征向量；Σ表示特征值矩陣。
[0038]步驟422，根據(jù)所述SVD分解結(jié)果，得到模型參數(shù)C和系統(tǒng)狀態(tài)變量X1^:
[0039]C = U，X1:L = Σντ。
[0040]步驟423，為了估計(jì)得到穩(wěn)態(tài)最小二乘意義下的模型參數(shù)Α，建立目標(biāo)函數(shù):
[0041 ] A = mg min ||^A"1:^l - X2:L | = arg min {a1 Pa -1q1 α+r},
[0042]其中，
a = vec(A), q = vec(Xu^lX111), P = I?X[:L^), r = ir(Xl2:LX2±)，vec(.)表示將矩陣沿列變換為向量，In表示η階單位矩陣，?表示卷積操作，tr表示求跡操作。
[0043]步驟424，建立穩(wěn)態(tài)線性動(dòng)態(tài)系統(tǒng)約束；
[0044]該步驟中，對(duì)于一個(gè)穩(wěn)態(tài)的線性動(dòng)態(tài)系統(tǒng)，需要滿足如下約束:模型參數(shù)A的最大特征值I，于是得到如下不等式:
[0045]A1 = u[Avl = ,Kv1M17 A) = a<l,
[0046]其中，U1和V1表示特征值λ I對(duì)應(yīng)的特征向量,g = Pec(IZlI)1 )。
[0047]步驟425，將所述穩(wěn)態(tài)線性動(dòng)態(tài)系統(tǒng)約束與所述目標(biāo)函數(shù)相結(jié)合，得到二次優(yōu)化函數(shù):
[0048]目標(biāo)函數(shù)aTPa_2qTa+r
[0049]約束條件gTa彡I。
[0050]步驟426，通過對(duì)于所述二次優(yōu)化函數(shù)進(jìn)行求解，即可得到模型參數(shù)A，將所述模型參數(shù)A，C作為所述二維時(shí)空局部特征Y的描述子。
[0051]步驟5:對(duì)于得到的所述二維時(shí)空局部特征Y的描述子進(jìn)行存儲(chǔ)，從而實(shí)現(xiàn)基于線性動(dòng)態(tài)系統(tǒng)的、能夠同時(shí)描述時(shí)空局部特征的靜態(tài)表觀信息和動(dòng)態(tài)信息的時(shí)空局部特征的提取。
[0052]以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于線性動(dòng)態(tài)系統(tǒng)的時(shí)空局部特征提取方法，其特征在于，該方法包括以下步驟: 步驟1:收集待處理的視頻數(shù)據(jù)文件； 步驟2:對(duì)于所述待處理的視頻數(shù)據(jù)文件，提取大小為NXNXL的三維時(shí)空局部特征；步驟3:對(duì)于每一個(gè)三維時(shí)空局部特征，沿空間維度展開得到二維時(shí)空局部特征Y ；步驟4:將所述二維時(shí)空局部特征Y作為線性動(dòng)態(tài)系統(tǒng)的輸出，學(xué)習(xí)得到所述線性動(dòng)態(tài)系統(tǒng)的模型參數(shù)，作為所述二維時(shí)空局部特征Y的描述子。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟2進(jìn)一步包括以下步驟: 步驟21，計(jì)算每幀視頻圖像的興趣點(diǎn)和光流場； 步驟22，在時(shí)間尺度上對(duì)得到的興趣點(diǎn)進(jìn)行匹配跟蹤，得到興趣點(diǎn)軌跡； 步驟23，將以興趣點(diǎn)軌跡為中心的三維立方體作為時(shí)空局部特征，所述時(shí)空局部特征的大小為NXNXL，其中，NXN是每幀視頻圖像上以興趣點(diǎn)為中心的局部像素塊大小，L是時(shí)間方向上的幀數(shù)，所有這樣的時(shí)空局部特征構(gòu)成了所述視頻數(shù)據(jù)文件的時(shí)空局部特征集。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述興趣點(diǎn)為SIFT或MSER局部稀疏興趣點(diǎn)，或者根據(jù)等間隔采樣得到的稠密興趣點(diǎn)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3具體為:將所述三維時(shí)空局部特征中的局部像素塊沿空間維度展開成向量，這樣每幀視頻圖像的二維局部像素塊就變換為一個(gè)長度為S = NXN的向量，結(jié)合時(shí)間維度后，三維時(shí)空局部特征就變換為以大小為SXL的二維矩陣表示的二維時(shí)空局部特征Y。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，N取值為32或16；L的值取為15-20之間。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟4進(jìn)一步包括以下步驟: 步驟41，令二維時(shí)空局部特征Y滿足線性動(dòng)態(tài)系統(tǒng)模型； 步驟42，求解所述線性動(dòng)態(tài)系統(tǒng)模型中的模型參數(shù)A，C，作為所述二維時(shí)空局部特征Y的描述子。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述線性動(dòng)態(tài)系統(tǒng)模型表示為:
奸 I —履t V,
<
y, = Cxt + wt ’ 其中，下標(biāo)t表示離散的視頻巾貞；xt表示線性動(dòng)態(tài)系統(tǒng)的狀態(tài)變量；yt表示線性動(dòng)態(tài)系統(tǒng)的觀測變量；vt，wt表示系統(tǒng)的噪音變量;A，C表示線性動(dòng)態(tài)系統(tǒng)的模型參數(shù)。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述步驟42進(jìn)一步包括以下步驟: 步驟421，對(duì)于所述二維時(shí)空局部特征Y進(jìn)行SVD分解，得到:
Y = UXVt, 其中，Y表示二維時(shí)空局部特征；U和V表示正交特征向量；Σ表示特征值矩陣； 步驟422，根據(jù)所述SVD分解結(jié)果，得到模型參數(shù)C和系統(tǒng)狀態(tài)變量X1^:
C = U, X1:L = Σ Vt ; 步驟423，為了估計(jì)得到穩(wěn)態(tài)最小二乘意義下的模型參數(shù)A，建立目標(biāo)函數(shù):
A = arg min !//AV1- ,Y', I =■ arg min Jay Pa - 2ql ct+r},
A *" '*'a
其中，Ar = vec(A), q = vec{X 1±_^!2± ),p = l-- {Xl±^XTUM \ r = tr{XlL X2:L),vec(.)表示將矩陣沿列變換為向量，In表示η階單位矩陣，O表示卷積操作，tr表示求跡操作； 步驟424，建立穩(wěn)態(tài)線性動(dòng)態(tài)系統(tǒng)約束； 步驟425，將所述穩(wěn)態(tài)線性動(dòng)態(tài)系統(tǒng)約束與所述目標(biāo)函數(shù)相結(jié)合，得到二次優(yōu)化函數(shù): 目標(biāo)函數(shù)aTPa_2qTa+r 約束條件gTa < I ; 步驟426，通過對(duì)于所述二次優(yōu)化函數(shù)進(jìn)行求解，即可得到模型參數(shù)A，將所述模型參數(shù)A，C作為所述二維時(shí)空局部特征Y的描述子。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述穩(wěn)態(tài)線性動(dòng)態(tài)系統(tǒng)約束為:模型參數(shù)A的最大特征值λ i彡I。
10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 步驟5:對(duì)于得到的所述二維時(shí)空局部特征Y的描述子進(jìn)行存儲(chǔ)。
【文檔編號(hào)】G06K9/66GK104200235SQ201410363723
【公開日】2014年12月10日 申請(qǐng)日期:2014年7月28日 優(yōu)先權(quán)日:2014年7月28日
【發(fā)明者】羅冠, 胡衛(wèi)明 申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所