本發明涉及一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法，屬于計算機視覺、模式識別、人機交互、視頻監控以及圖像壓縮技術領域。

背景技術：

目標跟蹤是計算機視覺領域重要的前沿課題，是學術界和工業界關注的焦點之一。它旨在從視頻或圖像序列中定位場景中的感興趣目標，并估計目標的運動狀態，包括位置、尺度、旋轉角度等。魯棒而精確的目標跟蹤可以為人體運動分析、事件檢測、行為和場景理解等計算機視覺高層任務提供支撐和輸入，因而可以促進計算機視覺自身的發展。同時，在實際應用方面，由于軟件硬件技術的飛躍發展，目標跟蹤在智能監控、人機交互、圖像壓縮等領域的巨大應用價值也日益突顯。

近年來，基于相關濾波的目標跟蹤方法取得了巨大成功，但是也存在一些缺陷：

(1)在2012年europeanconferenceoncomputervision會議論文集第702至715頁，題目為：“exploitingthecirculantstructureoftracking-by-detectionwithkernels”文章中，探索了核矩陣的循環結構，使用潛在的大量訓練樣本學習一個判別式的回歸模型，不僅提升了目標跟蹤算法的運算效率而且提升了算法的跟蹤準確度。但是，這種方法沒有考慮樣本的空間流形結構，導致在空間結構中相鄰的樣本之間的分類標記相差較大。

(2)在2015年ieeetransactionsonpatternanalysisandmachineintelligence第37卷第3號第583頁至596頁，題目為：“high-speedtrackingwithkernelizedcorrelationfilters”文章中，通過引入更加有效的矩陣對角化技術對(1)中文章的算法進行重新推導，使得算法在目標跟蹤上的準確度進一步提升。然而，此方法同樣沒有空濾到樣本的空間結構，同樣導致在空間結構中相鄰的樣本的標記不同，而且無法解決目標的尺度變化和旋轉問題。

(3)在2014年europeanconferenceoncomputervision會議論文集第254至265頁，題目為：“ascaleadaptivekernelcorrelationfiltertrackerwithfeatureintegration”文章中，通過利用尺度自適應的機制來估計目標的尺度大小，在一定程度上解決了目標在運動過程中的尺度變化問題。它還提出一種特征集成的策略進一步提升了目標跟蹤的準確性。然而，該方法只考慮到了有目標所生產的樣本，而沒有考慮到其周圍的負樣本以及新的圖像幀中的無標記樣本，容易導致學習到的分類模型過擬合。

(4)在2015年ieeeinternationalconferenceondigitalsignalprocessing會議論文集第1035至1038頁，題目為：“arotationadaptivecorrelationfilterforrobusttracking”文章中，提出用由目標旋轉得到的多個不同的具有特定旋轉角度的目標模板學習多個相關濾波模型來估計目標的旋轉角度，有效的解決了目標的選擇問題。但是，該算法無法給流形空間中相近的樣本賦予相同的標記，而且算法訓練多個濾波模型的計算量也會成倍提升。

(5)在2015年ieeeinternationalconferenceoncomputervision會議論文集第4310至4318頁，題目為：“learningspatiallyregularizedcorrelationfiltersforvisualtracking”文章中，考慮的相關濾波器分類模型的內部的空間位置信息，提出一種空間正則的判別式相關濾波目標跟蹤算法，有效的提升分類模型的準確度。然而，該方法仍然沒有考慮更多的樣本，包括有標記樣本和無標記樣本，因此，容易導致分類模型過擬合。

(6)在2012年ieeeconferenceoncomputervisionandpatternrecognition會議論文集第1854至1861頁，題目為：“robusttrackingviaweaklysupervisedrankingsvm”文章中，提出一種在線拉普拉斯排序的支持向量跟蹤算法，考慮了樣本的空間結構信息，在目標跟蹤上取得好的結構。但是，該算法只通過采樣得到訓練樣本，無法產生豐富的訓練樣本集合，嚴重影響學習到的分類模型的準確度。

上述已有的基于流形及相關濾波的跟蹤方法已經能夠進行有效的目標跟蹤，但是通過對這些相關工作進行研究，兩個主要的發現促使提出本發明的目標跟蹤方法：

第一，大多數基于相關濾波的目標跟蹤方法僅采用有標記的樣本來學習核化嶺回歸模型。而事實上，高維樣本特征空間的內在流形幾何結構是由有標記樣本和無標記樣本共同構成的。在目標跟蹤中特征空間位于流形的假設基礎之上，我們認為一個良好的分類器不僅能夠考慮到無標記的樣本，還應該具有給流形空間中相近的樣本賦予相同的標記的能力。因此，利用由有標記和無標記樣本所構成的流形空間來訓練一個高性能的分類模型是目標跟蹤的一個關鍵問題。

第二，幾乎所有基于相關濾波的目標跟蹤算法都只采用由目標區域提取的單個基樣本循環移位所產生的數據來訓練分類模型。但是，由于訓練樣本的個數相對較少，所以只用這些訓練數據所學習到的分類模型的性能可能是次優的。而且，分類器不僅可能對這些數據過擬合，還容易受到背景復雜、快速運動或相似目標所導致的目標表觀變化的影響。我們注意到，目標區域周圍幾乎無窮無盡的負的基樣本都被忽略了，而這些負樣本可能有助于訓練一個更具判別力的分類模型。因此，引入有效利用這些負樣本的方法對增強模型的分類能力具有重要意義。

技術實現要素：

本發明的目的是針對現有基于相關濾波的跟蹤方法未考慮流形空間結構導致分類不準確的問題以及未考慮到目標區域周圍負基樣本而導致的跟蹤漂移問題，提出了一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法。

一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法，包括如下步驟：

s1、分別在上一幀圖像中目標區域提取正的基樣本、在非目標區域提取負的基樣本以及在當前幀圖像中上一幀圖像目標所在區域提取出無標記的基樣本；這三類基樣本組成增廣基樣本集合；

其中，所述的上一幀圖像中目標區域提取正的基樣本、在非目標區域提取負的基樣本是有標記基樣本；所述的提取的基樣本可以是梯度直方圖特征、灰度特征、深度特征；

s2、根據s1中有標記和無標記基樣本大小，生成由有標記基樣本循環移位得到的所有樣本對應的標記矩陣；

s3、利用s1生成的增廣基樣本集合及s2生成的標記矩陣，結合核矩陣和拉普拉斯矩陣的塊循環結構，使用分塊學習策略學習一個流形正則的最小二乘相關濾波分類模型；

s4、判斷當前視頻的幀數是大于還是等于第二幀，并分別進行相應操作，具體為：

s4.1如果當前幀數等于視頻的第二幀，則保存當前分類模型；

s4.2如果當前幀數大于第二幀，則利用當前幀的分類模型對保存的上一幀分類模型按照一定的學習率進行更新；

其中，s4.2所述的學習率取值范圍為0到1；

s5、利用s4保存的分類模型對s1中無標記基樣本循環移位所產生的所有無標記樣本采用快速分塊檢測的算法確定其標記，再根據此標記信息確定當前目標位置；

s6、判斷當前幀數是否是最后一幀，并進行相應操作，具體為：

s6.1如果當前幀數是最后一幀，表明跟蹤結束，跳至s7；

s6.2如果當前幀數不是最后一幀，表明還需要繼續跟蹤，跳至s1，繼續下一幀圖像的目標跟蹤；

s7、輸出每一幀圖像的目標狀態；

至此，從s1到s7完成了一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法。

有益效果

本發明一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法用于定位視頻或圖像序列中的感興趣目標，與已有目標跟蹤方法相比，具有以下有益效果：

1、本發明采用一種半監督的方式在特征空間服從流形假設的基礎上預測無標記樣本的標記，顯著的提升了基于相關濾波的分類模型的分類準確度性能；

2、本發明通過利用從目標區域和非目標區域分別提取正負基樣本生成增廣基樣本集，極大的豐富了訓練樣本數量，有助于進一步提升分類模型的判別能力；

3、本發明提出一種求解優化問題的分塊快速算法，能夠提到目標跟蹤的預算效率，使其可以應用到實時的系統中。

附圖說明

圖1是本發明一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法的流程圖；

圖2是本發明一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法的由增廣基樣本生成增廣樣本的示意圖以及不同增廣樣本排列所形成的核矩陣示意圖；

其中，(a)由增廣基樣本生成增廣樣本的圖，第一行為增廣基樣本，(b)是由增廣基樣本生成增廣樣本循環移位生成的樣本組織形式為x＝[p¹x1，...，p¹xm，...，p^sx1，...，p^sxm]^t時的核矩陣k示意圖，(c)是由增廣基樣本生成增廣樣本循環移位生成的樣本組織形式為x＝[p¹x1，...，p^sx1，...，p¹xm，...，p^sxm]^t時的核矩陣k′示意圖；其中{x1，...，xm}表示m個基樣本，p^t表示矩陣p的t次冪，其中0s-1是一個具有s-1個零元素的列向量，is-1是一個大小為(s-1)×(s-1)的單位矩陣，表每個基樣本的維度；

圖3是本發明一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法的示意圖。

具體實施方式

本發明的一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法提出將目標跟蹤任務看作是一個半監督的分類問題，在假設樣本特征空間位于流形的基礎之上，結合樣本的循環結構，建立一個基于流形正則的相關濾波分類模型。與已有方法不同的是，本發明充分考慮到了無標記樣本和有標記樣本之間的空間位置關系，使得無標記樣本的標記預測更加準確。同時，為了使得算法更具判別力，本發明提出一種擴充訓練樣本集合的方法，避免了分類模型對小樣本集合的過擬合問題。此外，本發明建立了該目標跟蹤方法的優化模型，并利用矩陣的塊循環結構，提出一種基于分塊的快速求解算法，使得該方法能夠應用于實時的目標跟蹤任務中去。

以下通過具體實施例詳細描述本發明的實施方式，實施例不作為對本發明的保護范圍的限制。

實施例1

s1、分別在上一幀圖像中目標區域提取正的基樣本、在非目標區域提取負的基樣本以及在當前幀圖像中上一幀圖像目標所在區域提取出無標記的基樣本；這三類基樣本組成增廣基樣本集合；

其中，所述的上一幀圖像中目標區域提取正的基樣本、在非目標區域提取負的基樣本是有標記基樣本；所述的提取的基樣本可以是梯度直方圖特征、灰度特征、深度特征；

具體實施時，圖像幀來源于視頻監控采集的rgb圖像；可以提取上一幀圖像中目標區域的1個圖像塊以及目標區域左右兩邊與目標相鄰并具有同樣大小的2個圖像塊，以及在當前幀圖像中上一幀圖像目標所在區域提取出一個圖像塊；圖像塊歸一化寬高為32×32；

然后在這些圖像塊上分片提取每個圖像塊的梯度直方圖特征，每片圖像寬高大小為4×4，得到3個基樣本，維度為8×8×31；

s2、根據s1中有標記和無標記基樣本大小，生成由有標記基樣本循環移位得到的所有樣本對應的標記矩陣；

對于由正的基樣本循環移位生成的每個樣本的標記服從高斯函數，位于目標中的樣標記為1，其他樣本標記則根據其與目標中心的距離逐漸衰減到0；對于所有由負的基樣本循環移位生成的樣本其標記均為0；只保留3個基樣本對應的3標記矩陣即可，無需生成循環移位后的樣本；

s3、利用s1生成的增廣基樣本基集合及s2生成的標記矩陣，結合核矩陣和拉普拉斯矩陣的塊循環結構，使用分塊學習策略學習一個流形正則的最小二乘相關濾波分類模型；

給定由有標記基樣本循環移位生成的l個有標記的樣本集合xi表示第i個樣本，yi是xi的標記；以及由無標記基樣本循環移位生成的個無標記的樣本集合本發明旨在通過極小化下面的優化函數尋找再生核hilbert空間(reproducingkernelhilbertspace，rkhs)(記為)上的最優分類函數f^*，mercer核κ為rhhs上的再生核：

其中，f^*表示最優的分類函數，表示使后面的式子達到小值時f的取值，表示f屬于再生核hilbert空間∈表示屬于，∑表示求和符號，f(xi)表示將樣本xi代入函數f中的值，||·||κ是由rkhs上mercer核κ誘導的范數，n＝l+u表示所有樣本的個數，λ和γ表示一個預定的常數，w是一個相似性度量矩陣其每個元素wij表示樣本xi和樣本xj的相似性度量權重，f＝[f(x1)，f(x2)，…，f(xn))]^t，[...]^t表示中括號內向量或矩陣的轉置，l＝d-w是拉普拉斯矩陣其中對角矩陣d的每個對角元素給定樣本v,其回歸值可以表示為：

其中αi是n維拉格朗日乘子α的第i個元素；α的解析形式為：

其中對角矩陣的前l個對角元素為1，diag是一個向量對角化算子，表示將其后的向量轉換一個對角矩陣，表示n×n維的實數空間，是一個單位矩陣，是s2中所有基樣本移位得到的樣本對應樣本的標記矩陣展開組成的向量，表示n維的實數空間，核矩陣k的每個元素為kij＝k(xi，xj)，(·)^-1表示括號里矩陣的逆；

訓練該分類模型的樣本是s1中所提取的增廣基樣本循環移位生成的，核矩陣k可以分解為

其中是矩陣的第f塊，每塊的每個元素f＝1，...，s，s表示基樣本的維度，diag(·)是一個塊對角算子，即將其后的元素轉換成塊對角矩陣；其中是kronecker積，in是一個n×n的單位矩陣，fs是一個大小為s×s的離散傅里葉變換矩陣；向量x的傅里葉變換核矩陣每塊的每個元素其中是向量的第f個元素；令k(i，j)＝[k1(i，j)，k2(i，j)，...，ks(i，j)]^t表示由第i個和第j個基樣本所生成的所有樣本的計算的核向量，則向量假設存在m基樣本{x1，x2，...，xm}，用于循環移位的轉置矩陣為：

其中0s-1是一個具有s-1個零元素的列向量，is-1是一個大小為(s-1)×(s-1)的單位矩陣。圖2(b)是由增廣基樣本生成增廣樣本循環移位生成的樣本組織形式為x＝[p¹x1，...，p¹xm，...，p^sx1，...，p^sxm]^t時的核矩陣k示意圖，(c)是由增廣基樣本生成增廣樣本循環移位生成的樣本組織形式為x＝[p¹x1，...，p^sx1，...，p¹xm，...，p^sxm]^t時的核矩陣k′示意圖；

同理，拉普拉斯矩陣l可以分解為

為了便于闡述，令δ＝λl，α的解析形式寫為：

其中，塊對角矩陣

式中單位矩陣零矩陣可以驗證，j＝u^-1ju；標記向量其每個組成成分f＝1，...，s表示所有基樣本在轉移矩陣p^f下生產的樣本的標記；因此，α的解可以寫為

其中，f＝1，...，s；

根據線性矩陣的卷積定理，uy的計算可以通過對每個基樣本的所有循環移位樣本的標記向量執行傅里葉變換得到；也就是說，如果我們令則有表示中第f塊的第i個元素，表示對y(f)進行傅里葉變換后的第i個元素；所以，

因此，本發明中分類模型α的學習可以轉換成求解對的求解可以轉換成分塊求解s個子問題，而且每個子問題都是可以獨立計算的；

具體實施時，基樣本的個數n＝3，子問題的個數s＝8×8＝64，由有標記的基樣本循環移位可以生成的有標記樣本個數l＝3×8×8＝192，由無標記的基樣本循環移位可以生成的無標記樣本個數u＝1×8×8＝64，常數λ＝10^-9，γ＝10^-7，核函數使用高斯核函數；

s4、判斷當前視頻的幀數是大于還是等于第二幀，并分別進行如下操作：

s4.1如果當前幀數等于視頻的第二幀，則保存當前分類模型；

s4.2如果當前幀數大于第二幀，則利用當前幀的分類模型對保存的上一幀分類模型按照一定的學習率進行更新；

其中，所述的學習率取值范圍為0到1；

具體實施時，步驟s4.2采用一個學習率常數ε＝0.01對模型進行更新；假設在第m-1幀中確定目標時采用的模型參數為我們根據第m-1幀目標的位置采取正負基樣本在第m幀中上一幀目標所在位置區域選取無標記基樣本，重新學習一個模型參數那么，如果m＝2，則進入步驟s4.1，即使用進行后續步驟；如果，m＞2，在第m幀跟蹤是模型的參數更新準則為

跟蹤第m幀中目標的模型參數為

s5、利用s4保存的分類模型對s1中無標記基樣本循環移位所產生的所有無標記樣本采用快速分塊檢測的算法確定其標記，再根據此標記信息確定當前目標位置；

給定一個測試基樣本z，具體實施中的測試基樣本z即s1所述無標記基樣本，所有循環移位樣本的標記可以由下式計算得到：

f(z)＝(k^z)^tα，

其中，k^z表示基樣本z的所有循環移位樣本與由增廣基樣本循環移位生成的全部的增廣樣本集合的核矩陣；矩陣k^z也是一個塊循環的矩陣，它的對角化形式可以寫為

其中，

因此，

測試基樣本的所有循環移位樣本的標記向量f(z)可以通過對f(z)進行反傅里葉快速計算，而不需要計算大矩陣的逆問題；然后利用f(z)計算出一個無標記基樣本的置信圖，然后根據置信圖確定當前目標的中心位置；圖3最右邊兩圖分別展示了本發明的一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法中置信圖和與之對應測試基樣本；

s6、判斷當前幀數是否是最后一幀，并進行如下操作：

s6.1如果當前幀數是最后一幀，表明跟蹤結束，跳至s7；

s6.2如果當前幀數不是最后一幀，表明還需要繼續跟蹤，跳至s1，繼續下一幀圖像的目標跟蹤；

s7、輸出每一幀目標的狀態；

具體實施中，目標的狀態為目標的中心位置坐標[x，y]以及目標的寬高[w，h]。

至此，從s1到s7完成了一種基于增廣樣本的流形正則化相關濾波目標跟蹤方法。

實施例2

將實施例1中的由視頻監控采集的rgb圖像改成由紅外設備采集的紅外圖像，或者其他具體視頻采集設備或者連續圖像生成設備獲取的圖像數據，該目標跟蹤方法依然有效。

實施例3

將實施例1中的梯度直方圖特征改為灰度特征、lab顏色特征、hsv顏色特征、神經卷積網絡過程中的特征圖以及其他的全局圖像特征，本發明依然有效。

實施例4

將實施例1中高斯核函數改為線性核函數、多項式核函數以及其他可以使得核矩陣具有塊循環結構的核函數，本算法依然有效。

以上所述的具體實施方式，對本發明的目的、技術方案和有益效果進行了進一步詳細說明。應理解的是，以上所述僅為本發明的具體實施例而已，并不用于限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、局部改進等，均應包含在本發明的保護范圍之內。