本發明涉及一種多人跟蹤方法。特別是涉及一種基于慢特征分析的多人跟蹤方法。
背景技術：
：：多目標跟蹤已成為過去十年的一個先進研究熱點，該技術具有廣泛的應用和發展前景[1]，如目標跟蹤和識別，智能視頻監控，交通控制，醫療診斷和工業機器人等。多目標跟蹤技術近年來取得了巨大的成就，但由于圖像的快速變化和對象運動的復雜性，多目標跟蹤它也變得非常困難。近年來，提出了許多方法來處理多人跟蹤問題，這些方法主要包含三個關鍵技術，對象檢測，軌跡生成和數據關聯。針對對象檢測，已經開發了許多方法以獲得準確的結果。gall等人[2]利用廣義休克變換來處理對象檢測，其中單個對象部分的檢測對整個對象的質心的可能位置進行概率投票；sermanet等人[3]提出了一種完全連接的層被訓練以預測用于假定單個對象的本地化任務的框坐標；但這些方法沒有帶來大的改進。軌跡生成步驟中，可以使用許多傳統的跟蹤算法[4]，包括meanshift和kalman。然而，遮擋條件通常限制這些方法的性能；bae等人應用在線提供的檢測來增加可靠的軌跡。wen等人應用檢測的空間-時間信息來產生一組可靠的軌跡片段；所有這些方法都用于產生短期軌跡，這使跟蹤結果很難有的大的改進。數據關聯是跟蹤進度中的關鍵步驟，它決定了最終跟蹤的準確性。perez等人[5]提出了基于粒子濾波視覺跟蹤器融合三個線索的新方法。其跟蹤由相機捕獲的圖像序列中的指定對象或感興趣區域，并且隨著對象的照明，運動和位置的變化而實現良好的魯棒性，但是其不考慮用于多個對象跟蹤的自適應系統；babenko等人[6]提出了一種新穎的在線多實例學習(mil)算法，以避免由于跟蹤器中的微小不精確導致的跟蹤誤差，并且其在對象跟蹤中實現了良好的結果。然而，它不能很好地處理自適應問題。多人跟蹤問題目前面臨的主要挑戰為：在動態變化的復雜場景中，多人跟蹤問題受到照明的變化、圖像分辨率和多物體遮擋的影響，使得檢測和跟蹤結果的魯棒性受到很大制約。技術實現要素：本發明所要解決的技術問題是，提供一種能夠提高跟蹤精度，降低計算的復雜度的基于慢特征分析的多人跟蹤方法。本發明所采用的技術方案是：一種基于慢特征分析的多人跟蹤方法，包括如下步驟：1)采用基于部分的可變形模型方法檢測視頻中每幀出現的人；2)獲取視頻中人的運動軌跡的特征向量；3)將提取的特征向量作為輸入，采用增量慢特征分析方法訓練每個軌跡片段的個體傳遞函數，通過個體傳遞函數提取每個軌跡片段的慢特征；4)采用圖匹配方法計算軌跡片段間的匹配分數，得到不同軌跡之間的相似性，其中相似性最大的為最佳匹配的軌跡片段，利用最佳匹配軌跡片段更新個體傳遞函數；5)重復步驟2)～步驟4)，直至測試視頻結束；6)將最佳匹配軌跡片段融合，得到每個跟蹤對象的一個軌跡。步驟1)首先通過背景差分，得到每個視頻幀的運動區域，然后應用基于部分的人體檢測器檢測前景中的人體。步驟2)包括：(1)利用時間和空間約束，將視頻中人的運動軌跡生成一組可靠的軌跡片段；(2)將生成的軌跡片段平均地分割成八個部分，提取每一部分的方向梯度直方圖和色度飽和度亮度特征；(3)將所有八個部分的特征連接成一個特征向量。步驟3)包括：通過非線性函數對軌跡片段的特征空間進行非線性擴展，將慢特征分析轉化為線性分析，采用互補的增量主成份分析算法預處理視頻數據和順序輸入的特征向量以計算主成分，采用次要成份分析算法處理慢特征提取，最終得到目標函數最優解的線性組合，即每個軌跡片段的慢特征。本發明的一種基于慢特征分析的多人跟蹤方法，避免了變化的場景和對象遮擋對軌跡生成可靠性的負面影響，提高了跟蹤精度，降低了計算的復雜度。具有如下有益效果：1.提出了一種新的跟蹤框架來處理多個對象跟蹤，重新設計軌跡片的特征提取方法，有效提高最終跟蹤精度；2.對多個對象跟蹤問題首次使用緩慢特征分析，并獲得了明顯的改善；3.所提出的方法具有很強的適應性，可以在多視圖場景中用于對象跟蹤。附圖說明圖1是本發明一種基于慢特征分析的多人跟蹤方法的流程圖；圖2是pets-2012測試集的跟蹤效果圖。具體實施方式下面結合實施例和附圖對本發明的一種基于慢特征分析的多人跟蹤方法做出詳細說明。研究表明：行人可以被看作是一個長時間的運動和變化的信號，慢特征分析[7]可以從快速變化的輸入信號中提取緩慢變化的特征或不變的特征，非常適合于提取行人的特征。本發明提出了一種基于慢特征分析的多人跟蹤方法。如圖1所示，本發明的一種基于慢特征分析的多人跟蹤方法，包括如下步驟：1)采用基于部分的可變形模型(dpm)方法檢測視頻中每幀出現的人；具體是，首先通過背景差分，得到每個視頻幀的運動區域，然后應用基于部分的人體檢測器檢測前景中的人體。基于dpm方法[8]利用根濾波器在檢測區域上定位人體的各個部分，人體的最終決策分數由所有的部分濾波器和根過濾器的響應計算。一個含有n個部分的被檢人體的模型可以用n+2維向量(f0,p1,...,pi,...,pn,b)表示，f0為根濾波器，代表人體的整體輪廓，pi為第i個部分，b表示偏置項。位置(x0,y0)處的檢測分數：其中，n表示人體部分總數；s(pi)表示第i個部分的分數：s(pi)＝fpi·φ(h,pi)-dpi·φd(dx,dy)其中，fpi表示第i個部分濾波器；φ(h,pi)表示在特征金字塔h級中坐標為(x0,y0)處檢測窗口特征向量；dpi表示第i部分實際位置相對于錨點的形變代價；代表形變特征。當行人體可以被根濾波器檢測到時，每一個部分濾波器可以用于定位特定的身體部分，并將其得分投入到最終決策分數。2)獲取視頻中人的運動軌跡的特征向量x(t)＝[x1(t),...,xd(t)]t；包括：(1)利用時間和空間約束，將視頻中人的運動軌跡生成一組可靠的軌跡片段t＝{t1,...,tn}。軌跡片段可以基于上述人體檢測結果通過逐幀關聯生成，檢測結果可能包括許多故障，例如漂移，遮擋等。因此，實施中只選擇可靠的軌跡片段，當連續幀中人體的邊界框足夠近并且在人體附近沒有額外的邊界框時，軌跡片段被認為是可靠的。(2)將生成的軌跡片段平均地分割成八個部分，提取每一部分的方向梯度直方圖(hog)和色度飽和度亮度(hsv)特征；(3)將所有八個部分的特征連接成一個特征向量，即對人體的每個部分應用歸一化，將所有八個部分特征連接成一個特征向量x(t)＝[x1(t),...,xd(t)]t。3)將提取的特征向量x(t)＝[x1(t),...,xd(t)]t作為輸入，采用增量慢特征分析(incsfa)方法訓練每個軌跡片段的個體傳遞函數g(x)＝[g1(x),...,gj(x)]t，通過個體傳遞函數提取每個軌跡片段的慢特征y(t)＝[y1(t),...,yj(t)]t；包括：通過非線性函數對軌跡片段的特征空間進行非線性擴展，將慢特征分析轉化為線性分析，檢測對象的慢特征可以表示為：yj(t)＝gj(x(t))，其中j∈{1,...,j}，通過sfa方法找到使輸出信號盡可能緩慢變化的瞬時函數gj(x)。采用互補的增量主成份分析(ccipca)算法預處理視頻數據和順序輸入的特征向量以計算主成分，具體是：采用對時間的一階導數平方均值的方法來衡量變化的速率，求解變化速率最慢的優化問題目標函數為：其中表示輸出信號y關于時間t的一階導數，<·>表示時間平均。考慮瞬時函數gj(x)被約束為一組非線性函數集h的線性組合，即定義z(t)＝h(x(t))，則目標函數可以表示為：為尋找這樣的h，對z(t)進行白化處理：使z(t)的協方差矩陣成為一個單位矩陣，即<zzt>＝i，同時，白化過程減去了矩陣的平均值，即<z>＝0，白化矩陣s可由主成分分析方法計算得到。下面介紹白化矩陣的具體求解過程：計算函數可以寫為：其中，u＝x-e[x]，d∈{1,...,d}，e[uut]為特征序列的協方差期望矩陣，表示廣義特征向量，表示特征值。將特征值排序使得白化過程可表示為其中，是對角矩陣，其每一個元素為和通過ccipca估計得到。具體的估計公式為：通過對矩陣進行主成分分析，得到對應的j個規范特征向量和j個最小特征值的集合，進行標準化后得到：采用次要成份分析(mca)算法處理慢特征提取，最終得到目標函數最優解的線性組合，即每個軌跡片段的慢特征。具體是：定義對于正定矩陣c，其特征向量表示為γi-c，其中，γ＞λ1，λ1為自相關矩陣的最大特征值。考慮學習速率，采用一種評估合適的學習速率的方法[9]如下：w(t)＝1.5w(t-1)-ηcdw(t-1)-η(wt(t-1)w(t-1))w(t-1)其中，ηλ1＝0.5、||w(0)||2≠0、||wt(0)w*||2≠0，是的第一個次分量，可以通過ccipca計算得到；w(0)為第一特征估計，并且精確特征向量附屬于最小特征值。對于任意的d＞1，cd計算公式為：其中，γ需要大于的最大特征值，根據一般設置，通過mca可以計算出信號的最大特征值w(t)。最后，軌跡片段提取的慢特征為：y(t)＝z(t)tw(t)。4)采用圖匹配方法(cgm)計算軌跡片段間的匹配分數s(p,q)，得到不同軌跡之間的相似性，其中相似性最大的為最佳匹配的軌跡片段，利用最佳匹配軌跡片段更新個體傳遞函數g(x)；軌跡片段p與軌跡片段q間匹配分數計算公式為：其中，dscale為比例因子，dscale＝0.1；分數越高，匹配效果越好，選擇最佳匹配結果更新個體傳遞函數g(x)。5)重復步驟2)～步驟4)，直至測試視頻結束；6)將最佳匹配軌跡片段融合，得到每個跟蹤對象的一個軌跡。下面給出一實例本實例選用pets2012數據集來測試跟蹤方法的性能。該數據集包括8個視頻序列，這些視頻序列的分辨率是768×576，數據集中存在遮擋、擁擠的場景和雜亂的背景，具有一定挑戰性，其所有的視頻序列來自同一個場景在不同的角度，所以數據集可以看作是一個多攝像機跟蹤數據集。測試結果如圖2所示。評估標準不失一般性的，本實例使用標準的clearmot指標[10]評估跟蹤結果，共有三個指標ta、dp和da。其中，da和dp用于測試檢測結果，分數越高越好；ta用于評價跟蹤的實例結果，分數越高越好；ta和da之間的差異可用于評估匹配結果，分數越小越好。對比算法實例中將本方法與nie等人提出的方法進行對比：nie等人提出的方法：通過相鄰幀中的對象定位結果之間的逐幀關聯生成可靠的軌跡，所產生的軌跡片通過考慮空間和時間約束來相關聯，以輸出個人的整個軌跡。實驗結果由表1可知，sfa可以有效地提高基于傳統視覺特征的跟蹤精度。這是由于sfa可以有效地從原始特征向量提取魯棒性特征，并減少冗余信息，以改善最終跟蹤結果；由表2可知，本方法勝過比較的方法。這是由于nie等人提出的方法忽略跟蹤對象在時間序列中的形狀變化，本方法充分軌跡的形狀變化并利用平均圖像來提取全局特征。實驗結果驗證了本方法的可行性與優越性。表1datasetshogsfa-hogcnnsfa-cnnpets201234.136.277.378.1表2methodmotamodamodpnieetal[6](％)72.472.875.8sfg+hsv&hsv(％)74.975.175.2本領域技術人員可以理解附圖只是一個優選實施例的示意圖，上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。以上所述僅為本發明的較佳實施例，并不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。[1]李彤.智能視頻監控下的多目標跟蹤技術研究[d].中國科學技術大學,2013.[2]juergengallandvictorlempitsky.class-specifichoughforestsforobjectdetection.indecisionforestsforcomputervisionandmedicalimageanalysis,pages143–157.springer,2013.[3]pierresermanet,davideigen,xiangzhang,micha¨elmathieu,robfergus,andyannlecun.overfeat:integratedrecognition,localizationanddetectionusingconvolutionalnetworks.arxivpreprintarxiv:1312.6229,2013.[4]劉守達.基于多目標跟蹤及軌跡組合優化的視頻摘要[d].廈門大學,2014.[5]p.perez,j.vermaak,anda.blake.datafusionforvisualtrackingwithparticles.proceedingsoftheieee,92(3):495–513,2004.[6]borisbabenko,minghsuanyang,andsergebelongie.robustobjecttrackingwithonlinemultipleinstancelearning.patternanalysisandmachineintelligenceieeetransactionson,33(8):1619–1632,2011.[7]陳婷婷,阮秋琦,安高云.視頻中人體行為的慢特征提取算法[j].智能系統學報,2015,03:381-386.[8]李斌.基于dpm的交通標志檢測算法研究[d].北京交通大學,2015[9].j¨urgenschmidhuberanddanielprelinger.discoveringpredictableclassifications.neuralcomputation,5(4):625–635,1993.[10]r.kasturi,d.b.goldgof,p.soundararajan,andetal.frameworkforperformanceevaluationofface,text,andvehicledetectionandtrackinginvideo:data,metrics,andprotocol.ieeetrans.patternanal.mach.intell.,31(2):319–336,2009.當前第1頁12當前第1頁12