專利名稱：：一種視頻目標跟蹤中的可變掩蔽模板匹配算法的制作方法
技術領域：
：本發明屬于計算機視覺與模式分析
技術領域：
，具體涉及一種視頻目標跟蹤中的可變掩蔽模板匹配算法。技術背景目標跟蹤在人機交互、自動監視、視頻檢索、交通監測以及車輛導航中有著廣泛的應用。目標跟蹤的任務是確定目標在視頻流各幀中的幾何狀態，包括位置、尺寸以及取向等。由于不限定被跟蹤目標的外觀，而且目標的外觀在跟蹤過程中可以變化，再加上復雜前景與背景的干擾，目標跟蹤算法面臨著諸多挑戰，是計算機視覺領域的研究熱點之一。目標跟蹤算法可分為三類，一類是點跟蹤(pointtraCking)[1'2]，第二類是核跟蹤(kemeltracking)[3~7'1()]，第三類是側影跟蹤(silhouettetracking)[8'9]。本發明提出的目標跟蹤算法屬于核跟蹤算法。該算法用外觀模型(亦即模板)來表征目標，目標在每一幀中的幾何信息通常用仿射變換參數來描述[1()]。對于核跟蹤算法，最大的挑戰之一就是如何處理目標被遮擋這一問題[3>7]。這一問題之所以難以解決是因為目標與遮擋物都可以是任意外觀，且遮擋時間也可以是任意的。文獻[11]給出了一種有效的遮擋分析算法，可以在得到目標的精確位置的情況下有效地分析當前目標被遮擋的情況，以便生成下一幀中進行模板匹配所用的模板掩蔽。然而，還有一個關鍵的問題沒有解決由于目標的遮擋情況在不斷變化，根據上一幀中目標的遮擋情況得到的模板掩蔽在許多情況下并不適用于當前幀的目標遮擋情況，因而用該模板掩蔽進行模板匹配會造成目標定位的誤差，尤其當目標的遮擋比較嚴重或者遮擋的變換情況比較顯著時，這個誤差會很大，甚至造成跟蹤失敗。要在未知當前幀目標遮擋情況下實現精確目標定位實際上需要解決一個互為前提的悖論精確地定位目標需要首先知道當前幀的目標遮擋情況，而當前幀的目標遮擋情況只有在得到了目標的精確位置后才能夠通過與目標模板進行比較來確定。到目前為止，還沒有文獻提出解決這個悖論的方法。參考文獻[1]C.Rasmussen,andG.Hager.Probabilisticdataassociationmethodsfortrackingcomplexvisualobjects.IEEETrans,onPatternAnalysisandMachineIntelligence,23(6):560—576,2001.[2]C.Hue,J丄.Cadre,P.Prez.SequentialMonteCarlomethodsformultipletargettrackinganddatafosion.IEEETrans,onSignalProcessing,50(2):309—325,2002.[3]A.D.Jepson，D.J.Fleet,andT.F.EI陽Maraghi.Robustonlineappearancemodelforvisualtracking.IEEE.Trans,onPatternAnalysisandMachineIntelligence,25(10):1296陽1311,2003.[4]D.Comaniciu,V.Ramesh,andP.Meer.Kernel-basedobjecttracking,IEEETrans,onPatternAnalysisandMachineIntelligence,25(5):564-577,2003[5]S.K.Zhou,R.Chellappa,andB.Moghaddam.Visualtrackingandrecognitionusingappearance-adaptivemodelsforparticlefilters.IEEETrans,onImageProcessing,13(11):1491國1506，2004.[6]H.T.Nguyen，M.Worring,andR.vandenBoomgaard.Occlusionrobustadaptivetemplatetracking.Proc.IEEEInt，lConf.ComputerVision,1:678-683,2001.[7]H.T.Nguyen,andA.W.M.Smeulders.Fastoccludedobjecttrackingbyarobustappearancefilter.IEEETrans,onPatternAnalysisandMachineIntelligence,26(8):1099-1104,2004.[8]Y.Chen,Y.Rui,andT.Huang.JpdafbasedHMMforreal-timecontourtracking.Proc.IEEEConf.onComputerVisionandPatternRecognition,1:543—550，2001.[9]A.Yilmaz,X.Li,andM.Shan.Contourbasedobjecttrackingwithocclusionhandlinginvideoacquiredusingmobilecameras.IEEETrans,onPatternAnalysisandMachineIntelligence,26(11):1531—1536,2004.[10]S.Baker,andI.Matthews.Lucas-Kanade20yearson:aunifyingframework.Int'lJournalComputerVision,53(3):221—255，2004.[ll]潘吉彥，胡波，張建秋，"一種內容自適應漸進式遮擋分析目標跟蹤算法"，專利申請號200710045941.7.
發明內容本發明的目的在于提出一種視頻目標跟蹤中的可變掩蔽模板匹配算法，用以解決在目標被部分遮擋的情況下實現精確的目標定位。本發明的關鍵在于如何在獲得目標的非精確位置后，利用遮擋分析[11]的結果，設計一種新的模板匹配算法，校正目標的位置。由于當前幀中目標的遮擋情況可能發生了變化，通過前一幀的遮擋情況生成的模板掩蔽往往無法使得當前幀中的模板匹配算法找到精確的目標位置。因而，在當前幀中進行固定掩蔽模板匹配后，所得到的目標區域(即文斷ll]中的感興趣區域，ROI)往往與目標真正所在的位置有一些偏差。部分目標會處于ROI之外。這個情況如圖1中左下角的子圖所示。因而，禾偶文獻[ll]的遮擋分析算法得到的干擾圖C/會產生錯誤。但是，位于ROI之內的圖像的遮擋分析結果還是可靠的。因此可以利用這部分信息通過可變掩蔽模板匹配來校正目標的位置。因此，本發明的方法是，通過固定掩蔽模板匹配得到目標非精確位置，然后根據遮擋分析的結果改變模板匹配時的模板掩蔽，以實現在目標被部分遮擋的情況下對其進行精確定位，從而得到目標的精確位置。可變掩蔽模板匹配的匹配與搜索方式與常規的固定掩蔽模板匹配[5—7]相同，但是其模板掩蔽在搜索過程中并非是固定不變的，而是隨著候選坐標變換參數的變化而改變。具體來說，可變模板掩蔽根據候選坐標變換通過對干擾圖U釆樣得到<formula>formulaseeoriginaldocumentpage5</formula>(1)其中M乂a:;")是可變模板掩蔽在模板匹配候選坐標變換參數為fl時在模板坐標點x的取值;,《x;fl)表示通過變換參數為fl的坐標變換^將模板坐標點jc映射到視頻幀坐標中；round操作符表示取整；f/是在固定掩蔽模板匹配后經過遮擋分析得到的干擾圖，它的像素只能取值0或1，所以M力的取值也只能是0或1。[/的某個像素取1表示該處不是目標點，M力的某個像素取1表示該點在模板匹配時被掩蔽。在圖1中，C/和M^的白色部分表明取值為1，黑色部分表明取值為0。釆用(l)式定義的可變模板掩蔽，常規的固定掩蔽模板匹配就轉變為可變掩蔽模板匹配了<formula>formulaseeoriginaldocumentpage5</formula>(2)其中fl^是經過可變掩蔽模板匹配后得到的反映當前幀目標精確位置的坐標變換參數；sim^,5)表示圖像j與B之間的任意一種相似度度量；/[《fl)]是通過變換參數為《的坐標變換"每模板映射到視頻幀坐標中所得到的部分視頻幀圖像；M/a)是在模板匹配候選坐標變換參數為fl時的整個可變模板掩蔽；r是當前的目標模板；(8)運算符表示將兩幅圖像之間相應的點的像素值相乘；sum(M》表示將Mj的所有像素值求和。圖l給出了(2)式定義的可變掩蔽模板匹配的示意圖。被跟蹤目標上標有字母"A","B","C","D"以區分目標的不同區域。在當前幀中，通過常規的固定掩蔽模板匹配得到的ROI用虛線框表示，通過可變掩蔽模板匹配得到的ROI用實線框表示。注意可變模板掩蔽隨著候選目標區域的改變而變化，因而產生了不同的經過可變掩蔽處理后的模板與目標區域之間的相似度度量。由圖1可見，可變掩蔽模板匹配之所以能夠校正目標位置，是因為在(2)式的坐標變換參數搜索過程中，在真正的目標與候選目標區域不重疊時，未被掩蔽的模板與未被掩蔽的候選目標區域總是不相同的，而經過可變掩蔽處理后的圖像相似度度量只有在精確的坐標變換參數處才能取得最大值，從而使得(2)式搜索到精確的目標位置。圖l:可變掩蔽模板匹配示意圖。圖2:可變掩蔽模板匹配算法添加前后跟蹤性能比較示例。跟蹤結果用中心帶十字的白色矩形框表示。(ai)-(a4):沒有添加可變掩蔽模板匹配算法時，文獻[ll]的跟蹤算法跟丟了目標；(th)-(b4):添加可變掩蔽模板匹配算法后，文獻[ll]的跟蹤算法很好地跟上了目標；(Cl)-(C4):沒有添加可變掩蔽模板匹配算法時，文獻[ll]的跟蹤算法的跟蹤精度較低；(d,)-(cU):添加可變掩蔽模板匹配算法后，文獻[ll]的跟蹤算法取得了較高的跟蹤精度。在第一與第二行中，顯示的圖像取自視頻流的第765,877,983,與1004幀；在第三與第四行中，顯示的圖像取自視頻流的第1202，1295，1344，與1399幀。具體實施方式在本發明的具體實施中，采用文獻[ll]提出的跟蹤算法作為基礎，比較加上本發明提出的可變掩蔽模板匹配算法前后的跟蹤性能。我們首先在大量實景視頻流上作了上述比較。這些實景視頻流包含不同種類的目標以及各種遮擋場景，此外，攝像頭的運動是任意的。我們把30個測試視頻流的遮擋場景分為兩種類型短期遮擋與長期遮擋。如果一個遮擋的持續時間超過25幀，則被認為是長期遮擋。實驗結果如表l所示。表l<table>tableseeoriginaldocumentpage6</column></row><table>由表1可見，加上可變掩蔽模板匹配算法后，跟蹤性能有了進一步的提高。上述實景視頻流中的兩個典型的例子如圖2所示。由圖2可見，加上可變掩蔽模板匹配算法后，跟蹤的穩定性與精確度都顯著提高。權利要求1、一種視頻目標跟蹤中的可變掩蔽模板匹配算法，其特征在于通過固定掩蔽模板匹配得到目標非精確位置，然后根據遮擋分析的結果改變模板匹配時的模板掩蔽，以實現在目標被部分遮擋的情況下對其進行精確定位，從而得到目標的精確位置。2、根據權利要求1所述的視頻目標跟蹤中的可變掩蔽模板匹配算法，其特征在于可變模板掩蔽的方式如下M」a)=1-{rounJc;at)]}其中M乂a:;")是可變模板掩蔽在模板匹配候選坐標變換參數為a時在模板坐標點jc的取值;《a:;fl)表示通過變換參數為fl的坐標變換^將模板坐標點a:映射到視頻幀坐標中；round操作符表示取整；C/是在固定掩蔽模板匹配后經過遮擋分析得到的干擾圖。3、根據權利要求1或2所述的視頻目標跟蹤中的可變掩蔽模板匹配算法，其特征在于利用可變模板掩蔽進行模板匹配的方式如下^=a—n~~^sim{/,M,rM}其中^是經過可變掩蔽模板匹配后得到的反映當前幀目標精確位置的坐標變換參數；simM,W表示圖像X與S之間的任意一種相似度度量；/[《fl)]是通過變換參數為"的坐標變換(M每模板映射到視頻幀坐標中所得到的部分視頻幀圖像；M/fl)是在模板匹配候選坐標變換參數為fl時的整個可變模板掩蔽；r是當前的目標模板；②運算符表示將兩幅圖像之間相應的點的像素值相乘；sum(i^)表示將的所有像素值求和。全文摘要本發明屬于計算機視覺和模式識別
技術領域：
，具體為一種視頻目標跟蹤中的可變掩蔽模板匹配算法。在視頻目標跟蹤中，目標經常會被其它物體部分遮擋。在這種情況下，用傳統的固定掩蔽模板匹配確定目標的位置會造成精確度的顯著下降。為了在目標被部分遮擋的情況下仍然能夠精確地定位目標，本發明結合遮擋分析技術，在首次非精確的匹配結果的基礎上采用可變掩蔽模板匹配算法進行校正，校正過程中的模板掩蔽動態地隨著候選目標位置的變化而改變，使得目標未被遮擋的部分始終能夠有效引導匹配算法找到精確的目標位置。基于大量實景視頻流的實驗結果證實了本發明算法的有效性。文檔編號G06T7/20GK101246546SQ200810034548公開日2008年8月20日申請日期2008年3月13日優先權日2008年3月13日發明者張建秋,潘吉彥,波胡申請人:復旦大學