專利名稱：利用魯棒信息融合來基于多模組成部分地跟蹤對象的方法和系統的制作方法
技術領域：
本發明涉及一種用于跟蹤對象運動的系統和方法，并且更特別地涉及一種用于利用魯棒(robust)信息融合來基于多模組成部分地跟蹤對象的系統和方法。
背景技術：
在視覺上跟蹤對象中遇到的一個問題是維持表達目標外形的能力，這種表達目標外形必須足夠穩定以處理由于目標移動和/或攝像機移動所引起的固有變化。基于模板匹配的方法必須適配模型模板，以便成功地跟蹤目標。在沒有適配的情況下，當所述外形沒發生明顯改變時，跟蹤只在非常短的時期內是可靠的。
但是，在大多數應用中，由于觀察點、照明或障礙的變化，所述目標外形在長時間內經歷結構方面的顯著變化。基于運動跟蹤的方法能處理這種外形變化，在該方法中，所述模型適于先前幀。但是，所累積的運動誤差和快速視覺變化會使所述模型漂離所跟蹤的目標。通過強加對象特定的子空間約束條件或維持所述模型的統計學表達能改善跟蹤性能。這種表達能事先確定或在線計算。所述外形的可變性能被建模為概率分布函數，理想的是在線學習這種概率分布函數。
基于視覺的跟蹤的本征特性在于，跟蹤目標的外形和背景雖然是逐漸地但仍是不可避免地變化。由于用于魯棒跟蹤的一般不變特征很難發現，所以大多數現有方法需要處理跟蹤目標的外形變化和/或背景。即使不明確說明，每個跟蹤方案也包括所述對象的二維(2D)圖像外形的某種表達。
一種公知的利用生成模型(generative model)的方法包括三個組成部分穩定的組成部分、漂移的組成部分和障礙組成部分。所述穩定的組成部分標識運動估計的最可靠的結構，而漂移的組成部分表示所述外形的變化。二者均被示為高斯分布。是離群數據(dataoutlier)的原因的所述障礙組成部分在可能的強度水平上均勻分布。該方法將這種可操縱小波系數的相位部分用作特征。
對象跟蹤有許多應用，諸如監視應用或生產線應用。對象跟蹤還在醫學應用中被用于分析心臟的心肌壁運動。對左心室的心肌壁運動的準確分析對于心臟功能的評價至關重要。由于心臟肌肉的快速運動和呼吸的干擾，這項任務是困難的。當使用超聲圖像序列時甚至更糟。
已經提出了幾種用于心肌壁跟蹤的方法。基于模型的可變形模板、馬爾可夫(Markov)隨機場、光流法和這些方法的組合已經被用于根據二維圖像序列來跟蹤左心室。通常的做法是在形狀跟蹤框架中強加模型約束條件。在多數情況下，由于捕獲主要形狀變化的模式的數量有限且通常比用于描述該形狀的特征組成部分的初始數量少得多，所以子空間模型適用于形狀跟蹤。直接的處理方法是將所跟蹤的形狀投影到主成分分析(PCA)子空間中。但是，這種方法不能利用所述測量結果的不確定性，并且因此是不完整的。在許多實例中，測量噪聲本身就是異方差的(即既各向異性又不均勻)。需要一種能夠融合來自多個外形模型的運動估計的對象跟蹤法，且這種方法能有效地考慮不確定性。

發明內容
本發明涉及一種用于跟蹤對象的系統和方法。接收包括多個圖像幀的視頻序列。維持基于樣本的對象外形分布的表達。對象被劃分為一個或多個組成部分。對于每個組成部分，其相對于所述基于樣本的表達的位置和不確定性被估計。將基于可變帶寬密度的融合(VBDF，Variable-Bandwidth Density Based Fusion)用于每個組成部分，以確定最主要的運動。該運動估計被用于確定該對象的軌跡。
本發明還涉及一種用于在包括多個圖像幀的醫學視頻序列中跟蹤候選對象的方法。所述對象通過多個被標記的控制點來表示。估計出每個控制點的位置和不確定性。維持多個外形模型。將每個控制點與一個或多個模型進行比較。VBDF估計器被用來確定每個控制點的最有可能的當前位置。對于所有這些控制點，坐標被連接在一起。該控制點的集合與最類似于該控制點集合的模型進行融合。
附圖簡述以下將參照附圖更詳細地描述本發明的優選實施方案，其中相同的參考編號表示相同的元件

圖1是根據本發明的用于跟蹤對象運動的系統的系統框圖；圖2圖解說明根據本發明的用于利用基于多模型組成部分的跟蹤器來跟蹤對象的方法；圖3是闡述根據本發明的用于跟蹤對象的方法的流程圖；圖4示出其中根據本發明的方法來跟蹤人臉的圖像幀序列；圖5圖解說明示出圖4的人臉跟蹤圖像的中值殘差的曲線圖；圖6示出其中根據本發明正在跟蹤人體的圖像幀序列；圖7圖解說明示出圖6的身體跟蹤圖像的中值殘差的曲線圖；圖8圖解說明應用根據本發明的測量和濾波處理的魯棒跟蹤器的框圖；圖9圖解說明論證應用單個模型與多個模型跟蹤方法的結果的多個圖像幀；圖10是圖解說明本發明的融合方法與正交投影方法的比較結果的一系列圖像幀；圖11圖解說明示例應用根據本發明的融合方法所得到的兩組圖像序列的一系列圖像幀；以及圖12是圖解說明根據本發明的所跟蹤的點和標準分割圖像(ground truth)之間的平均距離的曲線圖。
詳細描述本發明涉及一種用于跟蹤對象運動的系統和方法。圖1圖解說明了根據本發明的用于利用魯棒信息融合來基于多模型組成部分地跟蹤對象的系統的示例性高級框圖。例如，這種系統可被用于諸如跟蹤人或臉部特征的移動的監視應用。本發明還能被用于跟蹤裝配線上的對象。還能創建用于為了醫學應用而跟蹤人體器官的其它應用。本領域的技術人員應理解，本發明也可被用于其它環境。
本發明使用一臺或多臺攝像機102、104來獲得圖像幀的視頻序列。每臺攝像機被放置在不同的位置，以獲得來自不同透視的圖像以最大化目標區域的覆蓋。目標對象被識別且其屬性被存儲在與處理器106相關聯的數據庫110中。例如，如果目標(例如人)直接面向攝像機102，那么此人將以正面視圖出現。但是，攝像機104所拍到的同一個人的圖像可能以側面視圖出現。這個數據能被進一步分析，以確定是否需要采取進一步動作。所述數據庫110可以包括與該目標相關聯的組成部分的實例，以幫助跟蹤該對象的運動。處理器106可采用諸如加速(boosting)的學習技術來構建能從反例中分辨出正例的分類器。
根據本發明的一個實施方案，通過隨著時間變化維持幾個模型來對外形可變性進行建模。通過隨著時間變化監控像素的強度能完成外形建模。對象的外形(例如其強度)隨著時間發生變化。這些強度的變化能被用于跟蹤控制點，諸如跟蹤與心肌壁相關聯的控制點。這提供了一種表征所述對象外形的概率密度函數的非參數表達。
所使用的基于組成部分的方法是將所述目標對象化分成幾個區域，這些區域獨立地被處理。通過從每個模型中獨立地獲得運動估計和其通過光流的不確定性來執行跟蹤。被稱為可變帶寬密度融合(VBDF)的魯棒融合技術被用來計算每個組成部分的最終估計。當考慮其不確定性時，VBDF計算出最重要的模式的所述位移密度函數。
所述VBDF方法管理運動估計中的多個數據源和離群點。在這個框架中，通過大殘差的估計不確定性來自然地處理障礙。所述對準誤差被用于計算所述估計的協方差矩陣的標度(scale)，因此降低不可靠位移的影響。
圖2圖解說明了根據本發明的用于利用基于多模型組成部分的跟蹤器來跟蹤對象的方法。為了對跟蹤期間的變化進行建模，隨著時間變化維持對象外形的幾個樣本。每個圖像中的每個像素的強度被維持，這等價于所述外形分布的非參數表達。
圖2中的頂行圖解說明了所述模型集合中的當前樣本208、210、212，每個樣本都有一組重疊組成部分。基于組成部分的方法比整體表達更穩定，對照明變化和姿勢更不敏感。另一個優點是通過分析匹配似然在組成部分級別處能處理部分障礙。
每個組成部分獨立地被處理；在當前圖像中相對于所有模型模板估計出其位置和協方差矩陣。例如，在I新中示出組成部分之一202，該組成部分如通過圖像幀202的灰色矩形以及其相對于每個模型的位置和不確定性來圖解說明。所述VBDF魯棒融合過程被用于利用相關聯的不確定性來確定最主要的運動(即模式)，如在矩形204中所示出的那樣。注意由于障礙或外形變化而引起的每個組成部分的所估計的位置中的變化。這些組成部分在當前幀206中的位置進一步受整體參數運動模型的約束。利用每個組成部分位置的置信分數來對相似變換模型和其參數進行估計。因此，這些可靠的組成部分更有助于所述整體運動估計。
如果所述參考外形的殘差相對低，則將所述當前幀206添加到模型集合208、210、212。選擇閾值，以致不添加具有明顯障礙的圖像。所述模型中的模板數量是固定的，因此最老的模板被去掉。但本領域的技術人員應理解，其他方案也能被用來確定在該模型集合中要保留哪些圖像。
所述VBDF估計器基于具有自適應核帶寬的非參數性密度估計。因為當探測其不確定性時初始數據分布的非參數性估計，所以在存在輸入數據的離群點的情況下，所述VBDF估計器工作良好。該VBDF估計器按照所述密度函數的最重要模式的位置來限定。該模式計算是基于在多種標度優化框架中應用可變帶寬平均移位技術。
假設xi∈Rd(i＝1...n)是可得到的d-維估計值，每個估計值具有由所述協方差矩陣Ci給出的相關聯的不確定性。所述密度函數的最重要的模式以多種標度的形式迭代地確定出。帶寬矩陣Hi＝Ci+α2I與每個點xi相關聯，其中I是密度矩陣，而參數α確定分析的標度。位置x處的所述樣本點密度估計器由下式來確定f^(x)=1n(2π)d/2Σi=1nexp(-12D2(x1xi-1Hi))---(1)]]>其中D代表x和xi之間的馬哈蘭諾比斯(Mahalanobis)距離D2(x1xi-1Hi)=(x-xi)THi-1(x-xi)---(2)]]>位置x處的所述可變帶寬平均移位向量由下式給出m(x)=Hh(x)Σi=1nωi(x)Hi-1xi-x---(3)]]>其中Hη代表由數據相關權重ωi(x)加權的帶寬矩陣的調和平均值Hh(x)=(∑i=1nωi(x)Hi-1)-1.---(4)]]>在所述當前位置x處計算出的數據相關權重具有以下表達式
ωi(x)=1|Hi|1/2exp(-12D2(x,xi,Hi),)Σi=1n1|Hi|1/2exp(-12D2(x,xi,Hi))---(5)]]>并且注意該式滿足∑i=1nωt(x)=1.]]>能夠證明，對應于點x+m(x)的密度總大于或等于對應于x的那個密度。因此，利用所述平均移位向量對當前位置進行迭代更新便產生爬山過程，該過程收斂于所述基本密度的平穩點。
通過以幾種標度迭代地應用所述自適應平均移位過程，所述VBDF估計器找出最重要的模式。通過選擇相對于所述點xi的展開大的參數α來從大標度開始。在這種情況下，該密度表面是單模的，因此，所確定的模式將對應于在整體上最密集的區域。當將所述參數α的值減小以及從以先前標度所確定的模式開始所述平均移位迭代時，重復該過程。對于最后的步驟，與每個點相關聯的所述帶寬矩陣等于所述協方差矩陣，即Hi＝Ci。
所述VBDF估計器是具有處理多個源模型的能力的信息融合的有力工具。由于局部臨近的點可以呈現多種運動，所以這對運動估計是重要的。所述最重要的模式對應于最相關的運動。
根據本發明，所述多個組成部分模型同時被跟蹤。現在將描述如何跟蹤這種多個組成部分模型的實例。假設有n個模型M0、M1、...、Mn。對于每個圖像，維持c組成部分的位置，這些位置由xi，j表示，i＝1...c，j＝1...n。當新圖像可得到時，估計出每個組成部分和每個模型的位置和不確定性。利用幾種技術能完成該步驟，這些技術諸如根據圖像相關、空間梯度或時空能量正則化的技術。根據本發明，使用魯棒光流技術，該魯棒光流技術在D.Comaniciu的“Nonparametricinformation fusion for motion estimation(用于運動估計的非參數化信息融合)”(CVPR 2003，第一卷第59-66頁)中被描述，該文獻被引入作為參考。
結果是每個組成部分的運動估計xi，j和其不確定性ci，j。因此，xi，j代表組成部分j相對于模型i的位置估計。所述協方差矩陣的標度也根據該匹配殘差估計得出。當相應的組成部分受到阻礙時，會增加所述協方差矩陣的大小；因此在所述組成部分級別，障礙會得到處理。
所述VBDF魯棒融合技術被用于確定出當前幀中的組成部分j的最相關的位置xj。這種跨越多種標度的模式跟蹤的結果是
xj^=C(xj^)∑i-1nωi(x^j)C^ij-1x^ij]]>C(x^j)=(Σi=1nωi(x^j)C^ij-1)-1.---(6)]]>其中，權重ωi如在(5)中被定義。
在每個組成部分的位置計算之后，利用由所估計的協方差矩陣給出的權重來執行加權的矩形擬合。假設，所述圖像補丁通過由四個參數所限定的相似變換T相關聯。所述動態組成部分位置x的這種相似變換的特征在于以下等式T(x)=a-bbax+txty---(7)]]>其中，tx、ty是平移參數，而a、b對2D旋轉和縮放進行參數化。
所述最小化判據是參考位置x0j和所估計的位置xj(當前幀中的第j個組成部分位置)之間的馬哈蘭諾比斯距離之和。
J=Σj=1n(x^j-T(xj0))TC(x^j)-1(x^j-T(xj0)).---(8)]]>最小化通過標準加權最小二乘法來完成。因為使用了每個組成部分的所述協方差矩陣，所以降低了具有高不確定性的那些點的影響。
在所述矩形被擬合到所跟蹤的組成部分之后，在該矩形內對所述動態組成部分候選者均勻地進行重采樣。假設，每個組成部分相對于該矩形的相對位置沒有多大變化。如果所述重采樣位置和通過某一組成部分的所述光流所計算出的軌跡位置之間的距離大于可容忍的閾值，則該軌跡位置被認為是離群點且用所述重采樣的點來代替。如果有足夠的組成部分具有低殘差，則將該當前圖像添加到所述模型集合。所述模型和當前幀之間的中值殘差與預定的閾值Th進行比較。
現在將參考圖3概括說明這種用于對象跟蹤的方法。如上所述，針對新圖像If獲得組成部分i的模型集合M0、M1、...、Mn(步驟302)。組成部分i處在圖像幀j中的位置xi，j中。針對新圖像If，在圖像幀j中的位置xi，j(f)處使用光流技術計算出組成部分i的位置。計算從xj(f-1)開始，該xj(f-1)是在先前幀中所估計出的組成部分i的位置(步驟304)。針對圖像幀序列(j＝1...n)，組成部分i的位置xj(f)用所述VBDF估計器估計得出(步驟306)。使用通過最小化等式(8)計算出的所述變換，對該組成部分位置進行約束(步驟308)。如果其中值殘差小于所述預定閾值Th，那么將這個新外形添加到所述模型集合(步驟310)。
本發明的這種多模板框架能直接被用于形狀跟蹤的環境中。如果所跟蹤的點代表通過樣條所建模的形狀的控制點，那么使用多個位置估計的魯棒融合將提高所述形狀的位置估計的可靠性。當所述形狀空間受到所學習的子空間約束條件的限制時，這還會產生更小的校正。如果所述輪廓是可得到的，那么被用于跟蹤的這些模型能夠根據形狀之間的距離從所述模型集合中在線地選擇。
應用本發明的方法的實例現在將參考圖4進行描述。圖4示出了多個圖像幀上的臉部跟蹤結果，其中存在著明顯的雜波和障礙。在本實例中，使用了20個模型模板，且這些組成部分至少間隔5個像素，其數量c由所述邊界矩形來確定。將被添加到所述模型集合的新圖像的閾值Th是所述強度范圍的八分之一。從該數據中學習到該值，以致檢測到障礙。
正如從圖4中的圖像幀所能看到的那樣，通過幾張臉的存在而有顯著雜波。另外，還存在多個障礙(例如紙張)，這些障礙截取了被跟蹤的區域。圖5示出了表示被用于模型更新的隨時間變化的中值殘差的曲線圖。該曲線圖中的峰值對應于其中所述目標被完全阻擋的那些圖像幀。當所述誤差穿過由該水平線所表示的閾值Th＝32時，對所述模型進行更新。
圖6示出了根據本發明的被用來跟蹤人體的多個圖像幀。本發明能處理諸如人手臂移動的外形變化，且在被樹阻擋后能恢復該跟蹤目標(即身體)。圖7是示出了隨時間變化的中值殘差的曲線圖。尖峰702對應于所述身體被樹擋住的時候，而尖峰704表示所述身體轉動且其圖像大小相對于固定的組成部分尺寸變得更小的時候。
本發明的這種方法還能被用于醫學應用，諸如用于在一系列圖像幀中跟蹤心肌壁的運動。圖8圖解說明了如何跟蹤心肌壁。本發明的這種方法在以下兩個方面是穩定的在測量過程中，VBDF融合被用于組合多個外形模型的匹配結果；且在濾波過程中，當利用噪聲的異方差特性時，在所述形狀空間中執行融合，以根據測量結果、現有技術和模型來組合信息。
為了在跟蹤期間對所述變化進行建模，隨時間變化維持對象外形的幾個樣本，這等效于所述外形分布的非參數性表達。圖8圖解說明了所述外形模型，即所述模型集合中的當前樣本，每個樣本都相關聯地有一組重疊的組成部分。諸如心肌壁的形狀的一些形狀用控制或標志點(即組成部分)來表式。這些點在向用戶顯示前用樣條進行擬合。基于組成部分的方法比整體表達更穩定，對結構變化更不敏感，因此能處理非剛性形狀變形。
每個組成部分獨立地被處理，在相對于所有的模型模板的當前圖像中估計出其位置和協方差矩陣。例如，所述組成部分之一由矩形810來示出，并且其相對于每個模型的位置以及不確定性在運動估計階段中被示為回路812和814。所述VBDF魯棒融合過程被用于確定具有相關聯的不確定性的最重要的運動(模式)。
通過強加使用預訓練的形狀模型的子空間形狀約束條件來對所述組成部分在當前幀中的位置作進一步調整。通過最優地解析所述系統動態性的不確定性、異方差測量噪聲和子空間形狀模型來實現魯棒形狀跟蹤。通過在每個組成部分位置中使用所估計的置信度，可靠的組成部分對所述整體形狀運動估計貢獻更多。如果所述參考外形的殘差相對低，那么就將所述當前幀添加到所述模型集合。
圖9示出了使用多個外形模型的優點。具有相關聯的輪廓的初始幀在圖9a中示出。使用單個模型產生不正確的跟蹤結果(圖9b)，以及所述多個模型方法正確地解決了所述外形變化(圖9c)。
所述濾波過程基于通過將圖像中所有控制點坐標連在一起所形成的矢量。典型的跟蹤框架將來自動態過程所限定的預測和來自噪聲測量的信息進行融合。對于形狀跟蹤，附加的整體約束條件對在可行范圍內穩定所述整體形狀是必要的。
對于心內膜跟蹤，需要當前心臟的統計學形狀模型而不是一般的心臟。通過假設所述PCA模型和初始的輪廓聯合地表示當前情況的變化，應用強適配的主控制分析(SA-PCA)模型。利用SA-PCA，所述框架并入了四種信息源所述系統動態、測量、子空間模型和初始輪廓。
在圖10中示出了本發明的這種融合方法和正交投影法之間的比較的實例。所述融合法并不完全校正所述誤差，但因為該校正步驟是累積的，所以在長序列中對最近圖像幀的總體影響可能非常明顯。
以下將描述被用于利用非常雜亂的超聲心動描記數據來跟蹤心臟輪廓的本發明的實例。在本實例中所使用的數據代表正常的心肌病以及變化類型的心肌病，其中，序列在長度上從18幀變化到90幀。用于訓練和測試的兩或四腔室頂視圖(具有17個控制點的開放輪廓)和胸骨旁短軸視圖(具有18個控制點的閉合輪廓)均被使用。執行了PCA，并且34和36的最初維度分別被降至7和8。對于這些外形模型，維持了20個模板，以捕獲所述外形變化性。對于系統評價，除了用于測試的訓練數據之外的一組32個超聲心動圖序列(其中有18個胸骨旁短軸視圖和14個兩或四腔室頂視圖)，所有這些都具有專門的帶注釋的標準分割圖像輪廓。
圖11示出了兩個被跟蹤序列的瞬態圖。能夠看出，心內膜不總是在最強壯的邊緣。有時，該心內膜只表現為模糊的一條線；有時完全看不見或被強噪聲所掩蓋；有時又會在其中不存在邊緣的乳頭肌的根部穿過。為了比較不同方法的性能，使用了平方距離的平均和(MSSD)和平均絕對距離(MAD)。本發明的方法與不帶形狀約束的跟蹤算法(被稱為流)和具有正交PCA形狀空間約束條件的跟蹤算法(被稱為流形狀空間)進行比較。圖12示出了使用這兩種距離測量的比較結果。本發明明顯優于其它兩種方法，本發明具有更小的平均距離且對于這個距離具有更小的標準偏差。
已說明了用于使用魯棒信息融合來跟蹤對象的方法的實施方案，應注意，本領域的技術人員能根據上述教導做出修改和改變。因此，應理解能在本發明的特定實施方案中做出改變，這些改變均在如所附的權利要求所限定的本發明的范圍和精神內。因此，已詳細描述了本發明并且特別是按專利法要求描述了本發明，所要求保護且需要受到專利證書保護的內容在所附的權利要求中闡述。
權利要求
1.一種用于跟蹤對象的方法，該方法包括以下步驟接收包括多個圖像幀的視頻序列；維持基于樣本的對象外形分布的表達；將對象劃分成一個或多個組成部分；針對每個組成部分，估計其相對于基于樣本的表達的位置和不確定性；將基于可變帶寬密度的融合(VBDF)用于每個組成部分，以確定最主要的運動；以及利用所述運動估計來確定該對象的軌跡。
2.如權利要求1所述的方法，其中，在包含所述對象的每個子序列圖像幀上執行所述對象的跟蹤。
3.如權利要求1所述的方法，其中，所述組成部分的相對位置能夠用整體參數運動來約束。
4.如權利要求1所述的方法，其中，相對于模型模板來測量與所述組成部分位置相關聯的殘差。
5.如權利要求4所述的方法，其中，如果所述殘差低于預定閾值，則將該當前幀添加到所述模型模板。
6.如權利要求5所述的方法，其中，高殘差表示，所述對象至少部分地被阻擋。
7.如權利要求5所述的方法，其中，高殘差表示，所述對象受到照明條件變化的影響。
8.如權利要求1所述的方法，其中，被跟蹤的對象是臉部。
9.如權利要求1所述的方法，其中，被跟蹤的對象是人體。
10.如權利要求1所述的方法，其中，所述基于樣本的對象外形分布的表達包括從所述圖像幀離線獲得的模型模板。
11.如權利要求1所述的方法，其中，所述基于樣本的對象外形分布的表達包括從所述圖像幀在線獲得的模型模板。
12.如權利要求1所述的方法，其中，所述組成部分的相對位置能夠用形狀模型來約束。
13.一種用于在包括多個圖像幀的醫學視頻序列中跟蹤候選對象的方法，所述對象用多個被標記的控制點來表示，該方法包括以下步驟估計出每個控制點的位置和不確定性；維持多個外形模型；將每個控制點與一個或多個模型進行比較；利用VBDF估計器來確定每個控制點的最可能的當前位置；將所有所述控制點的坐標連接在一起；以及將所述控制點的集合與最類似于該控制點的集合的模型進行融合。
14.如權利要求13所述的方法，其中，所述控制點與心肌壁的輪廓相關聯。
15.如權利要求14所述的方法，其中，所述方法跟蹤所述心肌壁的變形運動。
16.一種用于跟蹤對象的系統，其包括至少一臺攝像機，用于捕獲圖像幀的視頻序列；與所述至少一臺攝像機相關聯的處理器，該處理器執行以下步驟i)維持基于樣本的對象外形分布的表達；ii)將對象劃分成一個或多個組成部分；iii)針對每個組成部分，估計其相對于基于樣本的表達的位置和不確定性；iv)將基于可變帶寬密度的融合(VBDF)用于每個組成部分，以確定最主要的運動；以及v)利用所述運動估計來確定該對象的軌跡。
17.如權利要求16所述的系統，其中，在包含所述對象的每個子序列圖像幀上執行所述對象的跟蹤。
18.如權利要求16所述的系統，其中，所述組成部分的相對位置能夠用整體參數運動來約束。
19.如權利要求16所述的系統，其中，相對于模型模板來測量與所述組成部分位置相關聯的殘差。
20.如權利要求19所述的系統，其中，如果所述殘差低于預定閾值，則將所述當前幀添加到所述模型模板。
21.如權利要求20所述的系統，其中，高殘差表示，所述對象至少部分地被阻擋。
22.如權利要求20所述的系統，其中，高殘差表示，所述對象受到照明條件變化的影響。
23.如權利要求16所述的系統，其中，被跟蹤的對象是臉部。
24.如權利要求16所述的系統，其中，被跟蹤的對象是人體。
25.如權利要求16所述的系統，其中，所述基于樣本的對象外形分布的表達包括從所述圖像幀離線獲得的模型模板。
26.如權利要求16所述的系統，其中，所述基于樣本的對象外形分布的表達包括從所述圖像幀在線獲得的模型模板。
27.如權利要求16所述的系統，其中，所述組成部分的相對位置能夠用形狀模型來約束。
全文摘要
所公開的是一種用于跟蹤對象的系統和方法。接收包括多個圖像幀的視頻序列。維持基于樣本的對象外形分布的表達。將對象劃分成一個或多個組成部分。針對每個組成部分，估計其相對于基于樣本的表達的位置和不確定性。將基于可變帶寬密度的融合(VBDF)用于每個組成部分，以確定最主要的運動。利用所述運動估計來確定該對象的軌跡。
文檔編號G06T7/20GK1965332SQ200580012428
公開日2007年5月16日 申請日期2005年2月18日 優先權日2004年2月20日
發明者B·喬治斯庫, X·S·周, D·科馬尼丘, R·B·勞 申請人:西門子共同研究公司