本發明涉及視頻跟蹤技術領域，特別是涉及一種視頻中運動目標的跟蹤方法及裝置。

背景技術：

隨著信息技術的蓬勃發展，計算機視覺技術在視頻跟蹤領域的應用越來越廣泛，尤其在體育賽事視頻分析中，通過計算機視覺跟蹤運動目標進行體育賽事分析能夠大大減少人工成本，提高分析準確度。近年來基于在線機器學習的跟蹤算法得到了快速發展，如在線boosting算法、“跟蹤－檢測－學習”算法、以及基于壓縮感知的跟蹤算法等，然而，上述各種基于在線機器學習的運動目標跟蹤方法由于需要不斷學習新的模型，使得計算復雜度高，影響跟蹤效率，且容易產生跟蹤漂移問題，跟蹤準確性低。

技術實現要素：

基于此，有必要針對傳統運動目標跟蹤方法存在的跟蹤效率低、跟蹤準確性低的問題，提供一種快速且準確有效的視頻中運動目標的跟蹤方法及裝置。

一種視頻中運動目標的跟蹤方法，包括以下步驟：

計算第一視角下的視頻中的當前幀的運動目標的遮擋率；

根據運動目標的遮擋率計算時空上下文模型的學習速率，并根據學習速率更新運動目標的時空上下文模型；

獲取當前幀中的運動目標的圖像特征值，根據圖像特征值更新運動目標的上下文先驗模型；

對更新后的時空上下文模型和上下文先驗模型進行卷積運算，得到第一視角下的視頻中的下一幀的運動目標的跟蹤位置。

上述視頻中運動目標的跟蹤方法，通過計算第一視角下的視頻中的當前幀的運動目標的遮擋率計算時空上下文模型的學習速率，并根據學習速率更新運動目標的時空上下文模型；再根據圖像特征值更新運動目標的上下文先驗模型；根據更新后的時空上下文模型和上下文先驗模型進行卷積運算，得到第一視角下的視頻中的下一幀的運動目標的跟蹤位置。上述視頻中運動目標跟蹤方法通過更新運動目標的時空上下文模型上下文先驗模型即可實現下一幀運動目標的跟蹤定位，只要進行模型更新即可，不需要一直學習新的模型，有效降低了計算復雜度，有效提升跟蹤效率，并且，上述視頻中運動目標的跟蹤方法根據運動目標的遮擋情況動態確定時空上下文模型的學習速率以更新時空上下文模型，能夠避免運動目標被其它物體遮擋時學習到錯誤的模型，有效避免出現跟蹤漂移，大大提高跟蹤準確性。

在其中一個實施例中，計算第一視角下的視頻中的當前幀的運動目標的遮擋率的步驟包括：

檢測當前幀的不同的運動目標的跟蹤框之間是否包括交點；

當不同的運動目標的跟蹤框之間包括交點時，計算不同的運動目標的跟蹤框之間重疊部分的長度和寬度，并根據長度和寬度計算運動目標發生遮擋的遮擋面積；

獲取預先存儲的運動目標的跟蹤框面積，計算運動目標的遮擋率為遮擋面積與跟蹤框面積的比值。

在其中一個實施例中，采用以下公式計算學習速率：

其中：

e為自然對數；

δs為運動目標的遮擋率；

k、均為常參數。

在其中一個實施例中，獲取當前幀中的運動目標的圖像特征值的步驟包括：

獲取當前幀中的運動目標在紅色通道上的顏色強度、在綠色通道上的顏色強度以及在藍色通道上的顏色強度；

為運動目標在紅色通道上的顏色強度、在綠色通道上的顏色強度，及在藍色通道上的顏色強度賦予相應的顏色強度權重值；

對在每個通道上的顏色強度進行加權求和，得到當前幀中的運動目標的圖像特征值。

在其中一個實施例中，上述視頻中運動目標的跟蹤方法還包括：

提取追蹤場地邊線區域，建立追蹤場地俯視二維模型，將跟蹤位置投影至追蹤場地俯視二維模型中的第一投影坐標。

在其中一個實施例中，上述視頻中運動目標的跟蹤方法還包括：

獲取第二視角下的視頻，并計算在第二視角下的視頻中與下一幀對應的視頻幀的運動目標的跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標；

分別將第一視角下的視頻中的當前幀運動目標的遮擋率和第二視角下的視頻中的當前幀運動目標的遮擋率與預設遮擋率閾值進行比較；

當第一視角下的視頻中的當前幀運動目標的遮擋率和第二視角下的視頻中的當前幀運動目標的遮擋率均小于或等于預設遮擋率閾值時，根據第一投影坐標和第二投影坐標計算運動目標在追蹤場地俯視二維模型中的目標投影坐標；

當第一視角下的視頻中的當前幀運動目標的遮擋率大于預設遮擋率閾值時，選取第二投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標；當第二視角下的視頻中的當前幀運動目標的遮擋率大于預設遮擋率閾值時，選取第一投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標。

在其中一個實施例中，選取第二投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標的步驟之后，還包括：根據第二投影坐標對第一投影坐標進行修正；

選取第一投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標的步驟之后，還包括：根據第一投影坐標對第二投影坐標進行修正。

一種視頻中運動目標的跟蹤裝置，包括：

遮擋率計算模塊，用于計算第一視角下的視頻中的當前幀的運動目標的遮擋率；

時空上下文模型更新模塊，用于根據運動目標的遮擋率計算時空上下文模型的學習速率，并根據學習速率更新運動目標的時空上下文模型；

上下文先驗模型更新模塊，用于獲取當前幀中的運動目標的圖像特征值，根據圖像特征值更新運動目標的上下文先驗模型；

跟蹤模塊，用于對更新后的時空上下文模型和上下文先驗模型進行卷積運算，得到第一視角下的視頻中的下一幀的運動目標的跟蹤位置。

在其中一個實施例中，時空上下文模型更新模塊包括：

交點檢測子模塊，用于檢測當前幀的不同的運動目標的跟蹤框之間是否包括交點；

遮擋面積計算子模塊，用于當不同的運動目標的跟蹤框之間包括交點時，計算不同的運動目標的跟蹤框之間重疊部分的長度和寬度，并根據長度和寬度計算運動目標發生遮擋的遮擋面積；

遮擋率計算子模塊，用于獲取預先存儲的運動目標的跟蹤框面積，計算運動目標的遮擋率為遮擋面積與跟蹤框面積的比值。

在其中一個實施例中，學習速率計算模塊采用以下公式計算學習速率：

其中：

e為自然對數；

δs為運動目標的遮擋率；

k、均為常參數。

附圖說明

圖1為一個實施例中視頻中運動目標的跟蹤方法的流程圖；

圖2為一個實施例中計算運動目標的遮擋率的流程圖；

圖3為一個實施例中運動目標的遮擋面積計算原理示意圖；

圖4為又一個實施例中視頻中運動目標的跟蹤方法的流程圖；

圖5為一個實施例中運動目標的時空上下文信息界面顯示示意圖；

圖6為一個實施例中追蹤場地俯視二維模型顯示示意圖；

圖7為一個實施例中視頻中運動目標的跟蹤裝置的結構示意圖；

圖8為一個實施例中時空上下文模型更新模塊的結構示意圖；

圖9為一個實施例中上下文先驗模型更新模塊的結構示意圖；

圖10為又一個實施例中時空上下文模型更新模塊的結構示意圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。

請參閱圖1，一種視頻中運動目標的跟蹤方法，包括以下步驟：

步驟102：計算第一視角下的視頻中的當前幀的運動目標的遮擋率。

具體地，運動目標的遮擋率表示運動目標被遮擋的程度，根據運動目標發生遮擋的面積計算得到。終端檢測運動目標是否發生遮擋，當運動目標發生遮擋時，則計算運動目標的遮擋率；否則，運動目標的遮擋率為0。

步驟104：根據運動目標的遮擋率計算時空上下文模型的學習速率，并根據學習速率更新運動目標的時空上下文模型。

具體地，空間上下文模型關注運動目標與其局部上下文的空間位置關系，包括距離和方向關系。視頻序列是連續的，時間上的上下文相關性對于跟蹤結果也非常重要，每一幀的運動目標的時空上下文模型通過學習速率學習上一幀跟蹤目標的時空上下文模型和空間上下文模型得到。當運動目標被其他物體遮擋時，運動目標的外觀模型會受到改變，此時運動目標的空間上下文模型可信度降低，本實施例中，通過調整運動目標的時空上下文模型的學習速率以防止學習到錯誤的模型。具體地，根據運動目標發生遮擋的情況動態確定時空上下文模型的學習速率，并根據學習速率更新第一視角下的視頻中的下一幀的運動目標的時空上下文模型。

步驟106：獲取當前幀中的運動目標的圖像特征值，根據圖像特征值更新運動目標的上下文先驗模型。

具體地，上下文先驗模型反映運動目標當前局部上下文自身的空間構成，與上下文空間的圖像特征與其空間位置結構有關，本實施例中，終端獲取當前幀中的運動目標的圖像特征值，根據圖像特征值更新運動目標的上下文先驗模型。

步驟108：對更新后的時空上下文模型和上下文先驗模型進行卷積運算，得到第一視角下的視頻中的下一幀的運動目標的跟蹤位置。

上述視頻中運動目標的跟蹤方法，通過計算第一視角下的視頻中的當前幀的運動目標的遮擋率計算時空上下文模型的學習速率，并根據學習速率更新運動目標的時空上下文模型；再根據圖像特征值更新運動目標的上下文先驗模型；根據更新后的時空上下文模型和上下文先驗模型進行卷積運算，得到第一視角下的視頻中的下一幀的運動目標的跟蹤位置。上述視頻中運動目標跟蹤方法通過更新運動目標的時空上下文模型上下文先驗模型即可實現下一幀運動目標的跟蹤定位，只要進行模型更新即可，不需要一直學習新的模型，有效降低了計算復雜度，有效提升跟蹤效率，并且，上述視頻中運動目標的跟蹤方法根據運動目標的遮擋情況動態確定時空上下文模型的學習速率以更新時空上下文模型，能夠避免運動目標被其它物體遮擋時學習到錯誤的模型，有效避免出現跟蹤漂移，大大提高跟蹤準確性。

如圖2所示，在一個實施例中，步驟102包括：

步驟1022：檢測當前幀的不同的運動目標的跟蹤框之間是否包括交點。

為了保證運動目標初始位置的準確性，為之后的跟蹤打下良好的基礎，本實施例中，通過人機交互對第一視角下的視頻的第一幀中運動目標的初始位置進行人工標定，人工選定跟蹤框，確定各運動目標的初始位置，具體的，本實施例中，跟蹤框為矩形框。跟蹤過程中，終端實時檢測不同的運動目標的跟蹤框之間是否包括交點，如果不同的運動目標的跟蹤框之間包括交點，則表示運動目標之間發生遮擋，執行步驟1024；否則，運動目標沒有發生遮擋，直接得到運動目標的遮擋率為0。

步驟1024：當不同的運動目標的跟蹤框之間包括交點時，計算不同的運動目標的跟蹤框之間重疊部分的長度和寬度，并根據長度和寬度計算運動目標發生遮擋的遮擋面積。

如圖3所示，本實施例中，以跟蹤框的左上角為原點，向右為x軸，向下為y軸建立坐標系。完成當前幀跟蹤得到運動目標的跟蹤位置即能夠得到跟蹤框的頂點的位置坐標。為便于計算，本實施例選取跟蹤框的左上角頂點坐標和右下角頂點坐標進行計算，其中，跟蹤框k1的左上角頂點坐標為(minx1,miny1)，右下角頂點坐標為(maxx1,maxy1)，跟蹤框k2的左上角頂點坐標為(minx2,miny2)，右下角頂點坐標為(maxx2,maxy2)。跟蹤框k1和跟蹤框k2包括兩個交點，分別為交點e和交點f，根據跟蹤框k1的右下角頂點的橫坐標和跟蹤框k2的左上角頂點的縱坐標可以得到交點e點的坐標為(maxx1，miny2)；同理，根據跟蹤框k2左上角的橫坐標和和跟蹤框k1右下角的縱坐標得到交點f的坐標為(minx2，maxy1)。獲取到交點e和交點f的坐標后即可計算跟蹤框k1和跟蹤框k2重疊部分的長度和寬度。其中，計算交點e的橫坐標與第二跟蹤框k2左上角頂點的橫坐標的差值，得到跟蹤框k1和跟蹤框k2重疊部分的寬度，并計算交點f的縱坐標與第二跟蹤框k2左上角頂點的縱坐標之差得到跟蹤框k1和跟蹤框k2重疊部分的長度。進一步的，計算長度和寬度的乘積即得到運動目標發生遮擋的遮擋面積，遮擋面積soverlap＝(maxx1-minx2)*(maxy1-miny2)。

本實施例中，通過計算交點坐標再進一步計算跟蹤框之間重疊部分的長度和寬度以計算得到遮擋面積。但是，需要說明的是，以上實施例并不用于對遮擋面積計算的具體限定。如，在其它實施例中，還可以直接通過跟蹤框k1的左上角頂點及右下角頂點的坐標和跟蹤框k2的左上角頂點及右下角頂點坐標計算遮擋面積。為便于說明，仍以圖3為例進行說明，在一個實施例中，定義minx＝max(minx1,minx2)，即minx為minx1與minx2當中的較大值；同時，定義maxx＝min(maxx1,maxx2)，maxx為maxx1與maxx2中的較小值；miny＝max(miny1,miny2)，miny為miny1與miny2中的較大值；maxy＝min(maxy1,maxy2)，maxy為maxy1與maxy2中的較小值。跟蹤過程中，終端根據實時比較minx與maxdx的大小，及miny與maxy的大小，根據比較結果判斷跟蹤框之間是否發生遮擋并在發生遮擋時計算遮擋面積。具體的，如果minx<maxx并且miny<maxy，則跟蹤框k1和跟蹤框k2重疊，運動目標發生遮擋，計算遮擋面積為：soverlap＝(maxx-minx)*(maxy-miny)。如圖3所示，本實施例中，minx＝minx2,miny＝miny2,maxx＝maxx1,maxy＝maxy1，遮擋面積soverlap＝(maxx1-minx2)*(maxy1-miny2)。

步驟1026：獲取預先存儲的運動目標的跟蹤框面積，計算運動目標的遮擋率為遮擋面積與跟蹤框面積的比值。

具體地，步驟1022中，標定運動目標跟蹤框后計算并存儲跟蹤框面積，步驟1024計算得到運動目標的遮擋面積后，終端讀取跟蹤框面積，計算遮擋面積與跟蹤框面積的比值，得到運動目標的遮擋率如下：

其中soverlap為運動目標的遮擋面積，s0為跟蹤框面積。

在一個實施例中，步驟104中，采用以下公式計算學習速率：

其中：e為自然對數；δs為運動目標的遮擋率；k、均為常參數。具體地，k的取值范圍為2～4；的取值范圍為1.5～2.5。在一個實施例中，k＝3，

在一個實施例中，步驟106中，獲取當前幀中的運動目標的圖像特征值的步驟包括：獲取當前幀中的運動目標在紅色通道上的顏色強度、在綠色通道上的顏色強度以及在藍色通道上的顏色強度；為運動目標在紅色通道上的顏色強度、在綠色通道上的顏色強度，及在藍色通道上的顏色強度賦予相應的顏色強度權重值；對在每個通道上的顏色強度進行加權求和，得到當前幀中的運動目標的圖像特征值。

具體地，運動目標在紅色通道上的顏色強度、在綠色通道上的顏色強度，及在藍色通道上的顏色強度賦予相應的顏色強度權重值根據不同運動目標在紅色通道、綠色通道及藍色通道上的顏色強度的差異大小確定，顏色強度差異越大，該通道上的顏色強度權重值越大。本實施例中，通過不同運動目標之間的顏色差異確定每個運動目標的顏色特征值以用于上下文先驗模型更新，以確保上下文先驗模型跟蹤準確，進一步提高跟蹤準確性。

在一個實施例中，上述視頻中運動目標的跟蹤方法還包括：提取追蹤場地邊線區域，建立追蹤場地俯視二維模型，將跟蹤位置投影至追蹤場地俯視二維模型中的第一投影坐標。

通過步驟102至步驟108跟蹤得到的運動目標的坐標及位置關系都是在第一視角的攝像機所拍攝得到的原視圖中的位置，為了將追蹤結果形象化展示以便于跟蹤分析，本實施例中，建立一個追蹤場地的俯視二維模型同步顯示各運動目標的跟蹤位置。在該追蹤場地俯視二維模型中每個運動目標具有一個目標標識，完成每一幀追蹤后，將運動目標的目標標識由上一幀中的相應第一投影坐標移動至與當前確定的跟蹤位置對應的第一投影坐標處。

一般的，追蹤場地的二維模型圖為俯視圖，而原視頻的拍攝角度一般是帶有一定角度的側視圖。本實施例中，根據攝像機所在位置及角度進行視角以及數據尺度上的轉換，將運動目標的跟蹤位置同步地顯示在追蹤場地的俯視二維模型上。具體地，本實施例通過齊次變換建立原視頻圖像與二維模型的轉化關系。首先，將二維平面的投影變換表示為齊次坐標下向量與一個3x3矩陣的乘積，即為x’＝hx，具體單應變換矩陣表示如下：

由以上單應變換矩陣可知，平面單應變換為八個自由度，求解變換矩陣中的八個未知數即可求得單應變換矩陣，完成目標投影變換。由于一組對應點坐標可由上述矩陣乘式得到兩個方程，要求原變換矩陣中所有未知數，需要四組方程，故，若要求得單應變換矩陣，只需知道對應的四組點坐標即可。具體的，本實施例中，通過提取追蹤場地邊線區域確定追蹤場地的四組頂點坐標，以求得變換矩陣，實現二維投影變換。本實施例通過單應變換矩陣計算三維視頻圖像的二維投影變換，無需獲取攝像設備的參數信息，視頻分析系統簡單易用，轉換靈活性高。

在一個實施例中，上述視頻中運動目標的跟蹤方法還包括：獲取第二視角下的視頻，并計算在第二視角下的視頻中與下一幀對應的視頻幀的運動目標的跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標；分別將第一視角下的視頻中的當前幀運動目標的遮擋率和第二視角下的視頻中的當前幀運動目標的遮擋率與預設遮擋率閾值進行比較；當第一視角下的視頻中的當前幀運動目標的遮擋率和第二視角下的視頻中的當前幀運動目標的遮擋率均小于或等于預設遮擋率閾值時，根據第一投影坐標和第二投影坐標計算運動目標在追蹤場地俯視二維模型中的目標投影坐標；當第一視角下的視頻中的當前幀運動目標的遮擋率大于預設遮擋率閾值時，選取第二投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標；當第二視角下的視頻中的當前幀運動目標的遮擋率大于預設遮擋率閾值時，選取第一投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標。

具體地，第二視角下的視頻中下一幀運動目標跟蹤位置的確定及跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標的轉換過程及原理均與第一視角下的視頻中下一幀運動目標跟蹤位置的確定及跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標的轉換相同，在此不予贅述。

在多運動目標追蹤場景中，由于目標運動復雜，極其容易出現大面積遮擋甚至完全遮擋的情況，如果兩個跟蹤框疊加到一起會發生漂移跳變，并且，跟蹤過程中當運動目標發生大幅度遮擋時，即使未發生漂移跳變，由于在此視角下無法判斷有遮擋關系的物體間的距離，被遮擋物體所獲得的坐標信息也是不準確的。因此，本實施例根據運動目標發生遮擋的情況判斷第一視角下得到的運動目標的第一投影坐標和第二視角下得到的運動目標的第二投影坐標是否有誤，如果某一視角下運動目標發生遮擋的情況較嚴重，運動目標的遮擋率大于預設遮擋率閾值，則該視角下得到的運動目標的投影坐標錯誤，選取另一個視角下得到的運動目標的投影坐標作為最終的目標投影坐標；如果兩個視角下運動目標的遮擋率都小于或等于預設遮擋率閾值，則兩個視角下得到的運動目標的投影坐標均是正確的，此時為第一投影坐標和第二投影坐標賦予權重值，根據第一投影坐標和第二投影坐標進行加權和計算，得到運動目標在追蹤場地俯視二維模型中的目標投影坐標，同時根據第一投影坐標和第二投影坐標對對跟蹤結果進行優化，確保跟蹤準確。

具體地，由于在跟蹤過程中，跟蹤框的尺寸是固定的，但跟蹤的運動目標在攝像機視角下存在近大遠小的關系。因此，在一個實施例中，定義界定遮擋情況的預設遮擋率閾值與目標在二維模型上距離攝像機的距離有關，根據運動目標在追蹤場地俯視二維模型中距離攝像機的距離計算預設遮擋率閾值，并根據第一視角視頻及第二視角視頻中運動目標距離攝像機的距離計算第一視角視頻中下一幀運動目標的跟蹤位置及第二視角視頻中下一幀運動目標的跟蹤位置的權重。

本實施例通過對不同視角下的視頻進行同時追蹤，將每個視角下得到的運動目標的跟蹤位置均投影到追蹤場地俯視二維模型中，并根據運動目標發生遮擋的情況將兩個視角下對同一運動目標的跟蹤結果統一化，基于雙視角的視頻追蹤對跟蹤結果進行優化，確保跟蹤準確，大大提高跟蹤準確性。

在一個實施例中，選取第二投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標的步驟之后，還包括：根據第二投影坐標對第一投影坐標進行修正；選取第一投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標的步驟之后，還包括：根據第一投影坐標對第二投影坐標進行修正。本實施例中，當某一視角下的跟蹤結果有誤時，通過另一視角下的跟蹤結果對錯誤的跟蹤結果進行修正，并根據修正后的跟蹤結果更新時空上下文模型，以確保后續跟蹤結果準確，進一步提高跟蹤準確性。

進一步地，為了便于理解本發明的技術方案，以下結合圖4至圖6，以足球視頻跟蹤為例對上述視頻中運動目標的跟蹤方法進行詳細說明。為便于說明，將兩個足球隊定義為甲隊和乙隊，其中，甲隊隊員在球場俯視二維模型中的球員標識為矩形，乙隊隊員在球場俯視二維模型中的球員標識為圓形。

一種視頻中運動目標的跟蹤方法，包括以下步驟：

1)、確定運動目標初始位置，標定運動目標跟蹤框。

首先，讀取第t幀圖像，通過人工標定跟蹤框確定第t幀中各球員(即運動目標)的初始位置。具體地，人工標定球員跟蹤框時，可采用鼠標選定跟蹤框，分別對第一視角下的視頻中及第二視角下的視頻中第一幀中球員的初始位置進行標定，確定第一視角下的視頻中及第二視角下的視頻中第一幀中球員的初始位置。進一步的，完成球員初始位置標定后，終端進一步計算并存儲每個球員跟蹤框的跟蹤框面積。

2)、計算當前幀的運動目標的遮擋率。

具體地，分別計算第一視角下的視頻中及第二視角下的視頻中對應的當前幀的每個球員的遮擋率，根據當前幀中每個球員跟蹤框的跟蹤框面積和當前球員發生遮擋的遮擋面積計算第一視角下的視頻中及第二視角下的視頻中對應的當前幀的每個球員的遮擋率，具體運動目標的遮擋率的計算原理及過程已在前述實施例中詳細描述，在此不再贅述。

3)、計算時空上下文模型的學習速率，更新時空上下文模型。

時間上的上下文信息是連續幀間的時間關聯性，空間上的上下文信息是由跟蹤目標與其周圍可定范圍內的背景圖像的組合。利用時空上下文信息對目標進行跟蹤首先需要建立跟蹤模型，具體地，目標跟蹤問題，即為一個目標出現位置的概率問題。令o為要跟蹤的目標，x為一個圖像上的二維坐標點，p(x|o)表示坐標x在目標o中出現，將目標跟蹤轉換為了最大置信度的計算問題。

令：

m(x)＝p(x|o)；公式(4)

則當置信圖m(x)取值最大時，所對應的坐標x，即可認為是目標o最可能出現的位置。如圖5所示，實線框范圍內為目標所在區域，外部虛線框范圍內為局部上下文區域。用目標中心位置坐標x^*代表目標所在位置，z為局部上下文區域內一點。定義目標x^*的局部上下文區域為ωc(x^*)，并定義此局部區域的上下文特征集合為x^c＝{c(z)＝(i(z),z)|z∈ωc(x^*)}，其中，i(z)為z坐標處的圖像特征值。利用全概率公式，以局部上下文特征為中間量，將公式(4)式展開，即可以得到：

其中，p(x|c(z),o)表示當給定目標o和其局部上下文特征c(z)時，目標出現在x點的概率，它為跟蹤目標所在位置與其上下文信息的空間關系建立了空間上下文模型。而p(c(z)|o)代表某一上下為文特征c(z)出現在目標o中的概率，是目標o的上下文先驗概率，為當前局部上下文的外觀先驗模型。其中，上下文先驗模型表示當通過計算置信圖m(x)進行目標位置預測時，所選擇的是與上一幀目標所處位置外觀相似的上下文，而空間上下文模型則保證了所選擇的新目標位置不僅在外觀上與原目標相似，且在空間位置上也是具有合理性的，從而在一定程度上避免因其他外觀相似的物體出現而形成干擾，避免造成跟蹤中的漂移現象。

基于上述，本實施例中，預先對公式(5)中的每一部分進行具體的數學模型建立，具體包括置信圖建模、空間上下文模型建模和上下文先驗模型建模。

首先，置信圖的建模如下：由于視頻中第一幀中的目標位置已知(根據對初始幀進行跟蹤框標定得到)，置信圖m(x)應滿足距離目標x＊位置越近，其置信度越大這一性質。因此，令：

其中，b為歸一化常參數；α為尺度常參數，β為函數曲線圖像控制常參數。α與跟蹤目標的尺寸大小相關，取值范圍為1.75～2.75；β取值范圍為0.5～1.5。在一個實施例中，α＝2.25，β＝1。

其次，空間上下文模型p(x|c(z),o)的建模如下：由于空間上下文模型關注的是跟蹤目標與其局部上下文的空間位置關系，即包括距離和方向關系，故定義p(x|c(z),o)為一非徑向對稱的函數：

p(x|c(z),o)＝hsc(x-z)；公式(7)

其中：x為目標所在位置，z為其局部上下文中某一位置，則即使當有兩點z1、z2與目標中心位置x＊距離相同時，由于其所處位置不同，hsc(x＊-z1)≠hsc(x＊-z2)，即表明它們對于x＊來說，代表著不同的上下文，以有效區分不同的空間關系，防止發生歧義。

最后，上下文先驗模型p(c(z)|o)的建模如下：上下文先驗模型反映的是當前局部/上下文自身的空間構成，直觀地考慮，應與上下文空間的圖像特征與其空間位置結構有關。因此，令：

p(c(z)|o)＝i(z)ωσ(z-x^*)；公式(8)

其中，i(z)為局部上下文區域中z點處的圖像特征值，ωσ(δ)為權值函數。

具體地，在跟蹤過程中，可類比人眼追蹤某物的過程，距離跟蹤目標越近的上下文區域，可認為是與跟蹤目標越相關的，因此重要性越高，而距離跟蹤目標越遠的上下文區域，可認為是與跟蹤目標較為無關的部分，因此重要性較低。據此，定義：

其中，δ為兩點間距離，λ為歸一化常參數，用于使p(c(z)|o)的取值處于0到1之間，以符合概率函數的定義；σ為尺度參數，與跟蹤目標大小相關。

將公式(9)代入公式(8)得到上下文先驗模型如下：

也即，將局部上下文的空間構成建模為此區域內各點圖像特征值的高斯加權和。

進一步的，本實施例中，完成上述置信圖建模、空間上下文模型建模和上下文先驗模型建模后，進一步根據上述置信圖、空間上下文模型和上下文先驗模型更新時空上下文模型：

首先，將公式(5)代入公式(6)、公式(7)及公式(10)，得到：

其中，hsc(x-z)為空間上下文模型，即每一幀圖像要計算并學習的對象。

根據卷積的定義：

公式(11)可變化為：

根據卷積定理，有：

則：

其中，和分別表示傅立葉及反傅立葉變換。

假定第t幀時，已知目標中心位置及目標的局部上下文區域ωc(x^*)，可以計算得到第t幀中跟蹤目標及其局部上下文區域的空間上下文模型，記為因為所處理的是連續的視頻序列，時間上的上下文相關性對于跟蹤結果也至關重要。為將這一維度也納入考慮，設置時空上下文模型學習速率ρ，將每一幀跟蹤目標的時空上下文模型表示為歷史時空上下文模型與新習得的空間上下文模型兩部分，如下所示：

其中，為第t幀的空間上下文模型；為第t幀的時空上下文模型，為第t+1幀的時空上下文模型。

一般的，在存在多個外觀相似的跟蹤目標的情境下，當發生遮擋狀況時，即目標的外觀模型已經發生了較大變化，而此時時空上下文模型仍按照同等的速率學習并更新，便會不斷學習到錯誤模型進而最終丟失跟蹤目標。本實施例根據運動目標的遮擋情況動態確定學習速率，學習速率ρ為自動更新的動態值，能夠有效防止更新過快而完全丟失歷史模型信息。具體來說，當跟蹤目標被其他物體遮擋時，目標外觀模型會受到改變，進而空間上下文模型可信度降低，需要降低學習速率，以防學習到錯誤的模型，確保跟蹤準確。本實施例中，根據運動目標的遮擋率計算時空上下文模型的學習速率更新上述得到的運動目標的時空上下文模型。具體根據公式(3)計算時空上下文模型的學習速率，在此不予贅述。

4)、獲取運動目標的圖像特征值，更新運動目標的上下文先驗模型。

具體的，通過以下公式計算得到運動目標的圖像特征值：

i(x)＝w1·ir(x)+w2·ig(x)+w3·ib(x)；公式(17)

其中，ir(x)為x處在紅色通道上的顏色強度；ig(x)為x處在綠色通道上的顏色強度；ib(x)為x處在藍色通道上的顏色強度；w1、w2、w3為權值且w1+w2+w3＝1。在一個實施例中，兩隊隊服顏色在r通道差異較為明顯，將ir(x)賦予較大的權值，w1＝0.4,w2＝0.3,w3＝0.3。

5)、對更新后的時空上下文模型和上下文先驗模型進行卷積運算，得到下一幀運動目標的跟蹤位置。

具體地，在第t+1幀時，已知其時空上下文模型為更新過后的再計算出t+1幀的上下文先驗模型即可通過式(7)至公式(11)進行卷積計算得到第t+1幀的置信圖，如下：

則有，當第t+1幀的置信圖mt+鯐(x)取最大值時，所對應的x值即認為是第t+1幀中運動目標的中心位置從而確定運動目標的跟蹤位置，即分別確定了第一視角下的視頻中下一幀被跟蹤球員的跟蹤位置，及第二視角下的視頻中下一幀被跟蹤球員的跟蹤位置。

6)、建立球場俯視二維模型，將第一視角下的視頻中下一幀運動目標的跟蹤位置投影至球場俯視二維模型中的第一投影坐標，將第二視角下的視頻中下一幀運動目標的跟蹤位置投影至球場俯視二維模型中的第二投影坐標。

具體地，本實施例中，選取足球比賽場地半場的四個角點作為計算平面單應變換矩陣的四個參考點。首先，通過一系列數字圖像處理中的閾值處理技術與霍夫變換直線檢測，提取球場邊線區域；再將分散的線段進行合并，得到球場邊線直線方程并且得到四組標定點坐標，最后，根據四組標定點坐標得到兩個視角的轉換矩陣，具體球場俯視二維模型如圖6所示。

7)、檢測第一投影坐標和第二投影坐標是否錯誤。

具體地，分別將第一視角下的視頻中的當前幀球員的遮擋率和第二視角下的視頻中的當前幀球員的遮擋率與預設遮擋率閾值進行比較，判斷第一投影坐標和第二投影坐標是否錯誤。如果第一視角下的視頻中的當前幀球員的遮擋率大于預設遮擋率閾值，則第一投影坐標錯誤；如果第二視角下的視頻中的當前幀球員的遮擋率大于預設遮擋率閾值，則第二投影坐標錯誤。如果第一視角下的視頻中的當前幀球員的遮擋率和第二視角下的視頻中的當前幀球員的遮擋率均小于或等于預設遮擋率閾值，那么第一投影坐標和第二投影坐標都是正確的。本實施例中，預設遮擋率閾值根據球員在球場俯視二維模型中距離攝像機的距離計算得到，其中，球員在球場俯視二維模型中距離攝像機的距離為：

其中，[x,y]為當前幀球員在球場俯視二維模型上的坐標，height，width分別為球場俯視二維模型高度和寬度。

則，預設遮擋率閾值為：

threshold＝γe^-μ·δd；公式(20)

其中，threshold為預設遮擋率閾值；γ和μ皆為常參數，γ用于調整預設遮擋率閾值變化范圍，μ用于調整預設遮擋率閾值變化快慢。

8)、當第一投影坐標或第二投影坐標錯誤時，選取另一視角的投影坐標作為球員的目標投影坐標。

具體地，第一視角下的視頻和第二視角下的視頻的拍攝角度不同，在第一視角下拍攝得到的視頻中球員發生遮擋，但此時，第二視角下拍攝的視頻中球員不會發生遮擋，因此，第一投影坐標和第二投影坐標不會同時發生錯誤。故，當第一投影坐標錯誤時，選取第二投影坐標作為球員的目標投影坐標，第t幀跟蹤結束。當第二投影坐標錯誤時，選取第一投影坐標作為球員的目標投影坐標，第t幀跟蹤結束。

進一步的，在一個實施例中，當某一視角下的跟蹤結果有誤時，還通過另一視角下的跟蹤結果對錯誤的跟蹤結果進行修正，以確保后續跟蹤結果準確。假定第一投影坐標錯誤，在第一視角下，發生跟蹤漂移的被追蹤球員由置信圖給出的最大似然位置為p1，將第一視角視頻向球場俯視二維模型轉換的投影矩陣為h1，此時第二視角下，被追蹤球員的最大似然位置為p2，將第二視角視頻向球場俯視二維模型轉換的投影矩陣為h2，則p2在球場俯視二維模型上的第二投影坐標為h2·p2，由于p2為正確跟蹤的結果，于是將錯誤跟蹤位置p1更新為正確的跟蹤位置在第一視角下的第一投影坐標為：

p1＝h1^-1·h2·p2；公式(21)

同理，如果第二投影坐標錯誤，則根據第一投影坐標對第二投影坐標進行修正，具體修正原理與上述第一投影坐標的修正原理相同，不再贅述。完成第一投影坐標或第二投影坐標的修正后，再進一步根據修正后的跟蹤結果更新對應視角下的時空上下文模型，確保后續跟蹤結果準確。

9)、當第一投影坐標和第二投影坐標都正確時，根據第一投影坐標和第二投影坐標計算球員的目標投影坐標。

當第一投影坐標和第二投影坐標都正確時，通過第一投影坐標和第二投影坐標互相輔助調整確定球員的目標投影坐標，確定目標投影坐標后第t幀跟蹤結束。具體地，在經過投影變換后的圖像中，在離攝像機較近的地方，球員所處的位置較為清晰，而在離攝像機較遠的位置，球員因為發生形變拉伸，所處的具體位置較為模糊。因此，當目標離某一視角下的攝像機越近時，認為在該攝像機所拍攝視頻中的跟蹤結果更為可靠，即由該視角所得的跟蹤結果，在最終確定目標位置時，所占權重越大，故根據目標距離攝像機的距離確定第一投影坐標和第二投影坐標的權重值。

假定在第一視角下，攝影機處于如圖6所示位置。定義第一視角下的攝影的位置為原點，乙隊隊員球員m在球場俯視二維模型上的坐標為posmodel1＝[x1y1]，則有：

如圖6所示，第二視角下的攝像機位于第一視角下的攝像機的對面，第二視角下攝影機所得的對球員m的跟蹤結果轉換到球場俯視二維模型上的坐標為posmodel2＝[x2y2]，則球員m距離第二視角下的攝影機的距離為：

其中，width和height分別為球場俯視二維模型的寬度和高度。

則，融合第一投影坐標和第二投影坐標后，球員m在球場二維模型上的最終位置為：posfinal＝[xy]，

進一步的，在一個實施例中，依據上述步驟(1)至步驟(10)，對兩個視角下的足球視頻進行追蹤，追蹤操作在pc計算機上實現，硬件環境：中央處理器：intelcorei5、主頻為2.5ghz、內存為8gb。編程環境為matlab2014a。兩個視角下的原視頻為avi格式，每幀圖片大小為1696x1080，視頻大小約20mb，兩個視頻長度均約18秒，每秒取30幀，共計約540幀，本實施例中，跟蹤速率達到1s/幀，跟蹤準確率達到100％。

請參閱圖7，一種視頻中運動目標的跟蹤裝置700，包括：

遮擋率計算模塊702，用于計算第一視角下的視頻中的當前幀的運動目標的遮擋率。

時空上下文模型更新模塊704，用于根據運動目標的遮擋率計算時空上下文模型的學習速率，并根據學習速率更新運動目標的時空上下文模型。

上下文先驗模型更新模塊706，用于獲取當前幀中的運動目標的圖像特征值，根據圖像特征值更新運動目標的上下文先驗模型。

跟蹤模塊708，用于對更新后的時空上下文模型和上下文先驗模型進行卷積運算，得到第一視角下的視頻中的下一幀的運動目標的跟蹤位置。

如圖8所示，在一個實施例中，時空上下文模型更新模塊704包括：

交點檢測子模塊7042，用于檢測當前幀的不同的運動目標的跟蹤框之間是否包括交點。

遮擋面積計算子模塊7044，用于當不同的運動目標的跟蹤框之間包括交點時，計算不同的運動目標的跟蹤框之間重疊部分的長度和寬度，并根據長度和寬度計算運動目標發生遮擋的遮擋面積。

遮擋率計算子模塊7046，用于獲取預先存儲的運動目標的跟蹤框面積，計算運動目標的遮擋率為遮擋面積與跟蹤框面積的比值。

在其中一個實施例中，學習速率計算模塊702采用以下公式計算學習速率：

其中：e為自然對數；δs為運動目標的遮擋率；k、均為常參數。

如圖9所示，在一個實施例中，上下文先驗模型更新模塊706包括：

顏色強度獲取子模塊7062：用于獲取當前幀中的運動目標在紅色通道上的顏色強度、在綠色通道上的顏色強度以及在藍色通道上的顏色強度。

顏色強度權重值選取子模塊7064，用于為運動目標在紅色通道上的顏色強度、在綠色通道上的顏色強度，及在藍色通道上的顏色強度賦予相應的顏色強度權重值。

圖像特征值計算模塊7066，用于對在每個通道上的顏色強度進行加權求和，得到當前幀中的運動目標的圖像特征值。

如圖10所示，在一個實施例中，視頻中運動目標的跟蹤裝置700還包括：

二維模型投影模塊710，用于提取追蹤場地邊線區域，建立追蹤場地俯視二維模型，將跟蹤位置投影至追蹤場地俯視二維模型中的第一投影坐標。

在一個實施例中，視頻中運動目標的跟蹤裝置700用于獲取第二視角下的視頻，并計算在第二視角下的視頻中與下一幀對應的視頻幀的運動目標的跟蹤位置在追蹤場地俯視二維模型中的第二投影坐標。如圖10所示，視頻中運動目標的跟蹤裝置700還包括：

遮擋率比較模塊712，用于分別將第一視角下的視頻中的當前幀運動目標的遮擋率和第二視角下的視頻中的當前幀運動目標的遮擋率與預設遮擋率閾值進行比較。

第一目標投影坐標選取模塊714，用于當第一視角下的視頻中的當前幀運動目標的遮擋率和第二視角下的視頻中的當前幀運動目標的遮擋率均小于或等于預設遮擋率閾值時，根據第一投影坐標和第二投影坐標計算運動目標在追蹤場地俯視二維模型中的目標投影坐標。

第二目標投影坐標選取模塊716，用于當第一視角下的視頻中的當前幀運動目標的遮擋率大于預設遮擋率閾值時，選取第二投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標；當第二視角下的視頻中的當前幀運動目標的遮擋率大于預設遮擋率閾值時，選取第一投影坐標作為運動目標在追蹤場地俯視二維模型中的目標投影坐標。

如圖10所示，在一個實施例中，視頻中運動目標的跟蹤裝置700還包括：

投影坐標修正模塊718，用于當第一視角下的視頻中的當前幀運動目標的遮擋率大于預設遮擋率閾值時，根據第二投影坐標對第一投影坐標進行修正；以及，當第二視角下的視頻中的當前幀運動目標的遮擋率大于預設遮擋率閾值時，根據第一投影坐標對第二投影坐標進行修正。

以上所述實施例的各技術特征可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特征所有可能的組合都進行描述，然而，只要這些技術特征的組合不存在矛盾，都應當認為是本說明書記載的范圍。

以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對發明專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬于本發明的保護范圍。因此，本發明專利的保護范圍應以所附權利要求為準。