本發(fā)明涉及通信技術(shù)領(lǐng)域，具體而言，涉及一種遠程視頻處理方法及裝置。

背景技術(shù)：

遠程助手應(yīng)用主要是針對機械維修、售后服務(wù)或遠程指導(dǎo)等遠程服務(wù)的應(yīng)用程序。遠程助手應(yīng)用主要分為終端和服務(wù)器兩部分，當終端需要遠程服務(wù)時，服務(wù)器需對終端傳輸?shù)囊曨l進行遠程視頻處理，以便為終端遠程服務(wù)。

當前，相關(guān)技術(shù)中，當終端需要遠程服務(wù)時，終端傳輸視頻流給服務(wù)器。服務(wù)器接收終端傳輸?shù)囊曨l流，在視頻流的第一幀中人工標注出待跟蹤目標，并在待跟蹤目標上添加標識。對于第一幀之后的每幀圖像，都根據(jù)前一幀圖像中待跟蹤目標的位置，確定當前幀圖像中待跟蹤目標的位置，并在當前幀圖像中的待跟蹤目標上添加標識。

但是視頻流中可能存在多幀圖像中不包含待跟蹤目標的圖像，因此根據(jù)前一幀圖像中待跟蹤目標的位置來確定當前幀圖像中待跟蹤目標的位置，位置確定的誤差很大。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明實施例的目的在于提供一種遠程視頻處理方法及裝置，將物體追蹤和圖像識別技術(shù)相結(jié)合，且根據(jù)距離當前幀圖像最近的包含待跟蹤目標的圖像來確定當前幀圖像中待跟蹤目標的位置，提高了位置確定的準確性，使得成像場景更加準確穩(wěn)定。

第一方面，本發(fā)明實施例提供了一種遠程視頻處理方法，所述方法包括：

接收終端傳輸?shù)囊曨l流的當前幀圖像；

獲取第一圖像中待跟蹤目標的中心坐標，所述第一圖像為所述當前幀圖像之前距離所述當前幀圖像最近的包含所述待跟蹤目標的圖像；

根據(jù)所述中心坐標，確定所述當前幀圖像中所述待跟蹤目標的位置；

在所述當前幀圖像中所述待跟蹤目標的位置處疊加預(yù)設(shè)標識符。

結(jié)合第一方面，本發(fā)明實施例提供了上述第一方面的第一種可能的實現(xiàn)方式，其中，所述根據(jù)所述中心坐標，確定所述當前幀圖像中所述待跟蹤目標的位置，包括：

在所述第一圖像中，計算以所述中心坐標為中心點的預(yù)設(shè)尺寸的像素區(qū)域?qū)?yīng)的第一梯度直方圖；

在所述當前幀圖像中，定位出以所述中心坐標為中心點的預(yù)設(shè)尺寸的搜索窗口，按照預(yù)設(shè)步距分別向上下左右四個方向移動所述搜索窗口；

分別計算移動所述搜索窗口時所述搜索窗口所覆蓋的像素區(qū)域?qū)?yīng)的第二梯度直方圖；

分別計算每個所述第二梯度直方圖與所述第一梯度直方圖之間的相似度，沿最大的相似度對應(yīng)的方向移動所述搜索窗口，直至搜索出所述待跟蹤目標的位置。

結(jié)合第一方面，本發(fā)明實施例提供了上述第一方面的第二種可能的實現(xiàn)方式，其中，所述在所述當前幀圖像中所述待跟蹤目標的位置處疊加預(yù)設(shè)標識符，包括：

通過卡爾曼濾波算法對預(yù)設(shè)標識符的紋理進行過濾處理；

根據(jù)所述待跟蹤目標的位置，將過濾處理后的所述預(yù)設(shè)標識符疊加到所述當前幀圖像中所述待跟蹤目標的圖像上。

結(jié)合第一方面，本發(fā)明實施例提供了上述第一方面的第三種可能的實現(xiàn)方式，其中，所述根據(jù)所述中心坐標，確定所述當前幀圖像中所述待跟蹤目標的位置之后，還包括：

根據(jù)所述待跟蹤目標的位置，確定包含所述待跟蹤目標的選定區(qū)域；

獲取所述選定區(qū)域的梯度直方圖，獲取所述當前幀圖像對應(yīng)的金字塔圖像序列；

從所述金字塔圖像序列最頂層的圖像開始，通過滑動窗口按照預(yù)設(shè)搜索順序搜索所述待跟蹤目標，得到搜索結(jié)果；

根據(jù)所述選定區(qū)域的梯度直方圖和所述搜索結(jié)果，調(diào)整所述待跟蹤目標的位置。

結(jié)合第一方面，本發(fā)明實施例提供了上述第一方面的第四種可能的實現(xiàn)方式，其中，所述根據(jù)所述中心坐標，確定所述當前幀圖像中所述待跟蹤目標的位置之后，還包括：

獲取所述第一圖像中的第一特征點，提取所述當前幀圖像中的第二特征點；

根據(jù)所述第一特征點和所述第二特征點，生成所述待跟蹤目標對應(yīng)的運動向量；

根據(jù)所述運動向量，獲取拍攝所述待跟蹤目標的攝像頭的位置姿態(tài)信息。

結(jié)合第一方面，本發(fā)明實施例提供了上述第一方面的第五種可能的實現(xiàn)方式，其中，所述方法還包括：

獲取所述待跟蹤目標對應(yīng)的多個場景圖像；

根據(jù)所述多個場景圖像，構(gòu)建場景關(guān)鍵字字典。

結(jié)合第一方面的第五種可能的實現(xiàn)方式，本發(fā)明實施例提供了上述第一方面的第六種可能的實現(xiàn)方式，其中，所述方法還包括：

根據(jù)所述場景關(guān)鍵字字典和所述當前幀圖像，確定所述當前幀圖像中所述待跟蹤目標對應(yīng)的搜索區(qū)域。

第二方面，本發(fā)明實施例提供了一種遠程視頻處理裝置，所述裝置包括：

接收模塊，用于接收終端傳輸?shù)囊曨l流的當前幀圖像；

獲取模塊，用于獲取第一圖像中待跟蹤目標的中心坐標，所述第一圖像為所述當前幀圖像之前距離所述當前幀圖像最近的包含所述待跟蹤目標的圖像；

確定模塊，用于根據(jù)所述中心坐標，確定所述當前幀圖像中所述待跟蹤目標的位置；

疊加模塊，用于在所述當前幀圖像中所述待跟蹤目標的位置處疊加預(yù)設(shè)標識符。

結(jié)合第二方面，本發(fā)明實施例提供了上述第二方面的第一種可能的實現(xiàn)方式，其中，所述確定模塊包括：

計算單元，用于在所述第一圖像中，計算以所述中心坐標為中心點的預(yù)設(shè)尺寸的像素區(qū)域?qū)?yīng)的第一梯度直方圖；

移動單元，用于在所述當前幀圖像中，定位出以所述中心坐標為中心點的預(yù)設(shè)尺寸的搜索窗口，按照預(yù)設(shè)步距分別向上下左右四個方向移動所述搜索窗口；

所述計算單元，用于分別計算移動所述搜索窗口時所述搜索窗口所覆蓋的像素區(qū)域?qū)?yīng)的第二梯度直方圖；分別計算每個所述第二梯度直方圖與所述第一梯度直方圖之間的相似度，沿最大的相似度對應(yīng)的方向移動所述搜索窗口，直至搜索出所述待跟蹤目標的位置。

結(jié)合第二方面，本發(fā)明實施例提供了上述第二方面的第二種可能的實現(xiàn)方式，其中，所述疊加模塊包括：

過濾單元，用于通過卡爾曼濾波算法對預(yù)設(shè)標識符的紋理進行過濾處理；

疊加單元，用于根據(jù)所述待跟蹤目標的位置，將過濾處理后的所述預(yù)設(shè)標識符疊加到所述當前幀圖像中所述待跟蹤目標的圖像上。

在本發(fā)明實施例提供的方法及裝置中，接收終端傳輸?shù)囊曨l流的當前幀圖像；獲取第一圖像中待跟蹤目標的中心坐標，第一圖像為當前幀圖像之前距離當前幀圖像最近的包含待跟蹤目標的圖像；根據(jù)中心坐標，確定當前幀圖像中待跟蹤目標的位置；在當前幀圖像中待跟蹤目標的位置處疊加預(yù)設(shè)標識符。本發(fā)明將物體追蹤和圖像識別技術(shù)相結(jié)合，且根據(jù)距離當前幀圖像最近的包含待跟蹤目標的圖像來確定當前幀圖像中待跟蹤目標的位置，提高了位置確定的準確性，使得成像場景更加準確穩(wěn)定。

為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應(yīng)當理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應(yīng)被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1示出了本發(fā)明實施例1所提供的一種遠程視頻處理方法的流程圖；

圖2示出了本發(fā)明實施例2所提供的一種遠程視頻處理裝置的第一結(jié)構(gòu)示意圖；

圖3示出了本發(fā)明實施例2所提供的一種遠程視頻處理裝置的第二結(jié)構(gòu)示意圖；

圖4示出了本發(fā)明實施例2所提供的一種一種遠程視頻處理裝置的第三結(jié)構(gòu)示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發(fā)明實施例的組件可以以各種不同的配置來布置和設(shè)計。因此，以下對在附圖中提供的本發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例。基于本發(fā)明的實施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

考慮到視頻流中可能存在多幀圖像中不包含待跟蹤目標的圖像，而相關(guān)技術(shù)中根據(jù)前一幀圖像中待跟蹤目標的位置來確定當前幀圖像中待跟蹤目標的位置，位置確定的誤差很大。基于此，本發(fā)明實施例提供了一種遠程視頻處理的方法及裝置，下面通過實施例進行描述。

實施例1

參見圖1，本發(fā)明實施例提供了一種遠程視頻處理方法，該方法具體包括以下步驟：

步驟101：接收終端傳輸?shù)囊曨l流的當前幀圖像。

本發(fā)明實施例的執(zhí)行主體為服務(wù)器。在遠程助手應(yīng)用中，服務(wù)器為終端提供遠程服務(wù)，該終端可以為用戶的手機或平板電腦等，終端上安裝有遠程助手應(yīng)用的客戶端。

當用戶需要通過終端上的該客戶端使用遠程助手服務(wù)時，用戶通過終端上的攝像頭對需遠程服務(wù)的物體進行拍攝，得到該物體對應(yīng)的視頻流。終端通過與服務(wù)器之間的網(wǎng)絡(luò)連接實時將該物體對應(yīng)的視頻流傳輸給服務(wù)器。服務(wù)器接收終端傳輸?shù)囊曨l流。

例如，假設(shè)用戶的路由器需要售后服務(wù)，則該用戶可以通過手機拍攝路由器對應(yīng)的視頻流，并通過手機上安裝的遠程助手的客戶端將該視頻流實時上傳給服務(wù)器。

服務(wù)器接收到終端上傳的視頻流的一幀圖像，當該幀圖像為終端上傳的該視頻流的第一幀圖像時，由技術(shù)人員通過人工標注的方式在該視頻流的第一幀圖像中標注出待跟蹤目標。待跟蹤目標為上述需遠程服務(wù)的物體上與本次遠程服務(wù)相關(guān)的地方。例如，需遠程服務(wù)的路由器存在連接故障，技術(shù)人員看到終端上傳的視頻流的第一幀圖像，對第一幀圖像中的路由器的圖像進行分析后，確定解決該故障需操作路由器上一按鈕，則該按鈕即為待跟蹤目標，技術(shù)人員在第一幀圖像中該按鈕處添加標識符，該標識符可以為圓圈或三角形等。

在本發(fā)明實施例中，對于每一幀圖像，確定出待跟蹤目標的位置后，確定待跟蹤目標對應(yīng)的中心坐標，存儲該幀圖像的序號與待跟蹤目標對應(yīng)的中心坐標的對應(yīng)關(guān)系。上述技術(shù)人員在第一幀圖像中標注出待跟蹤目標后，存儲第一幀圖像的序號與待跟蹤目標對應(yīng)的中心坐標的對應(yīng)關(guān)系。

上述待跟蹤目標對應(yīng)的中心坐標可以為整個待跟蹤目標的中心點的坐標。待跟蹤目標尺寸較大時，也可以將待跟蹤目標劃分為多個部分，將劃分出的每個部分的中心坐標作為待跟蹤目標對應(yīng)的中心坐標。

由于在遠程服務(wù)過程中，服務(wù)器需指導(dǎo)終端對待跟蹤目標進行一些操作以完成本次遠程服務(wù)，所以服務(wù)器需要在終端上傳的視頻流的各幀圖像中對該待跟蹤目標進行實時追蹤。通過人工標注在第一幀圖像中標注出待跟蹤目標后，當服務(wù)器再次接收到終端上傳的該視頻流的圖像時，本發(fā)明實施例通過如下步驟102和103的操作在當前幀圖像中確定出待跟蹤目標的位置，從而實現(xiàn)對待跟蹤目標進行實時跟蹤。

步驟102：獲取第一圖像中待跟蹤目標對應(yīng)的中心坐標，第一圖像為當前幀圖像之前距離當前幀圖像最近的包含待跟蹤目標的圖像。

當服務(wù)器再次接收到終端上傳的視頻流的一幀圖像時，為了便于描述，將該幀圖像稱為當前幀圖像。服務(wù)器獲取已存儲的圖像的序號與待跟蹤目標對應(yīng)的中心坐標的對應(yīng)關(guān)系，分別計算該對應(yīng)關(guān)系包括的每個序號與當前幀圖像的序號之間的差值，確定差值最小的序號。該差值最小的序號對應(yīng)的圖像即為當前幀圖像之前距離當前幀圖像最近的包含待跟蹤目標的圖像，即該差值最小的序號對應(yīng)的圖像即為上述第一圖像。從上述對應(yīng)關(guān)系中獲取該差值最小的序號對應(yīng)的待跟蹤目標的中心坐標。

例如，當前幀圖像的序號為004，服務(wù)器存儲的圖像的序號與待跟蹤目標對應(yīng)的中心坐標的對應(yīng)關(guān)系如表1所示，計算當前幀圖像的序號與表1中包括的每個序號之間的差值，確定出差值最小的序號為002，從表1所示的對應(yīng)關(guān)系中獲取序號002對應(yīng)的圖像中待跟蹤目標的中心坐標(3,4)。即獲取的第一圖像中待跟蹤目標的中心坐標為(3,4)。

表1

步驟103：根據(jù)獲取的中心坐標，確定當前幀圖像中待跟蹤目標的位置。

本發(fā)明實施例中，通過如下操作來確定當前幀圖像中待跟蹤目標的位置，具體包括：

在第一圖像中，計算以中心坐標為中心點的預(yù)設(shè)尺寸的像素區(qū)域?qū)?yīng)的第一梯度直方圖；在當前幀圖像中，定位出以中心坐標為中心點的預(yù)設(shè)尺寸的搜索窗口，按照預(yù)設(shè)步距分別向上下左右四個方向移動搜索窗口；分別計算移動搜索窗口時搜索窗口所覆蓋的像素區(qū)域?qū)?yīng)的第二梯度直方圖；分別計算每個第二梯度直方圖與第一梯度直方圖之間的相似度，沿最大的相似度對應(yīng)的方向移動搜索窗口，直至搜索出待跟蹤目標的位置。

在本發(fā)明實施例中，當獲取的中心坐標為整個待跟蹤目標的中心坐標時，上述預(yù)設(shè)尺寸大于或等于待跟蹤目標的尺寸。當獲取的中心坐標為待跟蹤目標包括的各個部分的中心坐標時，上述預(yù)設(shè)尺寸可以為5*5或8*8等，且分別以獲取的各個中心坐標為中心點的多個預(yù)設(shè)尺寸所組成的區(qū)域的總尺寸大于或等于待跟蹤目標的尺寸。

在第一圖像中，確定以步驟102獲取的中心坐標為中心點的預(yù)設(shè)尺寸的搜索窗口所覆蓋的像素區(qū)域，計算該像素區(qū)域?qū)?yīng)的第一梯度直方圖。在當前幀圖像中，確定以上述中心坐標為中心點的預(yù)設(shè)尺寸的搜索窗口，以該搜索窗口為起始搜索窗口，按照預(yù)設(shè)步距分別向上下左右四個方向移動搜索窗口，分別計算向上下左右移動搜索窗口時搜索窗口所覆蓋的像素區(qū)域?qū)?yīng)的第二梯度直方圖。分別計算每次移動后得到的第二梯度直方圖與上述第一梯度直方圖之間的相似度，確定出最大的相似度對應(yīng)的移動方向，沿確定的移動方向移動搜索窗口，然后再按照上述方式迭代確定搜索窗口的移動方向，直到搜索出待跟蹤目標。

在本發(fā)明實施例中，當獲取的中心坐標為整個待跟蹤目標的中心坐標時，搜索出待跟蹤目標的判斷依據(jù)為搜索窗口所覆蓋的像素區(qū)域?qū)?yīng)的梯度直方圖與上述第一梯度直方圖之間的相似度大于等于預(yù)設(shè)閾值，此時認為待跟蹤目標位于當前搜索窗口所覆蓋的像素區(qū)域中，即搜索出了待跟蹤目標。

當獲取的中心坐標包括待跟蹤目標各個部分的中心坐標時，搜索出待跟蹤目標的判斷依據(jù)為，對于每個中心坐標，搜索窗口所覆蓋的像素區(qū)域?qū)?yīng)的梯度直方圖與上述第一梯度直方圖之間的相似度都大于等于預(yù)設(shè)閾值，此時認為待跟蹤目標位的各個部分分別位于各個中心坐標對應(yīng)的搜索窗口所覆蓋的像素區(qū)域中，即搜索出了待跟蹤目標。

在本發(fā)明實施例中，按照預(yù)設(shè)步距向上移動搜索窗口時，移動后搜索窗口的中心點坐標的橫坐標不變，縱坐標在原來基礎(chǔ)上加預(yù)設(shè)步距。向下移動搜索窗口時，移動后搜索窗口的中心點坐標的橫坐標不變，縱坐標在原來基礎(chǔ)上減預(yù)設(shè)步距。向左移動搜索窗口時，移動后搜索窗口的中心點坐標的橫坐標在原來基礎(chǔ)上減預(yù)設(shè)步距，縱坐標不變。向右移動搜索窗口時，移動后搜索窗口的中心點坐標的橫坐標在原來基礎(chǔ)上加預(yù)設(shè)步距，縱坐標不變。預(yù)設(shè)步距可以為1或2等。

在上述不斷確定搜索窗口的移動方向，并移動搜索窗口來搜索待跟蹤目標的過程中，利用函數(shù)meanshift()和光流法相結(jié)合的方式進行迭代。在迭代過程中，首先對待跟蹤目標的初始化，可通過目標檢測方式得到待跟蹤目標對應(yīng)的搜索窗口，也可以通過鼠標手工選取的方式得到待跟蹤目標的搜索窗口。為了減少服務(wù)器的計算量，當上述中心坐標為整個待跟蹤目標的中心坐標時，本發(fā)明實施例中搜索窗口可以為待跟蹤目標的外接矩陣框。當上述中心坐標為待跟蹤目標各個部分的中心坐標時，搜索窗口可以為各個部分對應(yīng)的外接矩陣框。

本發(fā)明實施例中，通過如下公式(1)所示的Epanechnikov核函數(shù)的截面函數(shù)或公式(2)所示的Gaussian核函數(shù)的截面函數(shù)來計算上述第一梯度直方圖和第二梯度直方圖之間的相似度：

在公式(1)和(2)中，d為預(yù)設(shè)空間維數(shù)，C_d為單位d維球的體積，x為第一梯度直方圖與第二梯度直方圖之間的差值，K_E(x)和K_N(x)均為x對應(yīng)的第一梯度直方圖與第二梯度直方圖之間的相似度。

通過上述公式(1)或公式(2)計算出第一梯度直方圖與第二梯度直方圖之間的相似度后，沿相似度最大的方向移動搜索窗口，直到搜索出待跟蹤目標的位置。當然也可能搜索不到待跟蹤目標此時認為當前幀圖像中不包含待跟蹤目標的圖像，此時不進行后續(xù)操作，當服務(wù)器接收到下一幀圖像時再按照本發(fā)明實施例的方式來對待跟蹤目標進行跟蹤。

若通過上述方式確定出待跟蹤目標的位置的話，則獲取當前幀圖像的序號及當前幀圖像中待跟蹤目標對應(yīng)的中心坐標，并存儲在上文所提及的序號與待跟蹤目標對應(yīng)的中心坐標的對應(yīng)關(guān)系。然后通過如下步驟104的操作在待跟蹤目標的位置處添加預(yù)設(shè)標識符。

步驟104：在當前幀圖像中待跟蹤目標的位置處疊加預(yù)設(shè)標識符。

由于在將預(yù)設(shè)標識符疊加到當前幀圖像中時，疊加的預(yù)設(shè)標識符可能存在抖動的情況，所以本發(fā)明實施例通過如下所示的卡爾曼濾波算法對預(yù)設(shè)標識符的紋理進行過濾處理；根據(jù)待跟蹤目標的位置，將過濾處理后的預(yù)設(shè)標識符疊加到當前幀圖像中待跟蹤目標的圖像上。

Algorithm Kalman_filter(μ_t-1,∑_t-1,u_t,z_t)：

returnμ_t，Σ_t。

其中，t為時刻；μ_t為t時刻的狀態(tài)向量，表示待跟蹤目標的圖像坐標、變化速度和攝像頭姿態(tài)；Σ_t為t時刻狀態(tài)的協(xié)方差矩陣，表示狀態(tài)估計的不確定性；u_t為t時刻的輸入信息，如慣導(dǎo)信息等；z_t為t時刻的觀測信息，如待跟蹤目標的圖像坐標；R_t為t時刻預(yù)測方程的協(xié)方差矩陣，表示預(yù)測過程的不確定性；Q_t為t時刻觀測方程的協(xié)方差矩陣，即當前幀圖像上待跟蹤目標的坐標的不確定性；A_t、B_t為t時刻預(yù)測方程線性化處理時的雅克比矩陣；C_t為t時刻觀測方程線性化處理時的雅克比矩陣；K_t為t時刻計算的卡爾曼增益矩陣；I為預(yù)設(shè)的單位矩陣。

上述卡爾曼濾波算法的本質(zhì)是通過預(yù)測結(jié)合測量來估計當前系統(tǒng)的狀態(tài)。對預(yù)設(shè)標識符處理過濾后，待跟蹤目標的位置更加穩(wěn)定且誤差更小，然后將預(yù)設(shè)標識符疊加在待跟蹤目標的圖像上，從而消除疊加抖動影響。

通過上述方式將預(yù)設(shè)標識符疊加到當前幀圖像中，實現(xiàn)了對待跟蹤目標的實時追蹤，且用戶通過終端上的遠程助手客戶端，能夠?qū)崟r看到疊加了預(yù)設(shè)標識符的待跟蹤目標，從而實現(xiàn)遠程指導(dǎo)用戶對待跟蹤目標進行操作。

本發(fā)明實施例中，在步驟103確定當前幀圖像中待跟蹤目標的位置之后，還通過如下操作來確定該位置是否準確，并在不準確時對確定的位置進行調(diào)整，以減少確定的待跟蹤目標的位置的誤差。具體包括：

根據(jù)待跟蹤目標的位置，確定包含待跟蹤目標的選定區(qū)域；根據(jù)Sift(Scale-invariant feature transform，尺度不變特征變換)算法特征點的描述子，獲取選定區(qū)域的梯度直方圖，獲取當前幀圖像對應(yīng)的金字塔圖像序列；從金字塔圖像序列最頂層的圖像開始，通過滑動窗口按照預(yù)設(shè)搜索順序搜索待跟蹤目標，得到搜索結(jié)果；根據(jù)選定區(qū)域的梯度直方圖和搜索結(jié)果，調(diào)整待跟蹤目標的位置。

上述獲取當前幀圖像對應(yīng)的金字塔圖像序列時，將當前幀圖像中一些像素去掉，得到不同分辨率的圖像，將這些圖像按照分辨率從小到大的順序進行排列，得到當前幀圖像對應(yīng)的金字塔圖像序列。例如，假設(shè)當前幀圖像為640*480的圖像，則將當前幀圖像中每隔一行或多行的像素行去掉，得到80*60、160*120、320*240的圖像，則得到的當前幀圖像對應(yīng)的金字塔圖像序列為分辨率依次是80*60、160*120、320*240和640*480的圖像。

上述預(yù)設(shè)搜索順序可以為從左到右或從右到左的順序。通過上述方式得到前幀圖像對應(yīng)的金字塔圖像序列后，通過滑動窗口按照預(yù)設(shè)搜索順序先在金字塔圖像序列最頂層的圖像中搜索待跟蹤目標，如果搜索到，則不再對金字塔圖像序列中的后續(xù)圖像進行搜索。如果沒搜索到，則再依次對金字塔圖像序列中的后續(xù)圖像搜索，直到搜索到待跟蹤目標。將搜索到的待跟蹤目的位置與步驟103中確定出的位置比較，若兩者一致，則不進行調(diào)整。若兩者不一致，則對步驟103中確定出的位置進行調(diào)整。

在本發(fā)明實施例中，還獲取第一圖像中的第一特征點，提取當前幀圖像中的第二特征點；根據(jù)第一特征點和第二特征點，生成待跟蹤目標對應(yīng)的運動向量；根據(jù)運動向量，獲取拍攝待跟蹤目標的攝像頭的位置姿態(tài)信息。

上述第一特征點為第一圖像中紋理特征明顯的像素點，第二特征點為當前幀圖像中紋理特征明顯的像素點。將坐標位置相同的第一特征點與第二特征點進行匹配，構(gòu)造出待跟蹤目標對應(yīng)的運動向量，該運動向量能夠體現(xiàn)待跟蹤目標的像素點在第一圖像到當前幀圖像之間的運動方向及運動距離，且根據(jù)該運動向量能夠預(yù)測出拍攝待跟蹤目標的攝像頭的位置姿態(tài)信息。攝像頭的位置姿態(tài)信息能夠體現(xiàn)攝像頭的運動路徑。

通過上述方式獲得待跟蹤目標的運動向量及攝像頭的位置姿態(tài)信息后，可以根據(jù)該運動向量與攝像頭的位置姿態(tài)信息，預(yù)測下一幀圖像中待跟蹤目標的位置，如此在處理下一幀圖像時，可以先從預(yù)測的待跟蹤目標的位置處開始搜索待跟蹤目標，從而縮小搜索范圍，能夠快速確定出下一幀圖像中待跟蹤目標的準確位置，提高了搜索效率和搜索準確性。

通過上述方式獲得待跟蹤目標的運動向量及攝像頭的位置姿態(tài)信息后，還利用如下所示的信息濾波算法對待跟蹤目標的狀態(tài)進行更新，以便根據(jù)待跟蹤目標的最新狀態(tài)來疊加預(yù)設(shè)標識符。

Aldorithm Information_filter(ξ_t-1,Ω_t-1,u_t,z_t):

returnξ_t，Ω_t。

其中，t為時刻，ξ_t為t時刻的狀態(tài)向量，即特征點的空間坐標和攝像頭的位置姿態(tài)信息；Ω_t為t時刻狀態(tài)的信息矩陣，表示狀態(tài)估計值的置信度；u_t為t時刻的輸入信息，如慣導(dǎo)信息等；z_t為t時刻的觀測信息，如特征點在圖像上特征點的坐標；R_t為t時刻預(yù)測方程的協(xié)方差矩陣，表示預(yù)測過程的不確定性；Q_t為t時刻觀測方程的協(xié)方差矩陣，即圖像上特征點坐標的不確定性；A_t、B_t為t時刻預(yù)測方程線性化處理時的雅克比矩陣；C_t為t時刻觀測方程線性化處理時的雅克比矩陣。

通過上述方式對待跟蹤目標的狀態(tài)更新后，用得到的攝像頭的位置姿態(tài)信息來更新待跟蹤目標的其他特征點的空間位置，選擇估計相對準確的特征點來進行非線性優(yōu)化，以提高位置估計的精度。

由于終端上傳的視頻流中，待跟蹤目標出現(xiàn)的場景可能不同，本發(fā)明實施例還離線獲取待跟蹤目標對應(yīng)的多個場景圖像；根據(jù)多個場景圖像，構(gòu)建場景關(guān)鍵字字典。

本發(fā)明實施例中，利用回環(huán)檢測方式把不同場景圖像抽象成關(guān)鍵字的集合。離線獲取多個場景圖像，從每個場景圖像中抽取特征點，將抽取的特征點用k-means(K均值)算法進行聚類，將描述子空間劃分為k類，將劃分的每個自空間繼續(xù)用k-means算法進行聚類，循環(huán)將描述子建立成樹形結(jié)構(gòu)。回環(huán)檢測使用BRIEF描述子，描述子在p點周圍選取兩個點做比較，將比較的結(jié)果作為描述子的編碼，其公式如下所示：

其中，L_b是BRIEF描述子的位數(shù)；(x_i,y_i),i∈[1,...,L_b]為選好的點對；B_i(P)為BRIEF描述子；I表示灰度。

通過上述方式構(gòu)建的場景關(guān)鍵字字典中包括多個場景的BRIEF描述子。構(gòu)建出場景關(guān)鍵字字典之后，可以根據(jù)場景關(guān)鍵字字典和當前幀圖像，確定當前幀圖像中待跟蹤目標對應(yīng)的搜索區(qū)域。

將當前幀圖像的場景抽象成BRIEF描述子，根據(jù)當前幀圖像對應(yīng)的BRIEF描述子，查看場景關(guān)鍵字字典中是否包含匹配的BRIEF描述子，若包含，則獲取該匹配的BRIEF描述子對應(yīng)的場景圖像中待跟蹤目標的位置。在當前幀圖像中搜索待跟蹤目標時首先從獲取的位置處開始搜索，

之后把當前視頻流的場景也抽象成關(guān)鍵字集合，對兩個集合進行關(guān)鍵字搜索匹配。達到縮小識別范圍的目標。從而縮小搜索范圍，能夠快速確定出當前幀圖像中待跟蹤目標的準確位置，提高了搜索效率和搜索準確性。

本發(fā)明實施例中，將物體追蹤和圖像識別技術(shù)相結(jié)合，使得成像場景更加準確，更加穩(wěn)定，提高了對待跟蹤目標進行實時追蹤的準確性。

在本發(fā)明實施例中，接收終端傳輸?shù)囊曨l流的當前幀圖像；獲取第一圖像中待跟蹤目標的中心坐標，第一圖像為當前幀圖像之前距離當前幀圖像最近的包含待跟蹤目標的圖像；根據(jù)中心坐標，確定當前幀圖像中待跟蹤目標的位置；在當前幀圖像中待跟蹤目標的位置處疊加預(yù)設(shè)標識符。本發(fā)明將物體追蹤和圖像識別技術(shù)相結(jié)合，且根據(jù)距離當前幀圖像最近的包含待跟蹤目標的圖像來確定當前幀圖像中待跟蹤目標的位置，提高了位置確定的準確性，使得成像場景更加準確穩(wěn)定。

實施例2

參見圖2，本發(fā)明實施例提供了一種遠程視頻處理裝置，該裝置用于執(zhí)行上述實施例1所提供的遠程視頻處理方法。該裝置包括：

接收模塊201，用于接收終端傳輸?shù)囊曨l流的當前幀圖像；

獲取模塊202，用于獲取第一圖像中待跟蹤目標的中心坐標，第一圖像為當前幀圖像之前距離當前幀圖像最近的包含待跟蹤目標的圖像；

確定模塊203，用于根據(jù)中心坐標，確定當前幀圖像中待跟蹤目標的位置；

疊加模塊204，用于在當前幀圖像中待跟蹤目標的位置處疊加預(yù)設(shè)標識符。

如圖3所示，上述確定模塊203包括：

計算單元2031，用于在第一圖像中，計算以中心坐標為中心點的預(yù)設(shè)尺寸的像素區(qū)域?qū)?yīng)的第一梯度直方圖；

移動單元2032，用于在當前幀圖像中，定位出以中心坐標為中心點的預(yù)設(shè)尺寸的搜索窗口，按照預(yù)設(shè)步距分別向上下左右四個方向移動搜索窗口；

計算單元2031，用于分別計算移動搜索窗口時搜索窗口所覆蓋的像素區(qū)域?qū)?yīng)的第二梯度直方圖；分別計算每個第二梯度直方圖與第一梯度直方圖之間的相似度，沿最大的相似度對應(yīng)的方向移動搜索窗口，直至搜索出待跟蹤目標的位置。

如圖3所示，疊加模塊204包括：

過濾單元2041，用于通過卡爾曼濾波算法對預(yù)設(shè)標識符的紋理進行過濾處理；

疊加單元2042，用于根據(jù)待跟蹤目標的位置，將過濾處理后的預(yù)設(shè)標識符疊加到當前幀圖像中待跟蹤目標的圖像上。

如圖4所示，該裝置還包括：

調(diào)整模塊205，用于根據(jù)待跟蹤目標的位置，確定包含待跟蹤目標的選定區(qū)域；獲取選定區(qū)域的梯度直方圖，獲取當前幀圖像對應(yīng)的金字塔圖像序列；從金字塔圖像序列最頂層的圖像開始，通過滑動窗口按照預(yù)設(shè)搜索順序搜索待跟蹤目標，得到搜索結(jié)果；根據(jù)選定區(qū)域的梯度直方圖和搜索結(jié)果，調(diào)整待跟蹤目標的位置。

位置姿態(tài)獲取模塊206，用于獲取第一圖像中的第一特征點，提取當前幀圖像中的第二特征點；根據(jù)第一特征點和第二特征點，生成待跟蹤目標對應(yīng)的運動向量；根據(jù)運動向量，獲取拍攝待跟蹤目標的攝像頭的位置姿態(tài)信息。

場景字典構(gòu)建模塊207，用于獲取待跟蹤目標對應(yīng)的多個場景圖像；根據(jù)多個場景圖像，構(gòu)建場景關(guān)鍵字字典。根據(jù)場景關(guān)鍵字字典和當前幀圖像，確定當前幀圖像中待跟蹤目標對應(yīng)的搜索區(qū)域。

在本發(fā)明實施例中，接收終端傳輸?shù)囊曨l流的當前幀圖像；獲取第一圖像中待跟蹤目標的中心坐標，第一圖像為當前幀圖像之前距離當前幀圖像最近的包含待跟蹤目標的圖像；根據(jù)中心坐標，確定當前幀圖像中待跟蹤目標的位置；在當前幀圖像中待跟蹤目標的位置處疊加預(yù)設(shè)標識符。本發(fā)明將物體追蹤和圖像識別技術(shù)相結(jié)合，且根據(jù)距離當前幀圖像最近的包含待跟蹤目標的圖像來確定當前幀圖像中待跟蹤目標的位置，提高了位置確定的準確性，使得成像場景更加準確穩(wěn)定。

本發(fā)明實施例所提供的遠程視頻處理裝置可以為設(shè)備上的特定硬件或者安裝于設(shè)備上的軟件或固件等。本發(fā)明實施例所提供的裝置，其實現(xiàn)原理及產(chǎn)生的技術(shù)效果和前述方法實施例相同，為簡要描述，裝置實施例部分未提及之處，可參考前述方法實施例中相應(yīng)內(nèi)容。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，前述描述的系統(tǒng)、裝置和單元的具體工作過程，均可以參考上述方法實施例中的對應(yīng)過程，在此不再贅述。

在本發(fā)明所提供的實施例中，應(yīng)該理解到，所揭露裝置和方法，可以通過其它的方式實現(xiàn)。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，又例如，多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明提供的實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、移動硬盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

應(yīng)注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋，此外，術(shù)語“第一”、“第二”、“第三”等僅用于區(qū)分描述，而不能理解為指示或暗示相對重要性。

最后應(yīng)說明的是：以上所述實施例，僅為本發(fā)明的具體實施方式，用以說明本發(fā)明的技術(shù)方案，而非對其限制，本發(fā)明的保護范圍并不局限于此，盡管參照前述實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當理解：任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，其依然可以對前述實施例所記載的技術(shù)方案進行修改或可輕易想到變化，或者對其中部分技術(shù)特征進行等同替換；而這些修改、變化或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實施例技術(shù)方案的精神和范圍。都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準。