專利名稱：視頻信號編碼器、視頻信號處理器、視頻信號分發系統及其操作方法
技術領域：
本發明涉及一種視頻信號編碼器、視頻信號處理器、視頻信號分發系統及其操作方法，并且尤其但非專門涉及視頻信號中的特征點跟蹤。
近年來，對于數字存儲的使用和對諸如視頻信號這樣的內容信號的分發已經變得越來越盛行了。因此，已經開發出了大量針對不同內容信號的不同編碼技術。例如，已經設計出了大量視頻編碼標準來幫助數字視頻在很多專業應用和消費者應用中得到采用，以及確保來自不同制造商的設備實現兼容。
大多數有影響的標準按慣例都是由國際電信聯盟(ITU-T)或者ISO/IEC(國際標準化組織/國際電工委員會)的MPEG(運動圖像專家組)委員會開發的。ITU-T標準(稱為推薦標準)典型地針對實時通信(例如視頻會議)，而大多數MPEG標準對于存儲(例如對于數字通用盤(DVD))和廣播(例如對于數字視頻廣播(DVB))是最佳的。
當前，得到最廣泛采用的其中一種視頻編碼和壓縮技術被稱為MPEG-2(運動圖像專家組)標準。MPEG-2是基于塊的壓縮方案，其中將幀分為多個塊，每個塊包括八個垂直和八個水平像素。為了壓縮亮度數據，通過使用離散余弦變換(DCT)并且隨后再進行量化來單獨地壓縮各個塊，所述量化將大量變換后的數據值減小為零，從而提供了有效的編碼。為了壓縮色度數據，通常通過首先進行下采樣并且隨后再使用DCT和量化進行壓縮來減少色度數據量。僅僅基于幀內壓縮的幀被稱為內部幀(I幀)。此外，使用運動估計來利用時間冗余度。對應于各圖像片段的不同的運動矢量被發送給解碼器并且由解碼器用來重構圖像。
可以預見到，未來的視頻應用將會包含復雜的信號處理功能并且將會提供先進的特征和功能。例如，目前正在研究圖像對象檢測和跟蹤。使用對象跟蹤的視頻應用的一個例子是這樣一種應用在視頻信號中檢測足球對象和運動員對象，并且使用它們來例如產生不同的虛擬攝影機視角或游戲統計信息。
目前受到廣泛關注的應用的另一個例子是基于二維(2D)視頻的三維(3D)處理。例如，常規的視頻和電視系統分發的是本質上具有2D性質的視頻信號。不過，在很多應用中可能希望進一步提供3D信息。
特別地，三維視頻或電視(3DTV)正成為增強可視內容呈現的用戶體驗的手段，3DTV很有可能和彩色電視的推廣一樣意義重大。從2D到3D的轉換處理將(深度)結構加入到2D視頻中，并且也可以用于視頻壓縮。不過，從2D視頻到包括3D信息的視頻的轉換是重大的圖像處理難題。因此，在這個領域中已經進行了相當多的研究，并且已經提出了多種算法和途徑來從2D圖像中提取3D信息。
已經針對對象跟蹤和3D處理提出了基于已編碼視頻信號的參數的算法。不過，這些參數對于所描述的對象軌跡的精確度來說并不是最佳的，而是對視覺質量來說是最佳的。例如，目前的視頻壓縮算法的實現方式典型地使用與固定的正方形圖像區域(塊)相關的運動矢量來對圖像運動矢量進行估計與存儲。不過，基于塊的運動矢量并不是非常適合于精確跟蹤，因為每個塊的運動沒有精確到足以形成貫穿典型為50幀的長軌道。
此外，基于從已編碼視頻信號重新產生的幀的對象跟蹤和3D處理往往具有降低的精度，這是因為編碼/壓縮會引入偽像、誤差和錯誤。
另外，已知的用于處理已編碼視頻信號的算法往往具有較高的復雜度并且需要較高的計算資源。
因此，經過改良的視頻編碼器、視頻解碼器和視頻分發系統將是很有益處的，尤其是便于和/或改善針對諸如對象檢測、跟蹤和/或3D處理之類應用的視頻信號處理的系統。
因此，本發明優選地尋求單獨地或以任何組合形式減輕、緩解或消除上面提到的缺點當中的一個或多個。
按照本發明的第一個方面，給出了一種視頻信號編碼器，包括用于接收未壓縮視頻信號的裝置；用于響應于該未壓縮信號產生特征點數據的裝置；用于按照壓縮算法對該未壓縮視頻信號進行壓縮以便產生壓縮視頻信號的裝置；以及用于產生包括該壓縮視頻信號和特征點數據的輸出視頻信號的裝置。
本發明給出了一種視頻信號編碼器，該視頻信號編碼器提供適合于便利和/或改善處理的輸出視頻信號。該輸出視頻信號包括與未壓縮視頻信號相關的特征點數據。該特征點數據可以具有得到提高的精度，因為編碼或壓縮偽像、錯誤和誤差的影響能夠得到減小或消除。本發明還可以給出可以以較低的復雜度加以處理的輸出信號，因為可以減少或消除用于產生特征點信息的處理。
因此，除了壓縮視頻信號之外，可以給出根據未壓縮視頻信號產生的附加的特征點數據，從而給出適合于后續處理的、附加的和/或得到改善的信息。具體來說，可以包含有精確的特征點信息，該特征點信息能夠實現得到改善的和/或得到便利的3D處理(包括從2D圖像構建3D信息)以及/或者對象檢測和/或跟蹤。
單獨或獨立地產生特征點數據使得該產生過程和最終得到的數據無關于與壓縮算法相關聯的任何約束、要求或缺陷。該壓縮算法可以是編碼算法的一部分或者可以包括編碼算法。未壓縮信號可以具有任何適當的形式，并且可以是已經按照允許進一步壓縮或重新編碼及壓縮的給定編碼標準進行了壓縮的信號。這樣，所述視頻信號編碼器可以例如是視頻轉碼器的一部分。
所述附加信息可能會造成輸出視頻信號的數據速率增加。不過，在大多數應用中，這種數據速率的增加可能是不明顯的和/或可接受的。而且，由于特征點數據可以具體包括僅與簡單的特征點相關而不是與圖像片段或對象相關的信息，因此可以按照在典型情況下遠低于壓縮視頻信號的數據速率的數據速率高效地傳送特征點數據。
按照本發明的一個特征，所述特征點數據包括特征點移動數據。
該特征點移動數據可以例如是特征點軌跡數據和/或與一個或多個所標識出來的特征點相關聯的相對移動數據。這樣可以給出尤其適用于對象跟蹤和3D重構處理的信息。
按照本發明的另一個特征，所述特征點數據包括與對應于一個或多個特征點的運動模型相關的參數數據。
這樣可以提供低數據速率的特征點移動信息，該信息適用于例如進行復雜運動的對象的對象跟蹤。
按照本發明的另一個特征，所述特征點數據包括關于特征點的分組的組信息，所述特征點與未壓縮信號的至少一個幀相關。
這樣可以減小與特征點數據相關聯的數據速率，并且可以便于對輸出視頻信號的處理，尤其是對特征點數據的處理。例如，如果各組與圖像對象相對應，則可以大大便于對象跟蹤處理。
按照本發明的另一個特征，所述特征點數據包括與未壓縮信號的至少一個幀相關聯的一組特征點的公共(或共享)移動數據。對于很多包括對象跟蹤和3D重構的應用和處理來說，該信息尤其有用。
按照本發明的另一個特征，所述特征點數據不包括特征點絕對位置數據。這樣可以減小傳送特征點數據所需的數據速率。舉例來說，不是提供每個數據點在每個幀中的絕對位置值，而是可以提供表示特征點從一幀到下一幀的移動的相對位置值。由于相對移動值在典型情況下相對較小，因此能夠實現更加高效的數據值編碼/壓縮。
按照本發明的另一個特征，所述用于產生特征點數據的裝置適于在未壓縮視頻信號的第一幀中檢測至少一個特征點，并且適于在未壓縮視頻信號的第二幀中跟蹤該至少一個特征點。這樣給出了適用于例如對象跟蹤和3D重構應用的復雜度較低的產生特征點數據的方式。
按照本發明的另一個特征，所述用于產生特征點數據的裝置適于對特征點進行分組，并且適于為每組特征點產生共享特征點數據。這樣給出了一種產生可以被高效率地傳送并且/或者可以便于對輸出視頻信號的處理的特征點數據的實用且有效的方式。
按照本發明的另一個特征，所述視頻信號編碼器此外還包括用于按照解壓縮算法對壓縮視頻信號進行解壓縮以產生解壓縮信號的解碼裝置，并且其中所述用于產生特征點數據的裝置此外還適于響應于該解壓縮信號產生特征點數據。
該解壓縮算法基本上可以等同于解碼器中的用來對壓縮視頻信號進行解壓縮的解壓縮算法。例如，如果壓縮視頻信號是按照MPEG-2編碼標準編碼的，則該解壓縮算法可以是適當的MPEG-2算法。該視頻編碼器可以例如產生解壓縮信號并且按照特定算法在該信號中檢測特征點，此外還知道該特定算法將在給定的解碼器中使用。然后可以使用關于將在該解碼器中對哪些特征點進行標識的信息來在編碼器處選擇相同的特征點，并且將這些特征點包含在特征點數據中。這樣可以減小特征點數據的數據速率，并且因此可以總體上減小輸出視頻信號的數據速率。
按照本發明的另一個特征，所述用于產生特征點數據的裝置適于產生與未壓縮視頻信號的幀的子集相關的特征點數據的操作。這樣可以大大減小傳送特征點數據所需的數據速率。所述幀的子集可以是按照適當的選擇標準進行選擇的。例如，可以使用每第N個幀。從視頻編碼器接收信號的視頻信號處理器可以通過在輸出視頻信號的特征點數據之間進行內插來產生與其它幀有關的適當的特征點數據。
按照本發明的第二個方面，提供了一種視頻信號處理器，包括用于接收包括壓縮視頻信號和與該壓縮視頻信號的未壓縮形式相關聯的特征點數據的視頻信號的裝置；用于提取該特征點數據的裝置；以及用于響應于該特征點數據對該壓縮視頻信號進行處理的裝置。
所述用于處理壓縮視頻信號的裝置適于直接處理壓縮視頻信號，或者可以包括向可以對其應用算法的第二信號的轉換。例如，可以在對信號應用給定算法或處理之前對壓縮視頻信號進行解碼。因此，對壓縮視頻信號的處理可以是多步驟處理，包括產生所導出的信號隨后再響應于特征點數據對所導出的信號進行處理。
本發明給出了一種可以利用與未壓縮信號相關聯的特征點數據以便于和/或改善對相應壓縮信號的處理的視頻信號處理器。該特征點數據可以具有增加的精度，因為編碼或壓縮偽像、錯誤和誤差的影響可以得到減小或消除。該壓縮視頻信號可以以較低的復雜度加以處理，因為用來產生特征點信息的處理可以得到簡化或消除。
應當意識到，按照需要可以很容易地將視頻編碼器的優點和/或特征移植到、對應到并且可以應用于視頻信號處理器。
按照本發明的一個特征，所述用于處理的裝置適于響應于特征點數據在壓縮視頻信號的幀中執行圖像對象跟蹤。因此，本發明可以使圖像對象跟蹤得到易化和/或改善。
按照本發明的一個特征，所述用于處理的裝置適于響應于特征點數據執行對壓縮視頻信號的三維(3D)信息處理。該3D信息處理具體可以是從2D信息導出3D信息的3D重構處理。因此，本發明可以使3D信息處理得到易化和/或改善。
按照本發明的第三個方面，給出了一種視頻信號分發系統，包括視頻編碼器和視頻信號處理器。該視頻編碼器包括用于接收未壓縮視頻信號的裝置、用于響應于該未壓縮信號產生特征點數據的裝置、用于按照壓縮算法對該未壓縮視頻信號進行壓縮以產生壓縮視頻信號的裝置以及用于產生包括該壓縮視頻信號和該特征點數據的輸出視頻信號的裝置。該視頻信號處理器包括用于接收包括壓縮視頻信號和與該壓縮視頻信號的未壓縮形式相關聯的特征點數據的視頻信號的裝置、用于提取該特征點數據的裝置以及用于響應于該特征點數據對該壓縮視頻信號進行處理的裝置。
按照本發明的第四個方面，給出了一種對視頻信號進行編碼的方法，該方法包括以下步驟接收未壓縮視頻信號；響應于該未壓縮信號產生特征點數據；按照壓縮算法對該未壓縮視頻信號進行壓縮以產生壓縮視頻信號；以及產生包括該壓縮視頻信號和該特征點數據的輸出視頻信號。
按照本發明的第五個方面，給出了一種對視頻信號進行解碼的方法，該方法包括以下步驟接收包括壓縮視頻信號和與該壓縮視頻信號的未壓縮形式相關聯的特征點數據的視頻信號；提取該特征點數據；以及響應于該特征點數據對該壓縮視頻信號進行處理。
按照本發明的第六個方面，給出了一種分發視頻信號的方法，該方法包括以下步驟在視頻編碼器處執行下列步驟接收未壓縮視頻信號、響應于該未壓縮信號產生特征點數據、按照壓縮算法對該未壓縮視頻信號進行壓縮以產生壓縮視頻信號以及產生包括該壓縮視頻信號和該特征點數據的輸出視頻信號；在視頻信號處理器處執行下列步驟接收包括壓縮視頻信號和與該壓縮視頻信號的未壓縮形式相關聯的特征點數據的視頻信號、提取該特征點數據以及響應于該特征點數據對該壓縮視頻信號進行處理。
從下文中介紹的(多個)實施例中，可以明顯看出本發明的這些和其它的方面、特征和優點，并且將會參照下文中的(多個)實施例來解釋說明本發明的這些和其它方面、特征和優點。
下面將參照附圖僅以舉例的方式描述本發明的實施例，其中附

圖1是按照本發明的一個實施例的視頻信號編碼器的框圖的圖解說明；以及附圖2是按照本發明的一個實施例的視頻信號處理器的框圖的圖解說明。
下面的說明將重點放在適用于視頻信號編碼器和視頻信號處理器的本發明的實施例上，尤其是適用于MPEG-2視頻信號的編碼和處理的實施例。不過，應當意識到，本發明并不局限于這種應用。
附圖1示出按照本發明的一個實施例的視頻信號編碼器100的框圖。視頻信號編碼器100包括接收器101，該接收器101從內部或外部源(未示出)接收未壓縮視頻信號。
接收器101與編碼元件103相耦合，未壓縮信號被從接收器101饋送到該編碼元件103。編碼元件103對該未壓縮信號進行編碼，以便產生編碼的和壓縮的信號。這樣，對該未壓縮視頻信號的編碼是按照給定編碼協議進行的，該編碼協議包括對視頻信號數據的壓縮。
在該特定實施例中，編碼元件103是按照MPEG-2標準對未壓縮信號進行編碼的。
視頻信號編碼器100此外還包括特征點處理器105，該特征點處理器105與接收器101相耦合，并且適于對未壓縮信號進行處理以產生特征點數據。具體來說，特征點處理器105可以在壓縮信號的幀中檢測到多個特征點，并且確定這些特征點的位置。該特征點處理器105隨后可以進行特征對應關系估計處理，以便將不同幀中的相應特征點關聯起來，從而產生對應于這些特征點的軌跡或軌道信息。
編碼元件103和特征點處理器105此外還與輸出處理器107相耦合，該輸出處理器107通過產生包括壓縮視頻信號數據和特征點數據二者的輸出數據流來產生輸出信號。具體來說，輸出處理器107可以將特征點處理器105插入到來自編碼元件103的壓縮的MPEG-2數據的補充(或輔助或用戶)數據段中。
這樣，該視頻信號編碼器100產生了包括壓縮編碼視頻信號以及被獨立且無關地產生的特征點數據的輸出信號。特征點數據是根據未壓縮信號產生的，并且因此不受由編碼元件103引入的編碼偽像、錯誤和誤差的影響。這樣給出了其精度比由視頻信號處理器或編碼器根據壓縮視頻信號產生的特征點信息更高的特征點數據。與在輸出視頻信號中包括特征點數據相關聯的數據速率增加在典型情況下是不明顯的或者至少是可接受的。因此，產生了可以改善和/或便于視頻信號處理器中的處理的輸出視頻信號。具體來說，所述特征點數據可以提高使用所述特征點的算法或應用的精度。
附圖2示出按照本發明的一個實施例的視頻信號處理器200的框圖。在這個例子中，視頻信號處理器200特別包括視頻解碼器，該視頻解碼器產生隨后被處理的解壓縮信號。然而，應當意識到，本發明并不局限于這種應用，視頻信號處理器200可以例如對壓縮視頻信號進行處理，而不用首先對壓縮視頻信號進行解碼。
視頻信號處理器200包括接收元件201，該接收元件201接收來自附圖1的視頻信號編碼器100的輸出視頻信號。該視頻信號處理器200此外還包括與接收元件201相耦合的提取處理器203。該提取處理器203將特征點數據與壓縮視頻信號數據分離開。特別地，提取處理器203可以通過將特征點數據從MPEG-2數據流的輔助數據段中提取出來而對進入的數據進行多路分解。
在所示實施例中，視頻信號處理器200此外還包括視頻解碼元件205，該視頻解碼元件205與提取處理器203相耦合并且接收被提取出特征點數據之后的壓縮視頻信號數據。視頻信號處理器200對壓縮視頻信號進行解碼并且產生解碼視頻信號。
視頻信號處理器200此外還包括視頻處理器單元207，該視頻處理器單元207與提取處理器203和視頻解碼元件205相耦合。視頻處理器單元207接收來自提取處理器203的特征點數據和來自視頻解碼元件205的解碼視頻信號。然后，視頻處理器單元207可以響應于該特征點數據對該解碼視頻信號進行處理。這個處理可以例如包括依據該特征點數據來修改該解碼視頻信號的特性或數據，或者可以包括響應于該特征點數據來確定與該解碼視頻信號相關的參數或統計信息。具體來說，視頻處理器單元207的處理可以包括對解碼視頻信號的圖像對象的對象跟蹤，或者可以包括響應于解碼視頻信號和特征點數據二者導出對應于解碼視頻信號的3D信息。
在下文中將會介紹適用于在一個或多個視頻處理器上包括對象跟蹤功能的分發系統的實施例的更多細節。下面將分別參照附圖1和2的視頻信號編碼器100和視頻信號處理器200來介紹該實施例。
在該特定實施例中，特征點處理器105一開始在未壓縮視頻信號的幀中檢測出多個特征點。這些特征點對應于按照適當的特征點檢測算法檢測到的圖像中的點。在典型情況下，所述特征點將會是具有給定特性的點，所述給定特性表明它們有可能對應于例如圖像對象的拐角或者圖像對象之間的交點或連接點。
應當意識到，在不偏離本發明的情況下可以使用任何適當的用來檢測特征點的算法。
在該特定實施例中，特征點處理器105首先進行特征響應計算，特別地，特征點處理器105確定哈里斯(Harris)響應。在C.Harris和M.Stephens的“A combined corner and edge detector(組合的拐角和邊緣監測器)”(Proceedings of the fourth Alvey Vision Conference，1988年8月31日-9月2日)中可以找到哈里斯拐角檢測算法的更多細節。應當意識到，在不偏離本發明的情況下可以使用任何適當的特征檢測器。
一旦確定了哈里斯響應，就使用該結果來按照任何適當的算法確定特征點。例如，可以通過僅僅選擇在固定半徑(例如20個像素)的圓形窗口中達到哈里斯響應的最大值的那些點來確定特征點。這樣給出了以下好處這些點均勻分布在圖像平面上。此外，優選地僅僅選擇其哈里斯響應大于給定最小值的點。
在多個幀中檢測出了特征點之后，特征點處理器105進行特征點對應關系估計。這一算法試圖確定不同幀中的所檢測到的特征點之間的對應關系，并且例如試圖確定不同幀中的哪些對象拐角特征點對應于相同的對象拐角。這樣，對于第一個幀中的每個特征點，該算法根據適當的匹配標準在第二個圖像中搜索最佳對應特征點。這一搜索是在固定半徑(例如20個像素)的圓形窗口中完成的，以避免虛假匹配。匹配標準的一個例子是使用兩個圖像的圖像像素值之間的絕對差的和。該求和例如是在以該特征點為中心的局部正方形區域上進行的。可以使用時間濾波或預測來改善用于標識對應特征點的搜索窗口的位置。
在該特定實施例中，特征點處理器105隨后繼續為不同幀中的對應特征點產生特征點移動數據。具體來說，特征點軌道數據是通過表示每個特征點軌道的初始空間位置、隨后表示其它幀中的對應特征點的相對空間位置而產生的。
在該特定實施例中，將特征點數據產生為包括每個特征點的空間位置(x和y)、標識符(ID)和軌道開始指示符變量(SOT)。該SOT變量用于表明給定特征點所對應的數據是新軌道(或軌跡)中的第一個數據還是具有該特定ID的前一軌道的延續。這使得相同ID能夠被無混淆地重新用來標識新的軌道。
不是對特征點的空間位置(x，y)進行編碼，而是優選地對從前一幀的對應特征點算起的位移矢量(Δx，Δy)進行編碼。除了對其給出絕對空間位置的初始特征點之外，可以對軌道中的所有特征點進行這一編碼。通過對相對位置坐標(Δx，Δy)進行編碼而不是對絕對位置坐標(x，y)進行編碼，可以實現增加的壓縮，因為相對位置坐標一般來說具有較小的數值，因此可以用較少的比特來表示。軌道開始指示符為視頻信號處理器200提供了表明所給出的數據是相對還是絕對位置坐標的信息。
這樣，在該實施例中，視頻信號編碼器100產生包括特征點移動數據并且特別是特征點軌道數據的特征點數據。這樣就為視頻信號處理器200提供了不同特征點在多個幀上的移動的精確信息。通過將特征點群集(clustering)成具有類似運動的群集，依據移動對象進行的視頻分析可以得到實現或易化。
在某些實施例中，可以由特征點處理器105對特征點進行分組。具體來說，可以按照把具有對應移動參數的特征點分成一組的方式對特征點進行分組，并且可以針對特征點組而不是針對每個單獨的特征點來給出公共的或共享的移動數據。這樣可以大大降低傳送特征點數據所需的數據速率。
因此，特征點數據優選地可以包括表明哪些特征點與哪個特征點組相對應的組信息以及對應于每個特征點組的一組公共移動數據。例如，不是包括對應于每個單獨特征點的絕對或相對空間位置數據，而是為給定特征點組中的所有特征點提供單個坐標組。
應當意識到，可以應用用來對特征點進行分組的任何適當的標準或算法。例如，多個特征點可以對應于同一剛性運動對象，例如，可以在運動著的汽車的圖像對象上檢測特征點。這些特征點往往具有類似的運動特性。這些特征點可以例如通過基于圖形的群集算法來檢測。舉例來說，可以使用圖像中的所有特征點來產生鄰居圖形，在該圖形中，每個特征點與其最近的k個鄰居相連。這樣，對于每個點，該圖形與其k個空間上最接近的點相連。如果各點之間的運動差異大于給定的閾值，則剪切掉該圖形中的邊緣。結果是一組子圖形，其中每個子圖形對應于一個特征點組。
在某些實施例中，特征點數據可以包括與對應于特征點或者優選地是特征點組的運動模型相關的參數數據。
在典型情況下，可以由具有少量參數的單個模型精確地描述一組特征點軌道。因此，可以將模型擬合于組中的特征的運動。
然后可以將由該擬合確定的參數包括在特征點數據中。這樣，對于每個特征點組，可以對模型參數進行編碼并且將其發送給視頻信號處理器200。優選地，視頻信號處理器200知道使用的是什么模型(或者可以將該信息包括在特征點數據中)，并且簡單地應用所接收到的參數來產生該組中的特征的移動數據。最終得到的特征點數據的數據速率將取決于特征點組的數量和用于代表所述模型參數的比特數量。該編碼過程可以是有損的或無損的。在典型情況下，可以實現與壓縮視頻信號的數據速率相比相對較低的數據速率。此外，視頻信號處理器200中的對象跟蹤處理的復雜度和計算資源可以得到明顯降低，因為僅僅需要簡單的模型評估。
在某些實施例中，對于視頻信號的所有幀檢測特征點和產生移動數據。不過，在其它實施例中，僅僅對幀的子集進行處理，并且僅僅為該子集產生特征點數據。這樣，特征點數據可以僅僅包括每個特征點的幀子集的信息。在一個簡單的實施例中，僅僅為每隔一幀(或者每第N個幀)產生特征點數據。這可以明顯降低與特征點數據相關的數據速率，并且還可以明顯降低視頻信號編碼器的復雜度和計算資源消耗量。
在該實施例中，所述視頻信號處理器僅僅接收與幀的子集相關的特征點數據。不過，可以響應于所接收到的特征點數據導出與其它幀相關的特征點信息。例如，可以通過在過去和將來的幀中的對應位置之間進行內插來導出給定幀的特征點位置。
在某些實施例中，為之導出特征點數據的幀子集可以響應于未壓縮視頻信號和/或壓縮視頻信號的特性。例如，可以僅僅對MPEG-2編碼壓縮信號的I幀產生特征點數據。
在某些實施例中，視頻信號處理器200可以包括響應于特征點數據對壓縮視頻信號執行3D信息處理的功能。例如，可以使用來自運動算法的結構和本領域已知的攝影機參數的知識對靜止場景提取3D信息。
在某些實施例中，所述視頻信號編碼器還可以包括能夠按照解壓縮算法對壓縮視頻信號進行解壓縮的解碼元件。具體來說，該解碼元件可以模擬在視頻信號處理器中將進行的解碼，并且因此可以使用與視頻信號處理器中使用的解壓縮算法相同或類似的解壓縮(或解碼)算法。這樣，該解碼元件可以產生等同于或者非常類似于將由視頻信號處理器產生的視頻信號的視頻信號。
在這樣的實施例中，所述特征點處理器優選地響應于由該解碼元件產生的視頻信號來產生特征點數據。例如，該視頻信號編碼器可以在解碼信號中檢測直接與可以由視頻信號處理器獨立檢測到的特征點相對應的特征點。可以確定在未壓縮信號中檢測到的對應特征點，并且可以將這些特征點的移動數據與解碼信號的特征點關聯起來。因此，特征點數據可以僅僅包括不帶特征點的具體說明的移動數據。
這樣，在某些實施例中，可以在視頻信號編碼器中重復視頻信號處理器的某種解碼器功能，從而允許使用在兩端獨立產生的信息來降低輸出視頻信號的數據速率。這樣，實現了復雜度和計算資源與輸出視頻信號的數據速率之間的靈活折衷。
本發明可以以任何適當的形式實現，包括硬件、軟件、固件或者它們的任何組合。不過，優選地將本發明實現為運行在一個或多個數據處理器和/或數字信號處理器上的計算機軟件。本發明的實施例的元件和組件可以是以任何適當方式在物理上、功能上和邏輯上實現的。實際上，所述功能可以在單個單元、多個單元中實現，或者可以實現為其它功能性單元的一部分。這樣，本發明可以在單個單元中實現，或者可以在物理上和功能上分布在不同單元和處理器之間。
雖然本發明是結合優選實施例加以介紹的，但是這里并非意欲將本發明局限于本文所提出的具體形式。相反，本發明的范圍僅僅由所附權利要求書限定。在權利要求書中，術語“包括”不排除其他元件或步驟的存在。此外，雖然是單獨列出的，但是多個裝置、元件或方法步驟可以由例如單個單元或處理器來實現。此外，雖然各個特征可以被包括在不同的權利要求中，但是也有可能將這些特征有益地組合起來，并且被包括在不同的權利要求中并不意味著這些特征的組合是不可行的和/或沒有益處的。此外，單數并不排除多個的情況。因此，“一個”、“第一”、“第二”等并不排除多個。
權利要求
1.一種視頻信號編碼器，包括-用于接收未壓縮視頻信號的裝置(101)；-用于響應于該未壓縮信號產生特征點數據的裝置(105)；-用于按照壓縮算法對該未壓縮視頻信號進行壓縮以產生壓縮視頻信號的裝置(103)；以及-用于產生包括該壓縮視頻信號和該特征點數據的輸出視頻信號的裝置(107)。
2.按照權利要求1所述的視頻信號編碼器，其中所述特征點數據包括特征點移動數據。
3.按照權利要求1所述的視頻信號編碼器，其中所述特征點數據包括與對應于一個或多個特征點的運動模型相關的參數數據。
4.按照權利要求1所述的視頻信號編碼器，其中所述特征點數據包括與特征點的分組有關的組信息，所述特征點與所述未壓縮信號的至少一幀相關聯。
5.按照權利要求1所述的視頻信號編碼器，其中所述特征點數據包括與所述未壓縮信號的至少一幀相關聯的特征點組的公共移動數據。
6.按照權利要求1所述的視頻信號編碼器，其中所述特征點數據不包括特征點絕對位置數據。
7.按照權利要求1所述的視頻信號編碼器，其中所述用于產生特征點數據的裝置(105)適于在所述未壓縮視頻信號的第一幀中檢測至少一個特征點，并且適于在所述未壓縮視頻信號的至少第二幀中跟蹤該至少一個特征點。
8.按照權利要求1所述的視頻信號編碼器，其中所述用于產生特征點數據的裝置(105)適于對特征點進行分組，并且適于為每個特征點組產生公共特征點數據。
9.按照權利要求1所述的視頻信號編碼器，還包括用于按照解壓縮算法對所述壓縮視頻信號進行解壓縮以產生解壓縮信號的裝置，并且其中所述用于產生特征點數據的裝置還適于響應于該解壓縮信號來產生特征點數據。
10.按照權利要求1所述的視頻信號編碼器，其中所述用于產生特征點數據的裝置(105)適于產生僅僅與所述未壓縮視頻信號的幀的子集相關的特征點數據。
11.一種視頻信號處理器，包括-用于接收包括壓縮視頻信號和與該壓縮視頻信號的未壓縮形式相關聯的特征點數據的視頻信號的裝置(201)；-用于提取該特征點數據的裝置(203)；以及-用于響應于該特征點數據對該壓縮視頻信號進行處理的裝置(207)。
12.按照權利要求11所述的視頻信號處理器，其中所述用于處理的裝置(207)適于響應于該特征點數據在所述壓縮視頻信號的各幀中執行圖像對象跟蹤。
13.按照權利要求11所述的視頻信號處理器，其中所述用于處理的裝置(207)適于響應于該特征點數據對所述壓縮視頻信號執行三維信息處理。
14.一種視頻信號分發系統，包括-視頻編碼器(100)，包括-用于接收未壓縮視頻信號的裝置(101)；-用于響應于該未壓縮信號產生特征點數據的裝置(105)；-用于按照壓縮算法對該未壓縮視頻信號進行壓縮以產生壓縮視頻信號的裝置(103)；和-用于產生包括該壓縮視頻信號和該特征點數據的輸出視頻信號的裝置(107)；以及-視頻信號處理器(200)，包括-用于接收該輸出視頻信號的裝置(201)；-用于提取該特征點數據的裝置(203)；和-用于響應于該特征點數據對該壓縮視頻信號進行處理的裝置(207)。
15.一種對視頻信號進行編碼的方法，該方法包括以下步驟-接收未壓縮視頻信號；-響應于該未壓縮信號產生特征點數據；-按照壓縮算法對該未壓縮視頻信號進行壓縮以產生壓縮視頻信號；以及-產生包括該壓縮視頻信號和該特征點數據的輸出視頻信號。
16.一種對視頻信號進行解碼的方法，該方法包括以下步驟-接收包括壓縮視頻信號和與該壓縮視頻信號的未壓縮形式相關聯的特征點數據的視頻信號；-提取該特征點數據；以及-響應于該特征點數據對該壓縮視頻信號進行處理。
17.一種分發視頻信號的方法，該方法包括以下步驟-在視頻編碼器(100)處執行下列步驟-接收未壓縮視頻信號；-響應于該未壓縮信號產生特征點數據；-按照壓縮算法對該未壓縮視頻信號進行壓縮以產生壓縮視頻信號；和-產生包括該壓縮視頻信號和該特征點數據的輸出視頻信號；以及-在視頻信號處理器(200)處執行下列步驟-接收該輸出視頻信號；-提取該特征點數據；和-響應于該特征點數據對該壓縮視頻信號進行處理。
18.一種能夠實施按照權利要求15到17中的任何一項所述的方法的計算機程序。
19.一種包括權利要求18所述的計算機程序的記錄載體。
全文摘要
一種視頻編碼器(100)包括接收未壓縮視頻信號的接收器(101)。編碼元件(103)按照諸如MPEG－2編碼算法的壓縮算法產生壓縮視頻信號。此外，特征點處理器(105)響應于該未壓縮信號來產生特征點數據，并且輸出處理器(107)產生包括該壓縮視頻信號和該特征點數據的輸出視頻信號。該輸出信號由視頻信號處理器(200)的接收器(201)接收。提取處理器(203)提取該特征點數據并且將其饋送給視頻處理器單元(207)，該視頻處理器單元響應于該特征點數據對該壓縮視頻信號進行處理。當使用壓縮信號進行檢測時，使用未壓縮(原始)視頻信號單獨且獨立地產生諸如特征點移動數據或軌道的特征點數據，從而消除或減小了與特征點位置和軌跡有關的壓縮偽像、錯誤和誤差的影響。
文檔編號H04N7/26GK1926879SQ200580006591
公開日2007年3月7日 申請日期2005年2月22日 優先權日2004年3月1日
發明者C·瓦雷坎普, P·威林斯基, M·F·A·施羅德斯 申請人:皇家飛利浦電子股份有限公司