專利名稱：采用自適應搜索策略的快速多幀運動估計的制作方法
采用自適應搜索策略的快速多幀運動估計本申請是申請日為2004年10月14日，題為“采用自適應搜索策略的快速多幀運動估計”，申請號為200910222053. 7的專利申請的分案申請。
背景技術：
運動補償經常與圖像數據壓縮編碼結合使用。采用運動補償的圖像數據壓縮編碼技術的ー個實例是已經提出的H. 264標準(更正式地稱為高級視頻編碼(AVC)標準，由國際標準化組織(ISO)的運動圖像專家組和國際電信聯盟的電信標準化部門(ITU-T)的視頻編碼專家組(VCEG)聯合形成的聯合視頻小組(JV T)開發)。在H. 264編碼中，將矩形塊的像素數據從先前幀的參考塊中減去，并且對得到的差值信息進行變換以得到系數數據。量化該系數數據，然后對得到的信息重新排序并進行熵編碼，以用于傳輸和/或記錄。為了利用視頻信號中的時間冗余性，即使是在圖像中存在運動和/或相機移動吋，參考塊也可以在圖像幀中從當前正在編碼的塊處進行位移。參考塊的位移稱為“運動補償”。“運動估計”過程確定在先前幀中(在搜索窗中)哪個像素塊與當前正在編碼的塊最佳匹配。在當前編碼的塊和先前幀中最佳匹配塊之間的位移用“運動矢量”表示，其是運動估計過程得到的結果。運動矢量包含在“邊信息”中，“邊信息”與當前塊的經過變換、量化、重新排序、熵編碼的差值信息一起發送。運動補償使得在當前像素塊與參考塊之間的差值最小化，從而能夠使得需要發送/記錄的數據量最小化。運動補償視頻壓縮編碼的ー個問題是編碼所需的處理量。運動估計可以包括處理負荷的相當大的一部分，特別是采用所謂的“全捜索”算法吋。還提出了所謂的“快速捜索”算法，其中采用了縮小的搜索圖形(pattern)，輕微降低了圖像質量。


圖I是根據一些實施例的圖像數據處理系統的高級別方框圖；圖2是圖I中系統的圖像數據壓縮編碼部分的方框圖；圖3采用功能塊的形式示出了圖2的壓縮編碼部分的操作；圖4A-4C共同形成流程圖，示出了圖2的壓縮編碼部分根據ー些實施例所執行的運動估計過程；圖5示意性地示出了圖4A-4C的運動估計過程中，在一些情況中使用的六角形搜索圖形；以及圖6示意性地示出圖4A-4C的運動估計過程中，在另ー些情況中使用的十字(cross)搜索圖形。
具體實施例方式圖I是根據一些實施例的圖像數據處理系統100的方框圖。圖像數據處理系統100包括壓縮編碼部分102，其是根據一些實施例提供的。系統110還包括圖像數據幀源104。圖像數據幀源耦合到壓縮編碼部分，用來為壓縮編碼部分提供圖像數據幀序列。圖像數據幀源可以是，例如攝像機、電視電影、數字視頻磁帶再生設備等。系統100還包括傳輸信道106。壓縮編碼部分耦合到傳輸信道，用來提供經過壓縮編碼的圖像數據。傳輸信道還可以用于將經過壓縮編碼的圖像數據發送到另一位置和/或者將經過壓縮編碼的圖像數據存儲到記錄介質(未単獨示出)上。圖2是圖像數據壓縮編碼部分102的實施例的方框圖。壓縮編碼部分102可以包括處理器202。處理器202可以是例如通用處理器，諸如常規微處理器，以及/或者數字信號處理器(DSP)。壓縮編碼部分102還可以包括存儲設備204，其耦合到處理器。存儲設備204可以存儲程序指令，所述程序指令控制處理器，使得處理器根據如下所述的ー些實施例執行圖像數據壓縮編碼。壓縮編碼部分還可以包括工作存儲器206 ( S卩，RAM-隨機存取存儲器)，其耦合到處理器202。在另ー實施例中，壓縮編碼部分102可以實現為特定用途集成電路(ASIC)，其配置為根據如下所述的ー些實施例執行圖像數據壓縮編碼。圖3采用功能塊的形式示出了壓縮編碼部分102的操作。在圖3中，當前正在壓縮編碼的輸入圖像數據幀用302表示。根據H. 264標準，可以分別處理每個“宏塊”(16X16的像素塊)。此外，如果有利的話，每個宏塊可以再分為8X16、16X8或者8X8的塊。如果還有利的話，每個8X8的塊還可以再分為8X4、4X8或者4X4的塊。無論是否進行了再分，每個宏塊都可以采用“幀內”模式或者“幀間”模式(即，幀內預測或者幀間預測)進行編碼。304表示對特定塊選擇了幀內模式。用開關306表示在幀間預測的參考塊和幀內的預測參考塊之間進行選擇。開關306的輸出是預測的參考塊。預測的參考塊是從重建的幀中取出的，該重建的幀在幀內預測308的情況中是當前處理的幀(未濾波)，或者是已經在312處進行了濾波并存儲在314中的先前幀310，其也可能是與一個或多個其他先前幀一起存儲在314中。在一些實施例中，可以從中選擇最大到5個的先前幀，來在幀間模式中提供預測的參考塊。這5個先前幀可以按照與時間相反的順序稱為“RefO”、“Ren”、“Ref2”、“Ref3”和“Ref4”。RefO可以是在輸入的圖像數據幀序列中在當前正在壓縮編碼的幀之前最緊鄰的幀；Refl可以是在該圖像數據幀序列中在RefO之前最緊鄰的幀；Ref2可以是在該圖像數據幀序列中在Refl之前最緊鄰的幀；Ref3可以是在該圖像數據幀序列中在Ref2之前最緊鄰的幀；以及Ref4可以是在該圖像數據幀序列中在Ref3之前最緊鄰的幀。如316所示，可以對參考幀運用運動估計算法，為在當前幀中的當前塊或者子塊尋找在參考幀中的最佳匹配塊或者子塊。以下闡述了根據ー些實施例提供的運動估計算法的細節。除了以下所述的運動估計算法之外，圖3中所示的全部壓縮編碼過程整體上可以根據常規原理，例如在H. 264標準中所闡述的原理來執行。采用由運動估計過程316所產生的運動矢量，可以對參考幀進行運動補償318，來選擇參考塊。通過開關功能306，可以將參考塊施加到差值功能320，差值功能320從當前正在壓縮編碼的塊中減去參考塊。(注意，在幀內模式中，是采用來自當前幀的參考塊。)采用塊變換(如322所示)對通過從當前編碼的塊中減去參考塊而生成的差值數據塊進行變換，并量化所得到的變換系數，如324所示。然后對量化的變換系數重新排序(塊326)以提高編碼效率，然后對其進行熵編碼(塊328)。在該點處，已經得到了壓縮比特流，其包括經過量化、重新排序、熵編碼的變換系數，以及標識例如預測模式、量化步長、塊大小、運動矢量等等的邊信息。然后將該比特流傳送到網絡提取層(NAL)，用于傳輸或存儲。重建分支過程330得到量化的變換系數，并進行逆量化(塊332)，然后對解量化的數據進行逆變換(塊334)，生成差值數據。在求和功能336處，將差值數據與參考塊相加，生成重建的塊。所得到的重建的塊可以用于在308處的幀內預測，或者與其他塊合并來形成重建的幀，在312對重建的幀進行濾波，并在314將其存儲為用于幀間預測的參考幀。圖4A-4C共同形成示出圖3的運動估計算法316的流程圖，如根據ー些實施例所提供的。在圖4A中，塊402表示對于當前正在壓縮編碼的圖像數據幀的ー個宏塊開始運動估計算法。塊404表示將運動估計算法運用到每個可能的不同塊或子塊大小或形狀，以允許從使得差值數據量最小化的角度來選擇最優塊大小/形狀。在一些實施例中，塊大小選擇循環404考慮16X 16、8X 16、16X8、8X8、4X8、8X4和4X4的塊大小丨形狀中的每ー 個。考慮不同塊大小的順序可以遵循從16X16到4X4的大小下降的順序，以便可以利用上層的運動矢量信息。在塊大小選擇循環404中嵌套了參考幀循環406，參考幀循環406使得對于當前塊/子塊考慮完整的參考幀組或者截短的參考幀組。在一些實施例中，完整的參考幀組包括RefO、RefU Ref2, Ref3和Ref4，截短的參考幀組包括RefO、Refl和Ref2。根據ー些實施例，根據以下描述的準則來在完整的參考幀組和截短的參考幀組之間進行選擇。從另ー個角度看，可以考慮RefO、Refl和Ref2形成第一參考幀組，在一些實施例中在所有情況下都要對其進行檢查，而可以考慮Ref3和Ref4形成第二(實際中是更早的)參考幀組，在這些實施例中，有時不對其進行檢查。RefO可以稱為是第一參考幀組中的幀中的“最后ー個”；Refl可以稱為是第一參考幀組中的幀中的“中間ー個”;Ref2可以稱為是第一參考幀組中的幀中的“最早一個”;Ref3可以稱為是第二參考幀組中的“后ー個”;Ref4可以稱為是第二參考幀組中的“前一個”。考慮參考幀的順序可以如在本段中第二句中所述(即，首先考慮最近的)。如在此所用的和附帯的權利要求中所用的，“參考幀組”不是必須要包含ー個以上的幀。因此，對于當前正在壓縮編碼的宏塊而言，對于正在考慮的整個宏塊或者子宏塊，以及對于當前正在考慮的參考幀，要進行以下過程。首先，在塊408，對于在將運動估計算法運用到當前正在考慮的參考幀時所生成的運動矢量，執行統計分析。可以預期運動矢量大致服從對稱指數分布。可以假設運動矢量在X方向和Y方向上獨立，從而使得組合概率分布可以定義為Pmv (x, y) = Px(x)PY(y)(I)在此，Px(X)和PY(y)分別是運動矢量在X方向和Y方向上的概率分布。Px(X)和Py(y)可以服從如下定義的指數分布P (η) = λ , η = O 時(2a)P (η) = (1/2) λ β |η|,π 不等于 O 時(2b)從概率分布的物理意義的角度看，等式(2)應該滿足在搜索窗口中的概率總和為I的限制。換而言之，如果搜索窗ロ大小為W，則對于在范圍-W到W中的n，P (η)的總和等于I。運動矢量的均值絕對值MVmean可以定義為對于在范圍-W到W中的η的P (η)(In |+1)的總和·從上述中，可以獲得以下
權利要求
1.一種用于選擇塊匹配搜索圖形的方法，包括 確定第一圖像數據幀的特性，所述特性是在所述第一圖像數據幀中的運動補償所采用的運動矢量的統計特性；以及 根據所確定的特性，在對于第二圖像數據幀所使用的第一塊匹配搜索圖形和對于所述第二圖像數據幀所使用的第二塊匹配搜索圖形之間進行選擇，所述第二幀在圖像數據幀序列中緊鄰著所述第一幀之后。
2.如權利要求I所述的方法，其中，所述確定步驟包括 檢查在所述第一圖像數據幀中的運動補償所采用的運動矢量的統計分布，以生成在所述第一幀中所述運動矢量的分布模型，所述分布模型是所述運動矢量的范圍以及相關聯的概率，其中所述選擇步驟進一步至少部分地基于所述分布模型。
3.如權利要求2所述的方法，其中，所述選擇步驟包括在六角形搜索圖形和十字捜索圖形之間進行選擇。
4.如權利要求2所述的方法，其中，所述檢查步驟包括計算在所述第一幀中的運動補償所采用的所述運動矢量的平均值。
5.如權利要求2所述的方法，其中，所述檢查步驟包括計算菱形區域的大小，該菱形區域包含在所述第一幀中的運動補償所采用的所述運動矢量的至少99 %。
6.如權利要求I所述的方法，還包括 確定對于所述第二幀的像素數據塊所使用的運動矢量，所述確定步驟是采用所選擇的塊匹配捜索圖形執行的。
7.如權利要求6所述的方法，還包括 對所述第二幀的所述像素數據塊執行運動補償壓縮編碼，所述運動補償壓縮編碼利用了對于所述第二幀的所述像素數據塊所使用的所述運動矢量。
全文摘要
一種方法，包括檢查在第一圖像數據幀中的運動補償所采用的運動矢量的統計分布。所述檢查用于生成在所述第一幀中所述運動矢量的分布模型。該方法還包括至少部分地根據所述分布模型，選擇對于第二圖像數據幀所使用的塊匹配搜索圖形。所述第二幀是在圖像數據幀序列中在所述第一幀之后。
文檔編號H04N7/26GK102685495SQ20121010925
公開日2012年9月19日 申請日期2004年10月14日 優先權日2004年10月14日
發明者埃里克·李 申請人:英特爾公司