專利名稱：預測尺寸單元根據視頻編碼的信令的制作方法
預測尺寸單元根據視頻編碼的信令
相關專利/專利申請的交叉引用
本申請要求2011年9月27日提交的美國臨時專利申請第61/539，948號和2012 年6月14日提交的美國專利申請第13/523，822號的優先權。技術領域
本發明大體涉及數字視頻處理；更具體地說，本發明涉及根據這種數字視頻處理的信令。
背景技術：
已經連續多年研究了用于傳送數字媒介(例如，圖像、視頻、數據等等)的通信系統。相對于使用某種形式的視頻數據的這種通信系統，以某個幀速率(例如，每秒幀)輸出或顯示大量的數字圖像，以便實現適合于輸出和消耗的視頻信號。在使用視頻數據進行操作的多個這種通信系統內，在吞吐量(例如，可從第一位置發送到第二位置的圖像幀的數量) 和最終要輸出或顯示的信號的視頻和/或圖·像質量之間可進行平衡。現有技術未充分或可接受地提供一種裝置，通過該裝置，隨著提供充分的或可接受的視頻和/或圖像質量，可將視頻數據從第一位置傳送至第二位置，從而確保與通信相關聯的費用相對較低、在通信鏈路的各個端部的通信裝置的復雜性相對較低等。發明內容
根據本發明的一實施方式，提供了一種設備，包括視頻編碼器，用于對輸入視頻信號進行編碼，以生成輸出比特流；并且其中視頻編碼器使用單個二叉樹用于隨著生成輸出比特流處理至少一個P切片和至少一個B切片；視頻編碼器針對至少一個P切片和至少一個B切片使用單個二叉樹，以隨著生成輸出比特流用第一語法元素對編碼單元(CU)預測進行編碼；以及視頻編碼器針對至少一個P切片和至少一個B切片使用單個二叉樹，以隨著生成輸出比特流用第二語法元素對預測單元(PU)分割模式進行編碼。
此外，根據該實施方式，第一語法元素表示幀內預測處理或幀間預測處理；以及第二語法元素表示CU分割形狀。
此外，根據該實施方式，視頻編碼器隨著生成輸出比特流而在第一時間或在第一時間期間執行幀內預測處理；以及視頻編碼器隨著生成輸出比特流而在第二時間或在第二時間期間執行幀間預測處理。
此外，根據該實施方式，設備為第一通信裝置；并且進一步包括第二通信裝置， 經由至少一個通信信道與第一通信裝置進行通信，包含輸入端，用于接收輸出比特流；以及視頻解碼器，用于對輸出比特流進行解碼，以生成與輸入視頻信號相對應的輸出視頻信號；并且其中第二通信裝置為計算機、膝上型計算機、高清晰度(HD)電視、標準清晰度 (SD)電視、手持式媒介設備、機頂盒(STB)、以及數字視頻光盤(DVD)播放器中的至少一個。
此外，根據該實施方式設備為在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作的通信裝置。
根據本發明的另一實施方式，還提供了一種設備，包括視頻編碼器，用于對輸入視頻信號進行編碼，以生成輸出比特流；并且其中視頻編碼器使用單個二叉樹，用于隨著生成輸出比特流來處理至少一個P切片和至少一個B切片。
此外，根據該另一實施方式，視頻編碼器針對至少一個P切片和至少一個B切片使用單個二叉樹，以隨著生成輸出比特流用單個語法元素對編碼單元(CU)預測和預測單元 (PU)分割模式共同編碼，。
此外，根據該另一實施方式，視頻編碼器針對至少一個P切片和至少一個B切片使用單個二叉樹，以隨著生成輸出比特流用第一語法元素對編碼單元(CU)預測進行編碼；以及視頻編碼器針對至少一個P切片和至少一個B切片使用單個二叉樹，以隨著生成輸出比特流用第二語法元素對預測單元(PU)分割模式進行編碼。
此外，根據該另一實施方式，第一語法元素表示幀內預測處理或幀間預測處理；以及第二語法元素表示CU分割形狀。
此外，根據該另一實施方式，視頻編碼器隨著生成輸出比特流而在第一時間或在第一時間期間執行幀內預測處理；以及視頻編碼器隨著生成輸出比特流而在第二時間或在第二時間期間執行幀間預測處理。
此外，根據該另一實施方式，設備為第一通信裝置；并且進一步包括第二通信裝置，經由至少一個通信信道與第一通信裝置進行通信，包含輸入端，接收輸出比特流；以及視頻解碼器，對輸出比特流進行解碼，以生成與輸入視頻信號相對應的輸出視頻信號。
此外，根據該另一實施方式，第二通信裝置為計算機、膝上型計算機、高清晰度 (HD)電視、標準清晰度(SD)電視、手持式媒介設備、機頂盒(STB)、以及數字視頻光盤(DVD) 播放器中的至少一個。
此外，根據該另一實施方式，設備為在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作的通信裝置。
根據本發明的又一實施方式，提供了一種用于操作通信裝置的視頻編碼器的方法，方法包括操作視頻編碼器，用于對輸入視頻信號進行編碼以生成輸出比特流；以及在視頻編碼器內使用單個二叉樹，用于隨著生成輸出比特流來處理至少一個P切片和至少一個B切片。
此外，根據該又一實施方式，在視頻編碼器內針對至少一個P切片和至少一個B切片使用單個二叉樹，以隨著生成輸出比特流用單個語法元素對編碼單元(CU)預測和預測單元(PU)分割模式共同編碼。
此外，根據該又一實施方式，該方法還包括針對至少一個P切片和至少一個B切片使用單個二叉樹，以隨著生成輸出比特流用第一語法元素對編碼單元(CU)預測進行編碼；以及針對至少一個P切片和至少一個B切片使用單個二叉樹，以隨著生成輸出比特流用第二語法元素對預測單元(PU)分割模式進行編碼。
此外，根據該又一實施方式，第一語法元素表示幀內預測處理或幀間預測處理；以及第二語法元素表示CU分割形狀。
此外，根據該又一實施方式，該方法還包括隨著生成輸出比特流而在第一時間或在第一時間期間執行幀內預測處理；以及隨著生成輸出比特流而在第二時間或在第二時間期間執行幀間預測處理。
此外，根據該又一實施方式，該方法還包括操作另一通信裝置，另一通信裝置通過以下項經由至少一個通信信道與第一通信裝置進行通信接收輸出比特流；以及操作視頻解碼器以對輸出比特流進行解碼，從而生成與輸入視頻信號相對應的輸出視頻信號，其中，另一通信裝置為計算機、膝上型計算機、高清晰度(HD)電視、標準清晰度(SD)電視、手持式媒介設備、機頂盒(STB)、以及數字視頻光盤(DVD)播放器中的至少一個。
此外，根據該又一實施方式，通信裝置在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作。


圖1和圖2示出了通信系統的各種實施方式；
圖3A示出了計算機的一個實施方式；
圖3B示出了膝上型計算機的一個實施方式；
圖3C示出了高清晰度(HD)電視的一個實施方式；
圖3D示出了標準清晰度(SD)電視的一個實施方式；
圖3E示出了手持式媒介設備的一個實施方式；
圖3F示出了機頂盒(STB)的一個實施方式；
圖3G示出了數字視頻光盤(DVD)播放器的一個實施方式；
圖3H示出了通用數字圖像和/或視頻處理裝置的一個實施方式；
圖4、圖5和圖6是示出了視頻編碼結構的各種實施方式的示圖7是示出了幀內預測處理的實施方式的示圖8是示出了幀間預測處理的實施方式的示圖9和圖10是示出了視頻解碼架構的各種實施方式的示圖11示出了遞歸編碼單元(⑶)結構的實施方式；
圖12示出了預測單元(PU)模式的實施方式；
圖13示出了針對在一個實現方式中進行P切片編碼并且在另一實現方式中進行 P切片和B切片編碼所采用的二叉樹的一個實施方式，包括二叉樹的修改；
圖14示出了可針對在一個實現方式中進行B切片編碼以及在另一實現方式中進行P和B切片編碼所采用的二叉樹的實施方式；
圖15示出了針對P切片編碼和可針對與圖12所執行的B切片編碼相結合所采用的二叉樹的實施方式；
圖16A、圖16B、圖17A以及圖17B示出了根據視頻編碼(例如，在一個或多個通信裝置內)執行的方法的各種實施方式。
具體實施方式
在使用數字媒介(例如，數字視頻)的多個裝置內，使用像素表示這些裝置各自的圖像，這些圖像實質上為數字圖像。在某些通信系統內，可將數字媒介從第一位置發送到第二位置，在該位置可輸出或顯示這種媒介。數字通信系統(包括操作以便傳送數字視頻的那些通信系統)的目的在于將數字數據從一個位置或子系統中發送到沒有誤差或具有較低的可接受的誤差率的另一個位置或子系統中。如圖1中所示，在各種通信系統內，通過各種通信信道可發送數據磁性媒介、以及有線、無線、光纖、銅和/或其他類型的媒介。
圖1和圖2分別為示出了通信系統100和200的各種實施方式的示圖。
參考圖1,通信系統100的這個實施方式為通信信道199,該通信信道將位于通信信道199的一端的通信裝置110 (包括具有編碼器114的發射器112和具有解碼器118的接收器116)通信地耦接至位于通信信道199的另一端的另一通信裝置120 (包括具有編碼器128的發射器126和具有解碼器124的接收器122)。在某些實施方式中，通信裝置110 和120中的任一個可僅包括發射器或接收器。存在幾種不同的媒介，通過該媒介，可使用通信信道199 (例如，使用碟形衛星天線(satellite dish) 132和134的衛星通信信道130、 使用塔142和144和/或本地天線152和154的無線通信信道140、有線通信信道150、和/ 或使用電光(E/0)接口 162和光電(0/E)接口 164的光纖通信信道160)。此外，可使用一種以上的媒介，并將其結合在一起，從而形成通信信道199。
要注意的是，在不背離本發明的范圍和精神的情況下，這種通信裝置110和/或 120可為固定或移動式。例如,通信裝置110和/或120可在固定的位置內使用，或者可為移動通信裝置，能夠一個以上的網絡接入點相關聯和/或連通(例如，包括一個或多個無線局域網(WLAN)的移動通信系統中的各個不同的接入點(AP)、包括一個或多個衛星的移動通信系統中的各個不同的衛星、或者通常為包括一個或多個網絡接入點的移動通信系統中的各個不同的網絡接入點，通過這些接入點，通信裝置110和/或120可實現通信)。
為了減少通信系統內不期望產生的傳輸誤差，通常使用誤差校正和信道編碼方案。通常，這些誤差校正和信道編碼方案包括在通信信道199的發射器端使用編碼器以及在通信信道199的接收器端使用解碼器。
在任何這種所需要的通信系統(例如,包括圖1中所述的那些變化)、任何信息儲存裝置(例如，硬盤驅動器(HDD)、網絡信息儲存裝置和/或服務器等等)、或需要進行信息編碼和/或解碼的任何應用程序中，可使用上述各種ECC代碼中的任何一個代碼。
一般而言，考慮使用將視頻數據從一個位置或子系統傳送到另一個位置或子系統的通信系統時，通常可將視頻數據編碼視為在通信信道199的發射端進行編碼，并且通常可將視頻數據解碼視為在通信信道199的接收端進行解碼。
同樣，盡管示圖的實施方式示出了能夠在通信裝置110和120之間進行雙向通信， 但要注意的是，在某些實施方式中，通信裝置110可僅包括視頻數據編碼能力，通信裝置 120可僅包括視頻數據解碼能力，反之亦然(例如，在單向通信實施方式中，例如根據視頻廣播實施方式)。
參考圖2的通信系統200，在通信信道199的發射端，將信息比特201 (例如，尤其與一個實施方式中的視頻數據相對應)提供給發射器297，該發射器可用于使用解碼器和符號映射器(symbol mapper>220 (分別可視為不同的功能塊222和224)對這些信息比特201 進行編碼，從而生成提供給發射驅動器230的一系列離散值調制符號203，該發射驅動器使用DAC (數模變換器)232生成連續時間發射信號204并且使用發射濾波器234生成過濾的連續時間發射信號(transmit signal)205，該發射信號與通信信道299基本上一致。在通信信道299的接收端，將連續時間接收信號206提供給AFE (模擬前端)260，該模擬前端包括接收濾波器262 (生成過濾的連續時間接收信號207)以及ADC (模數變換器)264 (生成離散時間接收信號208)。度量發生器270計算度量209 (例如，根據符號和/或比特)，解碼器280使用該度量，最佳地估計在其內進行編碼的離散值調制符號和信息比特210。
在每個發射器297和接收器298內，各種元件、模塊、功能塊、電路可在其內以任何所需要的方式進行結合。例如，該示圖顯示了處理模塊280a，包括編碼器和符號映射器220 以及其內所有相關的相應元件，并且顯示了處理模塊280b，包括度量發生器270和解碼器 280以及其內所有相關的相應元件。這種處理模塊280a和280b可為各自的集成電路。當然，在不背離本發明的范圍和精神的情況下，可交替地執行其他界限和集聚。例如，發射器 297內的所有元件可包含在第一處理模塊或集成電路內，并且接收器298內的所有元件可包含在第二處理模塊或集成電路內。或者，在其他實施方式中，可對每個發射器297和接收器298內的元件進行任何其他組合。
與上述實施方式一樣，這種通信系統200可用于傳送視頻數據，將視頻數據從一個位置或子系統中傳送到另一個位置或子系統中(例如，通過通信信道299從發射器297傳送至接收器298)。
以下圖3A至圖3H中所述的任何不同裝置可進行數字圖像和/或媒介的數字圖像和/或視頻處理，從而允許用戶觀看這種數字圖像和/或視頻。這些不同的裝置不包括詳細的裝置清單，在該清單內，可實行本文中所述的圖像和/或視頻處理，并且要注意的是， 在不背離本發明的范圍和精神的情況下，可使用任何通用數字圖像和/或視頻處理裝置， 以便進行本文中所述的處理。
圖3A示出了計算機301的一個實施方式。計算機301可為臺式計算機、或主機的企業儲存裝置(例如服務器)，主機連接到儲存陣列，例如，獨立磁盤冗余陣列(RAID)、儲存路由器、邊界路由器、儲存開關和/或儲存導向器。用戶能夠依然使用計算機301觀看數字圖像和/或視頻(例如，一系列數字圖像)。通常，計算機301上包含各種圖像和/或視頻查看程序和/或媒介播放器程序，從而允許用戶觀看這種圖像(包括視頻)。
圖3B示出了膝上型計算機302的一個實施方式。這種膝上型計算機302可位于并且用于任何多種環境中。近年來，隨著膝上型計算機內處理能力和功能的日益增長，在本應使用先前高端的并且更強大的臺式計算機的多種情況下，使用膝上型計算機。與計算機 301 一樣，膝上型計算機302可包括各種圖像查看程序和/或媒介播放器程序，從而允許用戶觀看這種圖像(包括視頻)。
圖3C示出了高清晰度(HD)電視303的一個實施方式。很多HD電視303包括集成調諧器，從而允許接收和處理其上的媒介內容(例如，電視廣播信號)并且對其解碼。或者，有時，HD電視303從另一個源中接收媒介內容，例如，接收和處理電纜和/或衛星電視廣播信號并且將其解碼的數字視頻光盤(DVD)播放器、機頂盒(STB)。無論是否進行特定的使用，都可使用HD電視303，從而如本文中所述，進行圖像和/或視頻處理。一般而言，HD 電視303能夠顯示HD媒介內容，并且通常用作具有16 9的寬屏縱橫比。
圖3D示出了標準清晰度(SD)電視304的一個實施方式。當然，SD電視304與HD 電視303略相似，至少一個差別在于，SD電視304不能顯示HD媒介內容，并且SD電視304 通常用作具有4 :3的全屏縱橫比。盡管如此，甚至可使用SD電視304，進行本文中所述的圖像和/或視頻處理。
圖3E不出了手持式媒介設備305的一個實施方式。手持式媒介設備305可用于提供通用儲存或圖像和/或視頻內容信息儲存，例如，聯合圖像專家組(JPEG)文件、標記圖像文件格式(TIFF)、位圖、運動圖像專家組(MPEG)文件、Windows Media (WMA/WMV)文件、為用戶回放的MPEG4文件等其他類型的視頻內容、和/或可儲存在數字格式內的任何其他類型的信息。過去，這種手持式媒介設備主要用于儲存和回放音頻媒介；然而，這種手持式媒介設備305可用于儲存和回放任何虛擬的媒介(例如，音頻媒介、視頻媒介、攝影媒介等等)。 而且，這種手持式媒介設備305也可包括其他功能，例如集成通信電路，用于進行有線和無線通信。這種手持式媒介設備305可用于進行本文中所述的圖像和/或視頻處理。
圖3F示出了機頂盒(STB)306的一個實施方式。如上所述，有時，STB 306可用于接收和處理提供給任何合適的顯示功能裝置(例如，SD電視304和/或HD電視303)的電纜和/或衛星電視廣播信號并且將其解碼。這種STB 306可單獨操作或與這種顯示功能裝置共同操作，從而進行本文中所述的圖像和/或視頻處理。
圖3G示出了數字視頻光盤(DVD)播放器307的一個實施方式。在不背離本發明的范圍和精神的情況下，這種DVD播放器可為藍光DVD播放器、HD功能DVD播放器、SD功能DVD播放器、上采樣功能DVD播放器(例如，從SD到HD等等)。DVD播放器可將信號提供給任何合適的顯示功能裝置，例如，SD電視304和HD電視303。DVD播放器305可用于進行本文中所述的圖像和/或視頻處理。
圖3H示出了通用數字圖像和/或視頻處理裝置308的一個實施方式。再次，如上所述，上述這些不同的裝置不包括詳細的裝置清單，在該清單內，可實行本文中所述的圖像和/或視頻處理，并且要注意的是，在不背離本發明的范圍和精神的情況下，可使用任何通用數字圖像和/或視頻處理裝置308，以便進行本文中所述的圖像和/或視頻處理。
圖4、圖5和圖6為分別示出視頻編碼結構的各種實施方式400、500和600的示圖。
參考圖4的實施方式400，該圖中可見，輸入視頻信號由視頻編碼器接收。在某些實施方式中，輸入視頻信號包括編碼單元(CU)或宏塊(MB)。這種編碼單元或宏塊的尺寸可不同，并且可包括通常設置為方形的多個像素。在一個實施方式中，這種編碼單元或宏塊的尺寸為16X16像素。然而，通常要注意的是，宏塊的可具有任何所需要的尺寸，例如，NXN 像素，其中N為整數。當然，雖然在優選的實施方式中使用方形編碼單元或宏塊，但是某些實施方式可包括非方形編碼單元或宏塊。
輸入視頻信號通常可與原始幀(或畫面)圖像數據對應。例如，原始幀(或畫面)圖像數據可進行處理，從而生成亮度和色度樣品。在某些實施方式中，宏塊內的這組亮度樣品具有一個特定的設置(例如，16X16)，并且這組色度樣品具有一個不同的特定的設置(例如，8X8)。根據本文中所述的實施方式，視頻編碼器逐塊處理這種樣品。
然后，輸入視頻信號進行模式選擇，通過該選擇，輸入視頻信號選擇性地進行幀內和/或幀間預測處理。一般而言，輸入視頻信號沿著壓縮路徑進行壓縮。未使用反饋(例如， 未根據幀間預測或幀內預測)進行操作時，通過壓縮路徑提供輸入視頻信號，從而進行變換操作(例如，根據離散余弦變換(DCT))。當然，可選的實施方式中也可使用其他的變換，在該操作模式中，壓縮輸入視頻信號本身。在進行壓縮時，壓縮路徑可利用人眼缺乏高頻率敏感度這一事實。
然而，通過選擇性使用幀間或幀內預測視頻編碼，可沿著壓縮路徑使用反饋。根據反饋或預測的操作模式，該壓縮路徑在(能量較低)剩余物(例如，差值)上進行操作，從當前宏塊中減去當前宏塊的預測值，得出該剩余物。根據在指定的情況下使用哪種形式的預測， 基于這種幀(或畫面)的至少一部分或基于至少一個其他幀(或畫面)的至少一部分，生成當前宏塊和該宏塊的預測值之間的剩余物或差值。
然后，所生成的修改視頻信號沿著壓縮路徑進行變換操作。在一個實施方式中，離散余弦變換(DCT)在一組視頻樣品(例如，亮度、色度、剩余物等等)上進行操作，從而計算預定數量的基礎模式中每個模式各自的系數值。例如，一個實施方式包括64個基函數(例如，用于8X8樣品)。一般而言，不同的實施方式可使用不同數量的基函數(例如，不同的變換)。各個基函數(包括其合適的和選擇性的加權)的任意組合可用于表示指定的一組視頻樣品。在與視頻編碼相關的技術文獻(包括如上所述通過引用并入的那些標準/草案標準) 中，描述與進行變換操作的各種方法相關的額外的細節。變換處理的輸出包括各自的這種系數值。將該輸出提供給量化器。
一般而言，大部分圖像塊通常會產生系數(例如，在根據離散余弦變換(DCT)進行操作的一個實施方式中的DCT系數)，從而最相關的DCT系數具有更低的頻率)。正因如此， 并且由于人眼對高頻視覺效果具有較差的敏感度，所以量化器可操作，從而將大部分不太相關的系數變換成零值。即，根據量化過程，可消除相對貢獻低于某個預定值(例如，某個閾值)的那些系數。量化器也可操作，從而將重要的系數變換成可編碼的值，與變換過程中獲得的那些系數相比，該變換更有效。例如，由整數值分割每個系數并且丟棄任何剩余物，從而該量化過程可進行操作。在普通的編碼單元或宏塊上進行操作時，這種步驟通常產生數量較少的非零系數，然后，根據反饋路徑，可將這些非零系數傳送給熵編碼器，以便進行無損編碼和使用，根據視頻編碼，該反饋路徑可選擇幀內預測和/或幀間預測處理。
熵編碼器根據無損壓縮編碼處理進行操作。相比之下，量化操作通常有損。熵編碼處理在量化處理所提供的系 數上進行操作。那些系數可表示各種特征(例如，亮度、色度、 剩余物等等)。熵編碼器可使用各種編碼。例如，熵編碼器可進行基于上下文的自適應二進制算術編碼(CABAC)和/或基于上下文的自適應可變長編碼(CAVLC)。例如，根據至少一部分熵編碼方案，將數據變換成(列、行)配對(例如，數據14、3、O、4、O、O、-3會變換成各個(列、 行)對(0，14)，(0,3), (1,4), (2，-3))。可提前準備表格，為值對分配可變的長度編碼，所以將較短的長度編碼分配給比較常見的值對，并且將較長的長度編碼分配給不太常見的值對。
讀者會理解的是,反量化和反變換操作分別對應于量化和變換操作。例如,在變換操作內使用DCT的實施方式中，反DCT (IDCT)用于反變換操作內。
圖像緩沖器或者稱為數字圖像緩沖器或DPB，從IDCT模塊中接收信號；圖像緩沖器進行操作，從而儲存當前幀(或圖像)和/或一個或多個其他的幀(或圖像)，例如根據幀內預測和/或幀間預測操作可使用這些幀，根據視頻編碼可進行這種預測操作。要注意的是， 根據幀內預測，較小的儲存量足以，這是因為，無需在幀(或圖像)序列內儲存當前幀(或圖像)或任何其他的幀(或圖像)。根據視頻編碼進行幀間預測時，可使用這種儲存的信息，進行運動補償和/或運動估計。
在一個可能的實施方式中，為了進行運動估計，在幀(或圖像)序列內，將當前幀 (或圖像)的各組亮度樣品(例如，16X 16)與其他幀(或圖像)內各個緩沖的對應物進行比較(例如，根據幀間預測)。在一個可能的實施方式中，定位最近的匹配區域(例如，預測參考)， 并且產生向量偏移(例如，運動向量)。在單個幀(或圖像)內，可具有多個運動向量，并且并非所有的運動向量需要指向相同的方向。根據運動估計所進行的一個或多個操作進行操作，從而生成一個或多個運動向量。
運動彌補進行操作，從而使用一個或多個運動向量，根據運動估計可生成這些運動向量。識別并傳輸預測參考樣品組，希望試圖生成比較(例如，理想地，非常地)低的殘余能量時，從原始輸入視頻信號中減去預測參考樣品組。如果這種操作不會產生更低的殘余能量，那么不需要進行運動補償，并且變換操作可僅僅在原始輸入視頻信號上進行操作，而不在剩余物上進行操作(根據以下操作模式將輸入視頻信號直接提供給變換操作，從而不進行幀內預測或幀間預測)，或者可使用幀內預測，并且在幀間預測產生的剩余物上進行變換操作。同樣，如果運動估計和/或運動補償操作成功，那么可將運動向量與相應的剩余物的系數一起發送給熵編碼器，用于進行無損熵編碼。
整個視頻編碼操作的輸出為輸出比特流。要注意的是，通過生成可通過通信信道發送的連續時間信號，這種輸出比特流當然可進行某種操作。例如，某些實施方式在無線通信系統內進行操作。在這種情況下，輸出比特流可進行適當的數模變換、頻率變換、縮放、過濾、調制、符號映射、和/或無線通信裝置內的任何其他的操作，進行這些操作，以便生成通過通信信道能夠發送的連續時間信號，等等。
參考圖5的實施方式500，在該圖中可見，輸入視頻信號由視頻編碼器接收。在某些實施方式中，輸入視頻信號包括編碼單元或宏塊(和/或可分成編碼單元(CU))。這種編碼單元或宏塊的尺寸可不同，并且可包括通常設置為方形的多個像素。在一個實施方式中， 這種編碼單元或宏塊的尺寸為16X16像素。然而，通常要注意的是，宏塊的可具有任何所需要的尺寸，例如，NXN像素，其中N為整數。當然，雖然在優選的實施方式中使用方形編碼單元或宏塊，但是某些實施方式可包括非方形編碼單元或宏塊。
輸入視頻信號通常被認為可與原始幀(或畫面)圖像數據對應。例如，原始幀(或畫面)圖像數據可進行處理，從而生成亮度和色度樣品。在某些實施方式中，宏塊內的亮度樣品組(a set ofluma sample)具有一個特定的設置(例如，16X 16),并且這組色度樣品具有一個不同的特定的設置(例如，8X8)。根據本文中所述的實施方式，視頻編碼器逐塊處理這種樣品。
然后，輸入視頻信號進行模式選擇，通過該選擇，輸入視頻信號選擇性地進行幀內和/或幀間預測處理。一般而言，輸入視頻信號沿著壓縮路徑進行壓縮。未使用反饋(例如， 未根據幀間預測或幀內預測)進行操作時，通過壓縮路徑提供輸入視頻信號，從而進行變換操作(例如，根據離散余弦變換(DCT))。當然，可選的實施方式中也可使用其他的變換，在該操作模式中，壓縮輸入視頻信號本身。在進行壓縮時，壓縮路徑可利用人眼缺乏高頻率敏感度這一事實。
然而，通過選擇性使用幀間或幀內預測視頻編碼，可沿著壓縮路徑使用反饋。根據反饋或預測的操作模式，該壓縮路徑在(能量較低)剩余物(例如，差值)上進行操作，從當前宏塊中減去當前宏塊的預測值，得出該剩余物。根據在指定的情況下使用哪種形式的預測， 基于這種幀(或畫面)的至少一部分或基于至少一個其他幀(或畫面)的至少一部分，生成當前宏塊和該宏塊的預測值之間的剩余物或差值。
然后，所生成的修改視頻信號沿著壓縮路徑進行變換操作。在一個實施方式中，離散余弦變換(DCT)在一組視頻樣品(例如，亮度、色度、剩余物等等)上進行操作，從而計算預定數量的基礎模式中每個模式各自的系數值。例如，一個實施方式包括64個基函數(例如，用于8X8樣品)。一般而言，不同的實施方式可使用不同數量的基函數(例如，不同的變換)。各個基函數(包括其合適的和選擇性的加權)的任意組合可用于表示指定的一組視頻樣品。在與視頻編碼相關的技術文獻(包括如上所述通過引用并入的那些標準/草案標準) 中，描述與進行變換操作的各種方法相關的額外的細節。變換處理的輸出包括各自的這種系數值。將該輸出提供給量化器。
一般而言，大部分圖像塊通常會產生系數(例如，在根據離散余弦變換(DCT)進行操作的一個實施方式中的DCT系數)，從而最相關的DCT系數具有更低的頻率)。正因如此， 并且由于人眼對高頻視覺效果具有較差的敏感度，所以量化器可操作，從而將大部分不太相關的系數變換成零值。即，根據量化過程，可消除相對貢獻低于某個預定值(例如，某個閾值)的那些系數。量化器也可操作，從而將重要的系數變換成可編碼的值，與變換過程中獲得的那些系數相比，該變換更有效。例如，由整數值分割每個系數并且丟棄任何剩余物，從而該量化過程可進行操作。在普通的編碼單元或宏塊上進行操作時，這種步驟通常產生數量較少的非零系數，然后，根據反饋路徑，可將這些非零系數傳送給熵編碼器，以便進行無損編碼和使用，根據視頻編碼，該反饋路徑可選擇幀內預測和/或幀間預測處理。
熵編碼器根據無損壓縮編碼處理進行操作。相比之下，量化操作通常有損。熵編碼處理在量化 處理所提供的系數上進行操作。那些系數可表示各種特征(例如，亮度、色度、 剩余物等等)。熵編碼器可使用各種編碼。例如，熵編碼器可進行基于上下文的自適應二進制算術編碼(CABAC)和/或基于上下文的自適應可變長編碼(CAVLC)。例如，根據至少一部分熵編碼方案，將數據變換成(列、行)配對(例如，數據14、3、O、4、O、O、-3會變換成各個(列、 行)對(0，14)，(0,3),(1,4), (2，-3))。可提前準備表格，為值對分配可變的長度編碼，所以將較短的長度編碼分配給比較常見的值對，并且將較長的長度編碼分配給不太常見的值對。
讀者會理解的是,反量化和反變換操作分別對應于量化和變換操作。例如,在變換操作內使用DCT的實施方式中，反DCT (IDCT)用于反變換操作內。
在某些可選的實施方式中，將解除閉塞濾波器的輸出提供給一個或多個其他的環路內濾波器(例如，根據樣品自適應偏置(SAO)濾波器、自適應環路濾波器(ALF)、和/或任何其他的濾波器類型進行使用)，使用這些濾波器處理反變換模塊的輸出。
例如，這種自適應環路濾波器(ALF)可用于處理解除閉塞濾波器的輸出，或者這種ALF可用于處理首先從解除閉塞濾波器中接收輸出的樣品自適應偏置(SAO)濾波器的輸出。儲存在畫面緩沖器(有時稱為DPB、數字畫面緩沖器)內之前，這種自適應環路濾波器 (ALF)可用于解碼的畫面中。自適應環路濾波器(ALF)可用于減少解碼畫面的編碼噪音，并且無論是否逐片或逐塊使用自適應環路濾波器(ALF)，都可逐片地將其過濾選擇性用于亮度和色度中。使用自適應環路濾波器(ALF)時，可使用二維2-D有限脈沖響應(FIR)。在編碼器處可逐塊設計濾波器的系數，并且然后，將這種信息用信號發送給解碼器(從包括視頻編碼器(或者稱為編碼器)的發射器通信裝置中用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置中)。
一個實施方式進行操作，根據Wiener過濾設計，生成系數。此外，無論是否進行過濾，都在編碼器處逐塊使用，并且然后，根據四叉樹結構，將這種決定用信號發送給解碼器 (例如，從包括視頻編碼器(或者稱為編碼器)的發射器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置中)，其中，根據率失真優化，決定該塊體的尺寸。 要注意的是，使用這種2-D過濾進行實施，通過編碼和解碼，會產生一定程度的復雜性。例如，根據和使用自適應環路濾波器(ALF)，使用2-D過濾，在發射器通信裝置內使用的編碼器以及在接收器通信裝置內使用的解碼器內，會稍微增大復雜性。
相對于一種環路內濾波器，使用自適應環路濾波器(ALF)，可根據這種視頻處理， 提供大量的改進，包括通過隨機去除量化噪音，由峰值信噪比(PSNR)提高客觀質量測量。 此外，通過亮度補償，可實現隨后編碼的視頻信號的主觀質量，通過根據自適應環路濾波器 (ALF)進行偏置處理和縮放處理(例如，通過應用增益)，可產生這種亮度補償。·
圖像緩沖器或者稱為數字圖像緩沖器或DPB，從ALF中接收信號輸出；圖像緩沖器進行操作，從而儲存當前幀(或圖像)和/或一個或多個其他的幀(或圖像)，例如根據幀內預測和/或幀間預測操作可使用這些幀，根據視頻編碼可進行這種預測操作。要注意的是，根據幀內預測，較小的儲存量足以，這是因為，無需在幀(或圖像)序列內儲存當前幀(或圖像) 或任何其他的幀(或圖像)。根據視頻編碼進行幀間預測時，可使用這種儲存的信息，進行運動補償和/或運動估計。
在一個可能的實施方式中，為了進行運動估計，在幀(或圖像)序列內，將當前幀 (或圖像)的各組亮度樣品(例如，16X 16)與其他幀(或圖像)內各個緩沖的對應物進行比較 (例如，根據幀間預測)。在一個可能的實施方式中，定位最近的匹配區域(例如，預測參考)， 并且產生向量偏移(例如，運動向量)。在單個幀(或圖像)內，可具有多個運動向量，并且并非所有的運動向量需要指向相同的方向。根據運動估計所進行的一個或多個操作進行操作，從而生成一個或多個運動向量。
運動彌補進行操作，從而使用一個或多個運動向量，根據運動估計可生成這些運動向量。識別并傳輸預測參考樣品組，希望試圖生成比較(例如，理想地，非常地)低的殘余能量時，從原始輸入視頻信號中減去預測參考樣品組。如果這種操作不會產生更低的殘余能量，那么不需要進行運動補償，并且變換操作可僅僅在原始輸入視頻信號上進行操作，而不在剩余物上進行操作(根據以下操作模式將輸入視頻信號直接提供給變換操作，從而不進行幀內預測或幀間預測)，或者可使用幀內預測，并且在幀間預測產生的剩余物上進行變換操作。同樣，如果運動估計和/或運動補償操作成功，那么可將運動向量與相應的剩余物的系數一起發送給熵編碼器，用于進行無損熵編碼。
整個視頻編碼操作的輸出為輸出比特流。要注意的是，通過生成可通過通信信道發送的連續時間信號，這種輸出比特流當然可進行某種操作。例如，某些實施方式在無線通信系統內進行操作。在這種情況下，輸出比特流可進行適當的數模變換、頻率變換、縮放、過濾、調制、符號映射、和/或無線通信裝置內的任何其他的操作，進行這些操作，以便生成通過通信信道能夠發送的連續時間信號，等等。
參考圖6的實施方式600，該圖描述了視頻編碼器的可選實施方式，這種視頻編碼器執行預測、變換以及編碼處理，從而產生壓縮的輸出比特流。這種視頻編碼器可根據一個或多個視頻編碼協議、標準和/或推薦做法例如，IS0/IEC 14496-10 - MPEG-4部分10，AVC(高級視頻編碼)，可選地被稱為H. 264/MPEG-4部分10或AVC (高級視頻編碼)、ITUH. 264/ MPEG4-AVC，進行操作并且與它們相符。
應注意的是，相應的視頻解碼器例如在通信信道的另一端位于裝置內，其用于進行解碼、反變換和重新構成的補償處理，從而產生各個解碼的視頻序列，該視頻序列(理想地)表示輸入視頻信號。
該圖中可見，可使用可選的裝置和結構，用于進行視頻編碼。一般而言，編碼器處理輸入視頻信號(例如，在單位上通常由編碼單元或宏塊構成，通常為方形并且其內包括 NXN像素)。視頻編碼根據先前編碼的數據確定當前宏塊的預測。這個先前編碼的數據可來自當前幀(或圖像)本身(例如，根據幀內預測)或來自已經編碼的(例如，根據幀間預測) 一個或多個其他幀(或圖像)。視頻編碼器減去當前宏塊的預測，從而構成剩余物。
—般而言,幀內預測進行操作,從而使用一個或多個特定尺寸(例如，16 X 16、8 X 8 或4X4)的塊體尺寸，在相同幀(或圖像)內從周圍先前編碼的像素中預測當前宏塊。一般而言，幀間預測進行操作，以便使用一系列塊體尺寸(例如，16X16向下到4X4)，從選自一個或多個先前編碼的幀(或畫面)內的區域中，預測當前幀(或圖像)內的像素。
對于變換和量化操作，剩余樣品的塊體可使用特定的變換(例如，4X4或8X8)進行變換。這種變換的一個可能實施方式根據離散余弦變換(DCT)進行操作。變換操作輸出一組系數，從而每個系數對應于與變換相關的一個或多個基函數的各個權重值。進行變換之后，將變換系數的塊體量化(例如，每個系數可由整數值分割，并且可丟棄任何相關的剩余物，或者可乘以整數值)。量化處理通常本質上有損，并且根據量化參數(QP)可降低變換系數的精度。通常，與指定宏塊相關的多個系數為零，并且僅僅剩下一些非零系數。通常， 較高的QP設置進行操作，以 便產生更大比例的零值系數以及更小幅度的非零值系數，在解碼的圖像質量較差的情況下，具有較高的壓縮(例如，較低的編碼比特率);較低的QP設置進行操作，從而允許量化后具有更多的非零系數以及更大幅度的非零系數，導致在具有較好的解碼圖像質量時，具有較低的壓縮(例如，較高的編碼比特率)。
視頻編碼處理產生大量的值，將這些值進行編碼，從而形成壓縮的比特率。這種值的實例包括量化的變換系數、解碼器用于重新產生適當的預測的信息、有關編碼過程中使用的壓縮數據和壓縮工具的結構的信息、有關整個視頻序列的信息等。在根據CABAC、CAVLC 或某個其他的熵編碼方案進行操作的熵編碼器內，這種值和/或參數(例如，語法元素)可進行編碼，以便產生可存儲、發射的輸出比特流(例如，進行適當的處理，生成與通信信道一致的連續時間信號之后)等。
在使用反饋路徑進行操作的一個實施方式中，變換和量化輸出進行反量化和反變換。根據視頻編碼，可進行幀內預測和/或幀間預測。同樣，根據這種視頻編碼，可進行運動補償和/或運動估計。
將從反量化和反變換(IDCT)塊體中輸出的信號路徑提供給幀內預測塊體，同樣也提供給解除閉塞濾波器。將解除閉塞濾波器的輸出提供給一個或多個其他環路內濾波器(例如，根據自適應環路濾波器(ALF)、樣品自適應偏置(SAO)濾波器、和/或任何其他的濾波器類型進行使用)，使用這些濾波器處理反變換模塊的輸出。例如，在一個可能的實施方式中，儲存在畫面緩沖器(再次，有時可選地稱為DPB、數字畫面緩沖器)內之前，ALF可用于解碼的畫面中。該ALF可用于減少解碼畫面的編碼噪音，并且無論是否逐片或逐塊使用ALF，都可逐片地將其過濾選擇性用于亮度和色度中。使用ALF時，可使用二維2-D有限脈沖響應(FIR)。在編碼器處可逐塊設計濾波器的系數，并且然后，將這種信息用信號發送給解碼器(從包括視頻編碼器(或者稱為編碼器)的發射器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置中)。
一個實施方式根據Wiener過濾設計，生成系數。此外，無論是否進行過濾，都在編碼器處逐塊使用，并且然后，根據四叉樹結構，將這種決定用信號發送給解碼器(例如，從包括視頻編碼器(或者稱為編碼器)的發射器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置中)，其中，根據率失真優化，決定該塊體的尺寸。要注意的是， 使用這種2-D過濾進行實施，通過編碼和解碼，會產生一定程度的復雜性。例如，根據和使用ALF，使用2-D過濾，在發射器通信裝置內使用的編碼器以及在接收器通信裝置內使用的解碼器內，會稍微增大復雜性。
如其他實施方式中所述，使用ALF，可根據這種視頻處理，提供大量的改進，包括通過隨機去除量化噪音，由峰值信噪比(PSNR)提高客觀質量測量。此外，通過亮度補償，可實現隨后編碼的視頻信號的主觀質量，通過根據ALF進行偏置處理和縮放處理(例如，根據應用增益的FIR過濾)，可產生這種亮度補償。
對于用于生成輸出比特流的任何視頻編碼器結構而言，要注意的是，在多個通信裝置內的任何裝置內，可使用這種結構。輸出比特流可進行額外的處理，包括誤差校正碼 (ECC)、向前糾錯(FEC)等等，從而生成其內具有額外冗余協議的經修改的輸出比特流。同樣，這種數字信號可理解的是，通過生成適合于或適用于通過通信信道進行傳輸的連續時間信號，可進行任何適當的處理。即，在通信裝置內可使用這種視頻編碼器結構，該通信裝置進行操作，以便通過一個或多個通信信道傳輸一個或多個信號。在這種視頻編碼器結構所生成的輸出比特流上，可進行額外的處理，從而生成連續時間信號，可將該信號發送到通信信道內。
圖7是示出了幀內預測處理的一個實施方式700的示圖。從該圖中可看出，視頻數據的當前塊體(例如，通常為方形并且通常包括NXN像素)進行處理，從而估計其內的各個像素。根據這種幀內預測，使用位于當前塊體的上面以及左邊的先前編碼的像素。從某些角度來看，可將幀內預測視為與向量對應，該向量從當前像素延伸到位于當前塊體的上面以及左邊的參考像素。在相應的標準內規定用于根據H. 264/AVC進行編碼的幀內預測的細節(例如，國際電信聯盟，ITU-T, TELECOMMUNICAT10NSTANDARDIZATI ON SECTOR OF ITU, H. 264 (03/2010), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS，視聽業務的基礎設施-移動視頻編碼，為通用視聽業務進行高級視頻編碼，Recommendation ITU-T H. 264， 也或者稱為 International Telecomm IS0/IEC 14496-10 - MPEG-4 第 10 部分，AVC (高級視頻編碼)，H. 264/MPEG-4第10部分或AVC (高級視頻編碼)，ITU H. 264/MPEG4-AVC，或等同物)，上面通過引用包含該標準。
該剩余物為當前像素和參考或預測像素之間的差值，將該剩余物進行編碼。從該圖中可見，在共同幀(或圖像)內，幀內預測使用像素進行操作。當然要注意的是，指定的像素可具有與其相關的不同的元件，并且可具有不同的幾組樣品，用于每個元件。
圖8是示出了幀間預測處理的一個實施方式800的示圖。與幀內預測相比，幀間預測進行操作，從而在當前幀(或畫面)內根據當前的一組像素以及在幀(或畫面)序列內根據一個或多個其他幀(或畫面)內的一組或多組參考或預測像素，識別運動向量(例如，幀間預測方向)。可見，運動向量在幀(或畫面)序列內從當前幀(或畫面)延伸到另一幀(或畫面)。 幀間預測可使用子像素插值，從而預測像素值對應于參考幀或圖像內多個像素的函數。
雖然這種剩余物與根據幀內預測處理計算的剩余物不同，但是根據幀間預測處理可計算剩余物。根據幀內預測處理，每個像素處的剩余物再次對應于當前像素和預測的像素值之間的差值。然而，根據幀間預測處理，當前像素和參考或預測像素不位于相同的幀 (或圖像)內。雖然該圖顯示了一個或多個先前幀或畫面使用的幀間預測，但是要注意的是， 使用與當前幀之前和/或之后的幀對應的參考，可選的實施方式可進行操作。例如，根據適當的緩沖和/或存儲器管理，可儲存大量的幀。在指定幀上進行操作時，通過該指定幀之前和/或之后的其他幀，可生成參考。
與CU耦合，基本單元可用于預測分割模式，即，預測單元或PU。還要注意的是，限定PU，僅僅用于最后一個深度CU，并且其尺寸限于該CU的尺寸。
圖9和圖10為分別示出了視頻解碼結構的各種實施方式900和1000的示圖。
一般而言，這種視頻解碼結構在輸入比特流上進行操作。當然，要注意的是，通過通信裝置從通信信道中接收的信號，可生成這種輸入比特流。在從通信信道中接收的連續時間信號上，可進行各種操作，包括數字取樣、解調制、縮放、過濾等等，例如，通過生成輸入比特流，這些操作可適合。而且，在某些實施方式中，可執行一種或多種誤差校正碼(ECC)、 向前糾錯(FEC)等，這些實施方式可根據這種ECC、FEC等等進行適當的解碼，從而生成輸入比特流。即，在某些實施方式中，通過生成相應的輸出比特流(例如，可從發射器通信裝置或從收發器通信裝置的發射器部分發送的輸出比特流)，可產生額外的冗余，通過生成輸入比特流，可進行適當的處理。總之，這種視頻解碼結構用于處理輸入比特流，從而生成輸出視頻信號，該信號盡可能密切地并且在理想的情況下完全地與原始輸入視頻信號對應，用于輸出到一個或多個視頻顯示功能裝置中。
參考圖9的實施方式900，一般而言，通過執行在視頻編碼器結構內執行的編碼互補處理，熵解碼器等解碼器(根據CABAC、CAVLC等等可執行的解碼器)處理輸入比特流。輸入比特流盡可能密切地并且在理想的情況下完全地可視為視頻編碼器結構所生成的壓縮輸出比特流。當然，在實際應用中，在通過一個或多個通信鏈路發送的信號內可能產生某些誤差。熵解碼器處理輸入比特流并且獲取合適的系數，例如DCT系數(例如，表示色度、亮度等信息)，并且將這種系數提供給反量化和反變換塊體。使用DCT變換時，反量化和反變換塊體可用于進行反DCT (IDCT)操作。然后，A/D閉塞濾波器用于生成與輸出視頻信號相應的各個幀和/或畫面。這些幀和/或畫面可提供給畫面緩沖器或數字畫面緩沖器(DPB)，用于執行其他操作，包括運動補償。一般而言，這種運動補償操作可視為對應于與視頻編碼相關的幀間預測。同樣，也可在反量化和反變換塊體中輸出的信號上進行幀內預測。與視頻編碼相似，通過將輸入比特流解碼，在未對其進行幀內預測或幀間預測、對其進行幀內預測或進行幀間預測之間，這種視頻解碼器結構可用于執行模式選擇，從而生成輸出視頻信號。
參考圖10的實施方式100，在某些優選的實施方式中，根據用于生成輸出比特流的視頻編碼，可使用一個或多個環路內濾波器(例如，根據樣品自適應偏置(SAO)濾波器、自適應環路濾波器(ALF)、和/或任何其他的濾波器類型進行使用)，并且在視頻解碼器結構內相應地使用一個或多個環路內濾波器。在一個實施方式中，在解除閉塞之后，適當地使用一個或多個這種環路內濾波器。圖11示出了遞歸編碼單元(⑶)結構的一個實施方式1100。高性能視頻編碼(HEVC)為目前正在研發的下一代視頻壓縮標準。在某些業內人士看來，HEVC標準似乎是H. 264/MPEG4-AVC(或者稱為AVC)的延續，參考上文并且通過引用的方式包含在上文中。通過根據目前正在研發的HEVC標準進行視頻編碼，使用編碼單元或CU進行操作，作為基本單元，該基本單元通常具有方形，并且根據AVC，其對等物為宏塊(MB)。從某些角度來看，⑶與MB以及AVC內相應的子宏塊(SMB)具有類似的操作目的和作用。然而，進行視頻編碼所使用的這兩個元件之間具有至少一個不同之處，⑶可具有多個不同尺寸中的任一個尺寸，各個尺寸沒有特別的區別。相對于CU，即，最大的編碼單元(LCU)和最小的容量單元(SCU)，將根據目前正在研發的HEVC標準執行的視頻通話術語限定為特定的術語。根據視頻編碼，使用多個非重疊的IXU表示畫面。由于假設將⑶限制為方形，所 以LCU內的CU結構可表示成遞歸樹示圖，如圖11中所示。即，CU的特征在于在LCU內具有該LCU所屬的相應LCU尺寸和分級深度。一旦在圖11中檢測了樹分裂處理，則為未進一步分離的每個CU規定不同的預測編碼方法。換言之，CU分級樹可包括多個葉節點，每個葉節點對應于各個樹分離處理，該處理用于與畫面對應的各個⑶。根據視頻編碼，尤其相對于P和B切片，通過視頻編碼，每個CU可使用幀內預測或幀間預測。例如，如下圖以及圖7和圖8中所述，幀間預測編碼進行操作，從而參考相鄰幀，而幀內預測編碼進行操作，從而參考空間上相鄰的像素或共同定位的彩色兀件。圖12示出了預測單元(PU)模式的實施方式1200。圖12尤其示出了 PU分割模式，分別用于具有尺寸2NX2N的⑶。NXN I3U與其他PU模式不同，并且僅存在于S⑶內或最小的⑶內。根據目前正在研發的HEVC標準，使用不同的切片類型，即，I切片、P切片、以及B切片。一般而言，I幀進行操作使得例如根據預測，僅相對于該特定的幀進行處理(例如，I幀僅僅相對于其本身進行預測)。P切片使用僅一個參考列表而非各個參考列表進行操作。一般而言，對于P切片而言，根據運動補償，在幀序列的僅一個方向或單方向上進行預測。可在任何方向上根據P切片進行這種預測，但是在指定的時間僅僅使用一個方向。同樣，再次在幀序列的任一個方向，每次僅對一個幀進行P切片的預測。一般而言，相對于B切片，可根據沿幀序列的兩個方向進行預測。可在幀序列的兩個方向同時使用例如根據運動補償的預測，使得除了當前幀，根據這種運動補償，還可使用至少兩個幀的信息。例如，考慮在先前幀I和后面的幀3之間插入當前幀2 :先前幀I可視為過去的幀，然而，后面的幀3可視為未來的幀或當前幀2之前的幀(例如，相對于幀序列)。可從先前幀I和/或后面的幀3中獲取信息，用于處理當前幀2。同樣，通過處理當前幀2，從那兩個其他的幀中，可插入或混合某些信息(例如，先前幀I的信息可插入或混合以下幀3的信息中)。同樣，相對于B切片，B切片可使用各個參考列表。通過使用B切片進行操作，使用單個語法元素(例如，如圖15中所示)，可將PU分割模式內的CU預測模式共同進行編碼。根據當前CU是否為最小的CU、SCU，使用二值化。例如，如果未使用最小的CU或SCU，則通過使用下面的圖13中所述的修改的二叉樹，可使用該二值化。
對于所使用的模式，將該信息發送給解碼器，從而可適當地了解信號塊體如何分割并且適當地處理根據這個特定的PU模式編碼的視頻信號。例如，根據將視頻信號進行編碼時所使用的特定的PU模式，將該信息提供給解碼器，從而該解碼器可適當地處理所接收的視頻信號并將其解碼。圖13示出了針對在一個實現方式中進行P切片編碼并且在另一實現方式中進行P切片和B切片編碼所采用的二叉樹的一個實施方式，包括二叉樹的修改。從該圖中可見，示出了表示二值化和PU分割符號的二叉樹。例如，與2NX2N對應的分割使用單個數位的碼字，S卩，I。與2NXN對應的分割使用兩個數位的碼字，S卩，01。與2NXN對應的分割使用三個數位的碼字，即，001，并且與NXN對應的分割使用三個數位的碼字，S卩，000。應當注意的是，可根據Huffman編碼來實施這種編碼，所以具有相應更低的概率的那些值具有較長的碼字，而具有相應更高的概率的那些值具有較短的碼字。可理解的是，根據這種Huff man編碼進行操作的系統可有效地使用較短的碼字，用于更頻繁發生的以及具有更大優勢的值。在某些實施方式中，不特別使用與NXN對應的分割，并且同樣，與表示Ms.的二叉樹相關的碼本可修改為僅包括三個條目。例如，在這種修改過的二叉樹內，與2NX2N對應的分割使用單個數位的碼字，即，I。同樣，與2NXN對應的分割使用兩個數位的碼字，SP，
01。與2NXN對應的分割使用兩個數位的碼字，S卩，00。可見，通過使用這種修改過的二叉樹，Huffman碼本可具有更高的使用效率。此外，如上所述，對于B切片而言，B切片可使用各個參考列表。通過使用B切片進行操作，使用一個語法元素對分割模式內的CU預測模式共同進行編碼(例如，如圖11中所示)。根據當前CU是否為最小的CU、SCU，使用二值化。例如，如果未使用最小的CU或SCU，則通過使用下面圖13中所述的修改過的二叉樹，可使用該二值化。在可選的實施方式中，圖13中所示的二叉樹用于B切片和P切片。S卩，在這種實施方式中，相同的二叉樹用于B切片和P切片。這種實施方式中可理解的是，B切片和P切片使用同一個二叉樹，可實現非常有效的實施方式，這是因為，僅單個碼本可用于處理B切片和P切片。換言之，在某些實施方式中，使用圖13中所示的二叉樹，可進行B切片編碼和P切片編碼(例如，同一個二叉樹用于B切片和P切片)。換言之，圖13的二叉樹主要用于在一個實施方式中進行P切片編碼，該二叉樹在可選的實施方式中可用于進行B切片編碼和P切片編碼。在這種實施方式中，單獨的語法元素可用于CU預測模式(進行幀間預測或幀內預測)以及PU分割模式。例如，第一語法元素可用于表示幀內預測處理或幀間預測處理，第二語法元素可用于表示CU分割形狀(例如，表示如何進行CU分裂和分割)。圖14示出了可用于在一個實施方式中進行B切片編碼以及在另一個實施方式中進行P和B切片編碼的二叉樹的實施方式1400。如上所述，對于B切片而言，B切片可使用各個參考清單。通過使用B切片進行操作，使用單個語法元素將分割模式內的CU預測模式共同進行編碼(例如，如圖14中所示)。在一個實施方式中，圖14中所示的二叉樹用于B切片，并且圖13和圖15的右手部分所示的修改過的二叉樹用于P切片。可理解的是，在這種實施方式中，與圖13的左手邊所示的I3U分割的二叉樹相比，通過更有效地使用修改過的二叉樹(例如，圖13和圖15的右手部分)，以較低的費用可更有效地進行視頻編碼。可理解的是，在該實施方式中，兩個不同的單獨的碼本分別用于B切片(例如，圖13和圖15的右手部分)以及P切片(例如，圖14)。在可選的實施方式中，圖14中所示的二叉樹用于B切片和P切片。S卩，在這種實施方式中，同一個二叉樹用于B切片和P切片。這種實施方式中可理解的是，使用用于B切片和P切片的同一個二叉樹，可實現非常有效的實施方式，這是因為，僅僅單個碼本可用于處理B切片和P切片。換言之，在某些實施方式中，使用圖14中所示的二叉樹，可進行B切片編碼和P切片編碼(例如，同一個二叉樹用于B切片和P切片)。換言之，圖14的二叉樹主要用于在一個實施方式中進行B切片編碼，該二叉樹在可選的實施方式中可用于進行B切片編碼和P切片編碼。圖15示出了可用于與圖9中一樣進行P切片編碼以及B切片編碼的二叉樹的實施方式1500。為了便于對讀者進行說明，圖15中再次用圖示出圖13的右手部分所示的修改過的二叉樹。在使用兩個不同的單獨的碼本的實施方式中，可使用這種修改過的二叉樹，這兩個碼本分別用于B切片(例如，圖13和圖15的右手部分)以及P切片(例如，圖14)。 本文中所述的各種實施方式和/或示圖中可理解的是，由于允許與NXN對應的分割僅僅用于最小的CU或SCU，所以各個分割不需要分別在底部水平和中間水平用于那些特定的CU中。對于P切片而言，碼字分配(或二叉樹結構/設計)用于與NXN對應的特定分割以及與NXN進入同一個分支內的分割尺寸(例如，在圖13內與NX 2N對應的分割中可見)，該碼字分配應取決于其水平。如果當前的CU并非明確地為最小的CU或SCU，那么圖13和圖15的右手部分所示的修改過的二叉樹應適當地并且有效地與各個不同的分割的碼字一致。因此，圖13的左手邊所示的二叉樹需要僅僅用于P切片內最小的⑶或S⑶中。SP，對于未明確地在P切片上進行操作的其他處理而言，可有效地減少和修改圖13的左手邊所示的二叉樹，從而生成圖13以及圖15的右手部分所示的修改過的二叉樹。同樣，也如上所述，根據目前正在研發的HEVC標準，B切片和P切片分別使用不同的碼字，用于不同的PU模式。根據P切片上的操作，使用單獨的語法元素，對CU預測模式(無論是執行幀間預測還是幀內預測)和PU分割模式進行編碼。然而，根據B切片上的操作，使用單個語法元素，對CU預測模式和分割模式共同進行編碼。在某些情況下，根據在其上操作P切片還是B切片，這個不同的處理可對語法分析造成額外的負擔。同樣，如上所述，使用二叉樹執行一個可能的實施方式，如圖14中所示，用于B切片和P切片。S卩，在這種實施方式中，同一個二叉樹用于B切片和P切片。這種實施方式中可理解的是，B切片和P切片使用同一個二叉樹，可實現非常有效的實施方式，這是因為，僅單個碼本可用于處理B切片和P切片。例如，這種實施方式僅僅使用同一個二叉樹進行操作，從而在這個特定的情況下統一處理B切片和P切片，并且也使用相同的方法發送⑶預測模式和PU分割模式。可執行一個可能的實施方式，從而CU預測模式(無論是執行幀間預測還是幀內預測)和PU分割模式分別在單獨的語法元素內進行編碼，用于P切片和B切片。可執行另一個可能的實施方式，從而CU預測模式(無論是執行幀間預測還是幀內預測)和PU分割模式共同在單獨的語法元素內進行編碼，用于P切片和B切片。本文中的各種實施方式和/或示圖中可理解的是，可使用特定的應用程序中需要的各種不同的實施方式。在某些情況下，使用圖14中所述的共同的二叉樹，統一進行處理，用于P切片和B切片。在其他情況下，兩個單獨實施的以及不同的二叉樹和碼本分別用于B切片和P切片時，并且尤其在未使用最小的CU或SCU (例如，當前的CU，而非SCU)時，圖13和圖15的右手部分所示的修改過的二叉樹可用于P切片，而圖14中所示的二叉樹可用于B切片。圖16A、16B、圖17A以及圖17B示出了通過視頻編碼所執行的方法的各種實施方式(例如，在一個或多個通信裝置內)。參考圖16A的方法1600，該方法1600通過操作視頻編碼器開始，以對輸入視頻信號編碼，從而生成輸出比特流，如方框1610內所示。方法1600繼續，根據生成輸出比特流而在視頻編碼器內使用單個二叉樹，以處理至少一個P切片和至少一個B切片，如方框1620內所示。參考圖16B的方法1601，該方法1601通過操作視頻編碼器開始，以對輸入視頻信號編碼，從而生成輸出比特流，如方框1611內所示。然后，方法1601進行操作，根據生成輸出比特流在視頻編碼器內針對至少一個P 切片和至少一個B切片使用單個二叉樹，以用單個語法元素對編碼單元(CU)預測和預測單元(PU)分割模式共同編碼，如方框1621內所示。參考圖17A的方法1700，該方法1700開始，操作視頻編碼器，以便對輸入視頻信號編碼，從而生成輸出比特流，如方框1710內所示。方法1700繼續，根據生成輸出比特流在視頻編碼器內針對至少一個P切片和至少一個B切片使用單個二叉樹，以用第一語法元素對編碼單元(CU)預測進行編碼，如方框1720內所示。然后，方法1700進行操作，根據生成輸出比特流在視頻編碼器內針對至少一個P切片和至少一個B切片使用單個二叉樹，以用第二語法元素對預測單元(PU)分割模式進行編碼，如方框1730內所示。如本文中的其他實施方式和/或示圖所述，單獨的語法元素可用于CU預測模式(無論是執行幀間預測還是幀內預測)以及分割模式。例如，第一語法元素可用于表示幀內預測處理或幀間預測處理，第二語法元素可用于表示CU預測形狀(例如，表如何執行CU分裂和分割)。參考圖17A的方法1701，該方法1701開始，操作視頻編碼器，以便將輸入視頻信號編碼，從而生成輸出比特流，如方框1711內所示。方法1701繼續，通過通信信道，將輸出比特流或輸出比特流中生成的或與輸出比特流對應的信號發送給視頻解碼器，如方框1721內所示。例如，在通信信道的發射器端，在某些實施方式中，輸出比特流可進行各種操作(例如，任何需要的模擬和/或數字操作，包括過濾、縮放、頻移、頻率變換、舍入、數模變換等等)，從而生成適合于和適用于通過通信信道傳輸的信號。即，輸出比特流可進行多種發射器前端處理操作(例如，在模擬前端(AFE)內)，包括調制、連續式時間信號生成等等，以便生成實際上通過通信信道發送的信號。在其他實施方式中，無需進行修改，實際上就可通過通信信道發送輸出比特流本身。然后，方法1701進行操作，操作視頻解碼器，從而將輸入比特流解碼(例如，穿過通信信道之后，輸出比特流或由輸出比特流生成的或對應于輸出比特流的信號)，以便生成輸出視頻信號(例如，重新生成輸入視頻信號)，如方框1731內所示。例如，同樣，在通信信道的發射器端，在某些實施方式中，要注意的是，在所接收的信號上可進行任何額外的處理(例如，任何需要的模擬和/或數字操作，包括過濾、縮放、頻移、頻率變換、舍入、模數變換等)，從而生成進行視頻解碼的信號(例如，輸入比特流)。即，從通信信道中所接收的實際信號可進行多種接收器前端處理操作(例如，在模擬前端(AFE)內)，包括調制等，以便生成進行視頻解碼的信號(例如，輸入比特流)。當然，在某些可選的實施方式中，未進行修改，實際上通過通信信道發送輸出比特流本身時，不需要進行任何這種接收器前端處理操作。也要注意的是，在通信裝置內可執行各種方法中所述的各種操作和功能，例如使用基帶處理模塊和/或其內執行的處理模塊和/或其內的其他模塊。本文中可使用的術語“大致”和“大約”為其相應的術語提供工業上可接受的容差和/或物品之間的相關性。這種工業上可接受的容差的范圍從不到1%到50%，并且對應于但不限于元件值、集成電路處理變化、溫度變化、升降時間和/或熱噪聲。物品之間的這種相關性的范圍從幾個百分比的差別到大幅的差別。本文中也可使用的術語“可操作地耦合至IJ”、“耦合到”、和/或“耦合”包括物品之間的直接耦合和/或物品之間通過中間物品(·例如，物品包括但不限于元件、部件、電路和/或模塊)進行間接耦合，其中，對于間接耦合而言，中間物品未修改信號信息，但是可調整其電流電平、電壓電平和/或功率電平。本文中可進一步使用的推斷耦合(例如，一個部件與另一個部件通過推斷耦合)包括在兩個物品之間進行直接和間接耦合，其方式與“耦合到”相同。本文中甚至可進一步使用的術語“可操作至IJ”或“可操作地耦合到”表示物品包括一個或多個功率連接、輸入、輸出等等，以便在激活時，執行一個或多個其相應的功能，并且可進一步包括推斷耦合到一個或多個其他的物品。本文中依然可進一步使用的術語“相關聯”表示單獨的物品和/或嵌入另一個物品內的一個物品進行直接和/或間接耦合。本文中可使用的術語“有利地比較”表示兩個或多個物品、信號等等之間的比較提供所需要的關系。例如，所需要的關系為信號I的幅度比信號2的幅度更大時，信號I的幅度比信號2的幅度更大或信號2的幅度比信號I的幅度更小時，可進行有利的比較。本文中也可使用的術語“處理模塊”、“模塊”、“處理電路”、和/或“處理單元”(例
如，包括可操作、執行和/或用于編碼、解碼、用于進行基帶處理等等的各種模塊和/或電路)，可為一個處理裝置或多個處理裝置。這種處理裝置可為微處理器、微控制器、數字信號處理器、微計算機、中央處理單元、現場可編程門陣列、可編程邏輯裝置、狀態機、邏輯電路、模擬電路、數字電路、和/或根據電路的硬編碼和/或操作指令操縱(模擬或數字)信號的任何裝置。處理模塊、模塊、處理電路和/或處理單元可具有相關的存儲器和/或集成存儲器部件，可為單個存儲器裝置、多個存儲器裝置、和/或處理模塊、模塊、處理電路和/或處理單元的嵌入式電路。這種存儲器裝置可為只讀存儲器(ROM)、隨機存取存儲器(RAM)、易失性存儲器、非易失性存儲器、狀態機、動態存儲器、閃速存儲器、高速存儲器、和/或儲存數字信息的任何裝置。要注意的是，如果處理模塊、模塊、處理電路和/或處理單元包括一個以上的處理裝置，那么可集中定位(例如，通過有線和/或無線總線結構直接耦合在一起)或分布定位(例如，通過局域網和/或廣域網進行間接耦合，從而進行云計算)這些處理裝置。而且，要注意的是，如果處理模塊、模塊、處理電路和/或處理單元通過狀態機、模擬電路、數字電路、和/或邏輯電路執行一個或多個功能，那么儲存相應的操作指令的存儲器和/或存儲器部件可嵌入包括狀態機、模擬電路、數字電路、和/或邏輯電路的電路內或位于該電路的外部。依然要注意的是，存儲器部件可儲存并且處理模塊、模塊、處理電路和/或處理單元執行硬編碼的和/或操作的指令，這些指令與一個或多個圖中所述的至少一些步驟和/或功能相應。這種存儲器裝置或存儲器部件可包含在制品內。上面已經借助于示出特定功能和其關系的性能的方法步驟，描述了本發明。為了便于描述，在本文中已經任意地限定了這些功能性構件和方法步驟的界限和順序。只要適當地執行所規定的功能和關系，就可限定替代的界限和順序。任何這種替代的界限和順序因此在所要求的本發明的范圍和精神內。而且，為了便于描述，已經任意地限定了這些功能性構件的界限。只要適當地執行某些重要的功能，就可限定替代的界限。同樣，在本文中也已經任意地限定了方塊流程圖，以便示出某些重要的功能。在某種使用的程度上，可另外限定方塊流程圖的界限和順序，并且依然執行某個重要的功能。功能性構件和方塊流程圖的這種可選的定義因此在所要求的本發明的范圍和精神內。本領域的技術人員也會認識到，如圖所示，或通過離散元件、專用集成電路、執行適當的軟件等等的處理器、或其任意組合，可執行其內的功能性構件以及其他示出性方塊、模塊和元件。在一個或多個實施方式中，也已經至少部分描述了本發明。本發明的一個實施方式在本文中用于示出本發明、本發明的一個方面、其功能、其概念、和/或其實例。設備、制品、機器、和/或體現本發明的處理的物理實施方式可包括一個或多個方面、功能、概念、和/或實例，在本文中所討論的一個或多個實施方式中進行了描述。而且，在所有圖中，這些 實施方式可包含具有相同或相似名稱的功能、步驟、模塊等等，可使用相同或不同的參考數字，同樣，這些功能、步驟、模塊等等可為相同或相似的或不同的功能、步驟、模塊等等。除非明確規定相反，否則在本文中所示的任何一幅圖中，發送給部件的信號、從部件中發送的信號、和/或部件之間的信號可為模擬或數字、連續時間離散時間、以及單端或差分信號。例如，如果將信號路徑顯示為單端路徑，那么該信號路徑也表示差分信號路徑。同樣，如果將信號路徑顯示為差分路徑，那么該信號路徑也表示單端信號路徑。本領域的技術人員會認識到，在本文中描述一個或多個特定的結構的同時，也可使用其他結構，這些結構使用未明確顯示的一個或多個數據總線、部件之間的直接連接、和/或其他部件之間的間接耦合。在描述本發明的各種實施方式時，使用術語“模塊”。模塊包括功能塊，通過硬件使用該功能塊，從而執行一個或多個模塊功能，例如處理一個或多個輸入信號，以便產生一個或多個輸出信號。執行模塊的硬件本身可結合軟件和/或固件進行操作。本文中所使用的模塊可包含一個或多個子模塊，這些子模塊本身為模塊。在本文中已經明確描述本發明的各種功能和特征的特定組合的同時，這些特征和功能也能具有其他組合。本發明不受到本文中所公開的特定實例的限制，并且明確包含這些其他的組合。
權利要求
1.一種設備，包括視頻編碼器，用于對輸入視頻信號進行編碼，以生成輸出比特流；并且其中所述視頻編碼器使用單個二叉樹用于隨著生成所述輸出比特流處理至少一個P切片和至少一個B切片；所述視頻編碼器針對所述至少一個P切片和所述至少一個B切片使用所述單個二叉樹，以隨著生成所述輸出比特流用第一語法元素對編碼單元(CU)預測進行編碼；以及所述視頻編碼器針對所述至少一個P切片和所述至少一個B切片使用所述單個二叉樹，以隨著生成所述輸出比特流用第二語法元素對預測單元(PU)分割模式進行編碼。
2.根據權利要求1所述的設備，其中所述第一語法元素表示幀內預測處理或幀間預測處理；以及所述第二語法元素表示CU分割形狀。
3.根據權利要求1所述的設備，其中視頻編碼器隨著生成所述輸出比特流而在第一時間或在第一時間期間執行幀內預測處理；以及視頻編碼器隨著生成所述輸出比特流而在第二時間或在第二時間期間執行幀間預測處理。
4.根據權利要求1所述的設備，其中所述設備為第一通信裝置；并且進一步包括第二通信裝置，經由至少一個通信信道與所述第一通信裝置進行通信，包含輸入端，用于接收所述輸出比特流；以及視頻解碼器，用于對所述輸出比特流進行解碼，以生成與所述輸入視頻信號相對應的輸出視頻信號；并且其中所述第二通信裝置為計算機、膝上型計算機、高清晰度(HD)電視、標準清晰度(SD)電視、手持式媒介設備、機頂盒(STB)、以及數字視頻光盤(DVD)播放器中的至少一個。
5.根據權利要求1所述的設備，其中所述設備為在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作的通信裝置。
6.—種設備,包括視頻編碼器，用于對輸入視頻信號進行編碼，以生成所述輸出比特流；并且其中所述視頻編碼器使用單個二叉樹，用于隨著生成所述輸出比特流來處理至少一個P切片和至少一個B切片。
7.根據權利要求6所述的設備，其中所述視頻編碼器針對所述至少一個P切片和所述至少一個B切片使用所述單個二叉樹，以隨著生成所述輸出比特流用單個語法元素對編碼單元(CU)預測和預測單元(PU)分割模式共同編碼，。
8.一種用于操作通信裝置的視頻編碼器的方法，所述方法包括操作視頻編碼器，用于對輸入視頻信號進行編碼以生成輸出比特流；以及在所述視頻編碼器內使用單個二叉樹，用于隨著生成所述輸出比特流來處理至少一個 P切片和至少一個B切片。
9.根據權利要求8所述的方法，還包括在視頻編碼器內針對至少一個P切片和至少一個B切片使用所述單個二叉樹，以隨著生成所述輸出比特流用單個語法元素對編碼單元(CU)預測和預測單元(PU)分割模式共同編碼。
10.根據權利要求8所述 的方法，還包括針對所述至少一個P切片和所述至少一個B切片使用所述單個二叉樹，以隨著生成所述輸出比特流用第一語法元素對編碼單元CU)預測進行編碼；以及針對所述至少一個P切片和所述至少一個B切片使用所述單個二叉樹，以隨著生成所述輸出比特流用第二語法元素對預測單元PU)分割模式進行編碼。
全文摘要
本發明涉及預測尺寸單元根據視頻編碼的信令。根據視頻編碼，可執行各種二值化。根據與不同的切片(例如，I、P、B切片)相關的編碼，一個或多個二叉樹可用于進行各種相應的操作(例如，編碼單元(CU)預測和預測單元(PU)分割模式操作)。在一個實施方式中，針對P切片和B切片，共同的或單個的二叉樹用于用單個語法元素對CU預測和PU分割模式共同編碼。即，在這種實施方式中，代替將不同的二叉樹用于至少這些不同的處理/操作，共同的或單個的二叉樹可用于CU預測和PU分割模式。可在編碼器/發射器裝置和解碼器/接收器裝置之間進行適當的協作，以確保適當地處理視頻編碼的各個不同階段。
文檔編號H04N7/26GK103024373SQ201210369450
公開日2013年4月3日 申請日期2012年9月27日 優先權日2011年9月27日
發明者陳培松, 韓拜恩, 溫偉杰 申請人:美國博通公司