專利名稱：根據視頻編碼進行自適應環路濾波的制作方法
技術領域：
本發明總體涉及數字視頻處理；更具體地說，涉及根據這種數字視頻處理的信號發送(信令)。
背景技術：
已經連續多年研究了用于傳送數字媒體(例如，圖像、視頻、數據等)的通信系統。相對于使用某種形式的視頻數據的這種通信系統，以某個幀速率(例如，每秒幀)輸出或顯示大量的數字圖像，以實現適合于輸出和消耗的視頻信號。在使用視頻數據進行操作的多個這種通信系統內，在吞吐量(例如，可從第一位置發送到第二位置的圖像幀的數量)和最終要輸出或顯示的信號的視頻和/或圖像質量之間可進行平衡(折衷)。本領域未充分地或可接受地提供一種裝置，該裝置可根據提供充分的或可接受的視頻和/或圖像質量，將視頻數據從第一位置發送到第二位置，確保與通信相關的費用較低、在通信鏈路的各個端部的通信裝置的復雜性較低等。

發明內容
本發明提供了一種設備，包括視頻編碼器，將輸入視頻信號進行編碼，從而生成輸出比特流；并且其中視頻編碼器 包括至少一個反饋環路，該反饋環路具有通過僅縮放處理進行操作的樣本自適應偏置濾波器和自適應環路濾波器，從而使得自適應環路濾波器被實現為從樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；在視頻編碼器內逐塊或逐條帶(slice)地選擇性使用自適應環路濾波器；該設備向被實現為接收輸出比特流的至少一個附加設備發送信號，多個塊或多個條帶的附加設備與自適應環路濾波器選擇性地濾波的輸入視頻信號相關聯；以及自適應環路濾波器用于根據多個增益值中的每一個進行僅縮放處理。優選地，自適應環路濾波器根據僅縮放處理、僅偏置處理以及縮放和偏置處理而選擇性地進行操作。優選地，在第一時間處或在第一時間的期間中，自適應環路濾波器用于根據多個增益值中的第一值進行僅縮放處理；以及在第二時間處或在第二時間的期間中，自適應環路濾波器用于根據多個增益值中的第二值進行僅縮放處理。優選地，設備為第一通信裝置；至少一個附加設備為第二通信裝置，其通過至少一個通信信道與第一通信裝置進行通信，包括輸入端，接收輸出比特流；以及視頻解碼器，將輸出比特流進行解碼，以生成與輸入視頻信號相對應的輸出視頻信號，其中，視頻解碼器包括至少一個附加反饋環路，該附加反饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器；并且其中第二通信裝置為計算機、膝上型電腦、高清晰度電視、標準清晰度電視、手持式媒體設備、機頂盒以及數字視頻光盤播放器中的至少一個。優選地，設備為通信裝置，該通信裝置在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作。本發明還提供了一種設備，包括視頻編碼器，將輸入視頻信號進行編碼，從而生成輸出比特流；并且其中視頻編碼器包括至少一個反饋環路，該反饋環路具有根據僅縮放處理進行操作的自適應環路濾波器。優選地，在視頻編碼器內逐塊或逐條帶地選擇性使用自適應環路濾波器；設備向被實現為接收輸出比特流的至少一個附加設備發送信號，多個塊或多個條帶的附加設備與自適應環路濾波器選擇性地濾波的輸入視頻信號相關聯。優選地，該設備還包括樣本自適應偏置濾波器，包括在具有自適應環路濾波器的至少一個反饋環路，從而使得自適`應環路濾波器被實現為從樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；并且其中自適應環路濾波器可通過僅縮放處理、僅偏置處理以及縮放和偏置處理而選擇性地操作。優選地，該設備還包括樣本自適應偏置濾波器，包括在具有自適應環路濾波器的至少一個反饋環路，從而使得自適應環路濾波器被實現為從樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；并且其中自適應環路濾波器用于根據多個增益值中的每一個進行僅縮放處理。優選地，該設備還包括樣本自適應偏置濾波器，包括在具有自適應環路濾波器的至少一個反饋環路，從而使得自適應環路濾波器被實現為從樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；并且其中在第一時間處或在第一時間的期間中，自適應環路濾波器用于根據第一增益值進行僅縮放處理；以及在第二時間處或在第二時間的期間中，自適應環路濾波器用于根據第二增益值進行僅縮放處理。優選地，設備為第一通信裝置；并且還包括第二通信裝置，其通過至少一個通信信道與第一通信裝置進行通信，包括輸入端，接收輸出比特流；以及視頻解碼器，將輸出比特流進行解碼，以生成與輸入視頻信號相對應的輸出視頻信號，其中，視頻解碼器包括至少一個附加反饋環路，該附加反饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器。優選地，第二通信裝置為計算機、膝上型電腦、高清晰度電視、標準清晰度電視、手持式媒體設備、機頂盒以及數字視頻光盤播放器中的至少一個。優選地，設備為通信裝置，該通信裝置在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作。本發明還提供了一種用于操作通信裝置的視頻編碼器的方法，方法包括操作視頻編碼器，以將輸入視頻信號進行編碼，從而生成輸出比特流；并且其中視頻編碼器包括至少一個反饋環路，反饋環路具有根據僅縮放處理進行操作的自適應環路濾波器。優選地，該方法還包括操作在視頻編碼器內逐塊或逐條帶地選擇性使用的自適應環路濾波器；從通信裝置向被實現為接收輸出比特流的至少一個附加通信裝置發送信號，多個塊或多個條帶的附加通信裝置與自適應環路濾波器選擇性地濾波的輸入視頻信號相關聯。優選地，該方法還包括操作樣本自適應·偏置濾波器，該樣本自適應偏置濾波器包括在具有自適應環路濾波器的至少一個反饋環路，以生成樣本自適應偏置濾波的輸出信號并且將輸出信號提供給自適應環路濾波器；并且操作根據僅縮放處理、僅偏置處理以及縮放和偏置處理選擇性地進行操作的自適應環路濾波器。優選地，該方法還包括操作樣本自適應偏置濾波器，該樣本自適應偏置濾波器包括在具有自適應環路濾波器的至少一個反饋環路，以生成樣本自適應偏置濾波的輸出信號并且將輸出信號提供給自適應環路濾波器；并且其中自適應環路濾波器用于根據多個增益值中的每一個進行僅縮放處理。優選地，該方法還包括操作樣本自適應偏置濾波器，該樣本自適應偏置濾波器包括在具有自適應環路濾波器的至少一個反饋環路，以生成樣本自適應偏置濾波的輸出信號并且將輸出信號提供給自適應環路濾波器；在第一時間處或在第一時間的期間中，操作自適應環路濾波器，自適應環路濾波器用于根據第一增益值進行僅縮放處理；以及在第二時間處或在第二時間的期間中，操作自適應環路濾波器，自適應環路濾波器用于根據第二增益值進行僅縮放處理。優選地，該方法還包括通過以下方式操作附加通信裝置，附加通信裝置通過至少一個通信信道與第一通信裝置進行通信接收輸出比特流；以及操作視頻解碼器，以將輸出比特流進行解碼，以生成與輸入視頻信號相對應的輸出視頻信號，其中，視頻解碼器包括至少一個附加反饋環路，該附加反饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器，其中，附加通信裝置為計算機、膝上型電腦、高清晰度電視、標準清晰度電視、手持式媒體設備、機頂盒以及數字視頻光盤播放器中的至少一個。優選地，通信裝置在衛星通信系統、無線通信系統、有線通信系統、光纖通信系統以及移動通信系統中的至少一個內進行操作。


圖1和圖2示出了通信系統的各種實施方式；圖3A示出了計算機的一個實施方式；圖3B示出了膝上型電腦的一個實施方式；
圖3C示出了高清晰度(HD)電視的一個實施方式；圖3D示出了標準清晰度(SD)電視的一個實施方式；圖3E示出了手持式媒體設備的一個實施方式；圖3F示出了機頂盒(STB)的一個實施方式；圖3G示出了數字視頻光盤(DVD)播放器的一個實施方式；圖3H示出了通用數字圖像和/或視頻處理裝置的一個實施方式；圖4、圖5和圖6是示出了視頻編碼結構的各種實施方式的示圖；圖7是示出了幀內預測處理的一個實施方式的示圖；圖8是示出了幀間預測處理的一個實施方式的示圖；圖9和圖10是示出了視頻解碼結構的各種實施方式的示圖；圖11、圖12、圖13、圖14和圖15是示出了視頻編碼結構的各種實施方式的示圖，各個視頻編碼結構分別包括自適應環路濾波；圖16A和圖16B示出了根據視頻編碼(例如，在一個或多個通信裝置內)執行的方法的各種實施方式。
具體實施例方式在使用數字媒體 (諸如數字視頻)的許多裝置內，使用像素表示這些裝置各自的圖像，這些圖像本質上為數字的。在某些通信系統內，可將數字媒體從第一位置發送到可輸出或顯示這種媒體的第二位置。數字通信系統(包括用于傳送數字視頻的那些通信系統)的目的在于將數字數據從一個位置或子系統中沒有誤差或以較低的可接受的誤差率地發送到另一個位置或子系統中。如圖1中所示，在各種通信系統內，可通過各種通信信道傳送數據磁性媒體、有線、無線、纖維、銅和/或其他類型的媒體。圖1和圖2是分別示出了通信系統100和200的各種實施方式的示圖。參看圖1，通信系統100的這個實施方式為通信信道199，該通信信道將位于通信信道199 一端的通信裝置110 (包括具有編碼器114的發送器112和具有解碼器118的接收器116)連通地耦合至位于通信信道199另一端的另一個通信裝置120 (包括具有編碼器128的發送器126和具有解碼器124的接收器122)。在某些實施方式中，通信裝置110和120中的任一個可僅包括發送器或接收器。存在幾種不同類型的媒體，通過這些媒體，可實現通信信道199 (例如，使用碟形衛星天線132和134的衛星通信信道130、使用塔142和144和/或本地天線152和154的無線通信信道140、有線通信信道150、和/或使用電光(E/0)接口 162和光電(0/E)接口 164的光纖通信信道160)。此外，可實現多于一種的媒體，并將它們結合在一起，從而形成通信信道199。應注意，在不背離本發明的范圍和精神的情況下，這種通信裝置110和/或120可為固定或移動式。例如，通信裝置Iio和/或120可在固定的位置上實現，或者可為移動通信裝置，能夠與多于一個的網絡接入點相關聯和/或通信(例如，包括一個或多個無線局域網(WLAN)的移動通信系統環境中的各個不同的接入點(AP)、包括一個或多個衛星的移動通信系統環境中的各個不同的衛星、或者通常為包括一個或多個網絡接入點的移動通信系統環境中的各個不同的網絡接入點，通過這些接入點，通信裝置110和/或120可實現通信)。
為了減少通信系統內不期望產生的傳送錯誤，通常使用糾錯和信道編碼方案。通常，這些糾錯和信道編碼方案包括在通信信道199的發送器端使用編碼器以及在通信信道199的接收器端使用解碼器。在任何這種所需要的通信系統(例如,包括圖1中所述的那些變形)、任何信息儲存裝置(例如，硬盤驅動器(HDD)、網絡信息儲存裝置和/或服務器等)、或需要進行信息編碼和/或解碼的任何應用程序中，可使用上述各種ECC代碼中的任何一種。一般而言，當考慮將視頻數據從一個位置或子系統傳送到另一個位置或子系統的通信系統時，通常可將視頻數據編碼視為在通信信道199的發送端進行，并且通常可將視頻數據解碼視為在通信信道199的接收端進行。同樣，盡管該示圖的實施方式示出了能夠在通信裝置110和120之間進行的雙向通信，當然應注意，在某些實施方式中，通信裝置110可僅包括視頻數據編碼能力，通信裝置120可僅包括視頻數據解碼能力，反之亦然(例如，在諸如根據視頻廣播實施方式的單向通信實施方式中)。參看圖2的通信系統200，在通信信道199的發送端，將信息比特201 (例如，特別與一個實施方式中的視頻數據對應)提供給發送器297，該發送器可用于使用編碼器和符號映射器220 (分別可視為不同的功能塊222和224)將這些信息比特201進行編碼，從而生成一系列離散值調制符號203，將這些符號提供給發送驅動器230，該驅動器使用DAC(數模轉換器)232以生成連續時間發送信號204并且使用發送濾波器234生成濾波的連續時間發送信號205，該發送信號基本適合于通信信道299。在通信信道299的接收端，將連續時間接收信號206提供給AFE (模擬前端)260，該模擬前端包括接收濾波器262 (生成濾波的連續時間接收信號207)以及ADC (模數轉換器)264 (生成離散時間接收信號208)。度量發生器270計算度量209 (例如，根據符號和/或比特)，解碼器280使用該度量，最佳地估計在其中進行編碼的離散值調制 符號和信息比特210。在發送器297和接收器298的每個內，可以實現其內各種元件、模塊、功能塊、電路等的任何所需要的結合。例如，該示圖示出了處理模塊280a，包括編碼器和符號映射器220以及其中所有相關聯的相應元件，并且示出了處理模塊280b，包括度量發生器270和解碼器280以及其中所有相關的相應元件。這種處理模塊280a和280b可為各自的集成電路。當然，在不背離本發明的范圍和精神的情況下，可替代地執行其他劃界和分組。例如，發送器297內的所有元件可包括在第一處理模塊或集成電路內，并且接收器298內的所有元件可包括在第二處理模塊或集成電路內。或者，在其他實施方式中，可對發送器297和接收器298的每個內的元件進行任何其他組合。與上述實施方式一樣，這種通信系統200可用于通信視頻數據，將視頻數據從一個位置或子系統中傳送到另一個位置或子系統中(例如，通過通信信道299從發送器297傳送到接收器298)。以下圖3A至圖3H中所示的任何不同裝置可進行數字圖像和/或媒體的數字圖像和/或視頻處理，從而允許用戶觀看這種數字圖像和/或視頻。這些不同的裝置不包括窮舉的裝置清單，在這些裝置中，可實行本文中所述的圖像和/或視頻處理，并且應注意在不背離本發明的范圍和精神的情況下，任何通用數字圖像和/或視頻處理裝置都可實現為進行本文中所述的處理。
圖3A示出了計算機301的一個實施方式。計算機301可為臺式計算機、或連接到儲存陣列(如獨立磁盤冗余陣列(RAID))的主機的企業儲存裝置(諸如服務器)、儲存路由器、邊界路由器、儲存開關和/或儲存導向器。用戶能夠使用計算機301觀看靜止數字圖像和/或視頻(例如，一系列數字圖像)。通常，計算機301上包括各種圖像和/或視頻查看程序和/或媒體播放器程序，從而允許用戶觀看這種圖像(包括視頻)。圖3B示出了膝上型計算機302的一個實施方式。這種膝上型計算機302可位于并且用于任何多種環境中。近年來，隨著膝上型計算機內處理能力和功能的日益增長，在本應使用先前高端的并且更強大的臺式計算機的多種情況下，使用了膝上型計算機。與計算機301 —樣，膝上型計算機302可包括各種圖像查看程序和/或媒體播放器程序，從而允許用戶觀看這種圖像(包括視頻)。圖3C示出了高清晰度(HD)電視303的一個實施方式。很多HD電視303包括集成調諧器，從而允許接收、處理并解碼其上的媒體內容(例如，電視廣播信號)。或者，有時，HD電視303從諸如數字視頻光盤(DVD)播放器、機頂盒(STB)的另一個源接收媒體內容，該機頂盒接收、處理并解碼有 線和/或衛星電視廣播信號。無論是否具體實現，HD電視303都可如本文中所述實現為進行圖像和/或視頻處理。一般而言，HD電視303能夠顯示HD媒體內容，并且通常實現為具有16:9的寬屏縱橫比。圖3D示出了標準清晰度(SD)電視304的一個實施方式。當然，SD電視304與HD電視303略微相似，至少一個差別在于，SD電視304不能顯示HD媒體內容，并且SD電視304通常實現為具有4:3的全屏縱橫比。盡管如此，甚至SD電視304可實現為進行本文中所述的圖像和/或視頻處理。圖3E不出了手持式媒體設備305的一個實施方式。手持式媒體設備305可用于提供通用儲存或圖像和/或視頻內容信息儲存，諸如聯合圖像專家組(JPEG)文件、標記圖像文件格式(TIFF)、位圖、運動圖像專家組(MPEG)文件、視窗系統媒體(Windows Media)(WMA/WMV)文件、為用戶回放的MPEG4文件等其他類型的視頻內容、和/或可以數字格式儲存的任何其他類型的信息。過去，這種手持式媒體設備主要用于儲存和回放音頻媒體；然而，這種手持式媒體設備305可用于儲存和回放任何虛擬的媒體(例如，音頻媒體、視頻媒體、攝影媒體等)。而且，這種手持式媒體設備305也可包括其他功能，例如用于進行有線和無線通信的集成通信電路。這種手持式媒體設備305可實現為進行本文中所述的圖像和/或視頻處理。圖3F示出了機頂盒(STB)306的一個實施方式。如上所述，有時，STB 306可實現為接收、處理并解碼提供給任何合適的顯示功能裝置(諸如SD電視304和/或HD電視303)的有線和/或衛星電視廣播信號。這種STB 306可單獨操作或與這種顯示功能裝置共同操作，從而進行本文中所述的圖像和/或視頻處理。圖3G示出了數字視頻光盤(DVD)播放器307的一個實施方式。在不背離本發明的范圍和精神的情況下，這種DVD播放器可為藍光DVD播放器、HD功能DVD播放器、SD功能DVD播放器、上采樣功能DVD播放器(例如，從SD到HD等)。DVD播放器可將信號提供給任何合適的顯示功能裝置，諸如SD電視304和HD電視303。DVD播放器305可實現為進行本文中所述的圖像和/或視頻處理。圖3H示出了通用數字圖像和/或視頻處理裝置308的一個實施方式。再次，如上所述，上述這些不同的裝置不包括窮舉的裝置清單，在這些裝置中，可實行本文中所述的圖像和/或視頻處理，并且應注意在不背離本發明的范圍和精神的情況下，任何通用數字圖像和/或視頻處理裝置308都可以被實現為進行本文中所述的圖像和/或視頻處理。圖4、圖5和圖6是分別示出了視頻編碼結構的各種實施方式400、500和600的示圖。參看圖4的實施方式400，該圖中可見，輸入視頻信號由視頻編碼器接收。在某些實施方式中，輸入視頻信號由編碼單元(CU)或宏塊(MB)構成。這種編碼單元或宏塊的尺寸可變化，并且可包括通常設置為方形的多個像素。在一個實施方式中，這種編碼單元或宏塊的尺寸為16X16像素。然而，通常應注意，宏塊的可具有任何所需要的尺寸，例如，NXN像素，其中N為整數。當然，雖然在優選的實施方式中使用方形編碼單元或宏塊，但是某些實施方式可包括非方形編碼單元或宏塊。輸入視頻信號通常可與原始幀(或圖片)圖像數據對應。例如，原始幀(或圖片)圖像數據可進行處理，從而生成亮度和色度樣本。在某些實施方式中，宏塊內的這組亮度樣本具有一個特定配置(例如，16X16)，并且這組色度樣本具有一個不同的特定配置(例如，8X8)。根據本文中所示的實施方式，視頻編碼器逐塊處理這些樣本。然后，輸入視頻信號進行模式選擇，通過該模式選擇，輸入視頻信號選擇性地進行幀內和/或幀間預測處理。一般而言，輸入視頻信號沿著壓縮路徑進行壓縮。當未使用反饋(例如，未根據幀間預測或幀內預測)進行操作時，通過壓縮路徑提供輸入視頻信號，從而進行轉換操作(例如，根據離散余弦轉換(DCT))。當然，在可選的實施方式中也可使用其他轉換。在該操作模式中，壓縮輸入視頻信號本身。在進行壓縮時，壓縮路徑可利用人眼缺乏高頻率靈敏度這一事實。然而，通過選擇性使用幀間或幀內預測視頻編碼，可沿著壓縮路徑使用反饋。根據反饋或預測的操作模式，該壓縮路徑對(較低能量)余量(例如，差值)進行操作，該余量是從當前宏塊中減去當前宏塊 的預測值而得到的。根據在指定的情況下使用哪種形式的預測，基于該幀(或圖片)的至少一部分或基于至少一個其他幀(或圖片)的至少一部分，生成當前宏塊和該宏塊的預測值之間的余量或差值。然后，所生成的修改后視頻信號沿著壓縮路徑進行轉換操作。在一個實施方式中，離散余弦轉換(DCT)對一組視頻樣本(例如，亮度、色度、余量等)進行操作，從而計算預定數量的基礎模式中每個各自的系數值。例如，一個實施方式包括64個基函數(例如，用于8 X 8樣本)。一般而言，不同的實施方式可使用不同數量的基函數(例如，不同的轉換)。各個基函數(包括其合適的和選擇性的加權)的任意組合可用于表示指定的一組視頻樣本。在與視頻編碼相關的技術文獻(包括如上所述通過引用并入的那些標準/草案標準)中，描述了與進行轉換操作的各種方法相關的附加細節。轉換處理的輸出包括這樣的各自的系數值。將該輸出提供給量化器(數字轉換器)。一般而言，大部分圖像塊通常會產生系數(例如，在根據離散余弦轉換(DCT)進行操作的一個實施方式中的DCT系數)，從而最相關的DCT系數具有更低的頻率。正因如此，并且由于人眼對高頻視覺效果具有較差的靈敏度，所以數字轉換器可用于將大部分不太相關的系數轉換成零值。即，根據量化處理，可消除相對貢獻低于某個預定值(例如，某個閾值)的那些系數。數字轉換器也可用于將重要的系數轉換成與來自轉換處理的結果相比能更有效地編碼的值。例如，通過用整數值除每個系數并且丟棄任何余數，從而可操作該量化處理。在對普通的編碼單元或宏塊進行操作時，這種處理通常產生數量較少的非零系數，然后，根據反饋路徑，可將這些非零系數傳送給熵編碼器，以進行無損編碼和使用，并且該反饋路徑根據視頻編碼可選擇幀內預測和/或幀間預測處理。熵編碼器根據無損壓縮編碼處理進行操作。相比之下，量化操作通常有損。熵編碼處理對量化處理所提供的系數進行操作。那些系數可表示各種特性(例如，亮度、色度、余量等)。熵編碼器可使用各種編碼。例如，熵編碼器可進行環境自適應的二進制算術編碼(CABAC)和/或環境自適應可變長度代碼(CAVLC)。例如，根據至少一部分熵編碼方案，將數據轉換成(列，行)配對((run, level) pairing)(例如,數據14、3、0、4、0、0、-3會轉換成各個(列，行)對(0，14)，(0,3),(1,4), (2，-3))。可提前準備表格，為值對分配可變的長度代碼，從而將較短的長度代碼分配給比較常見的值對，并且將較長的長度代碼分配給不太常見的值對。應理解的是，反量化和反轉換的操作分別對應于量化和轉換操作。例如，在轉換操作內使用DCT的實施方式中，在反轉換操作內使用反DCT (IDCT)0圖像緩沖器，或者稱為數字圖像緩沖器或DPB，從IDCT模塊接收信號；圖像緩沖器用于儲存當前幀(或圖像)和/或一個或多個其他幀(或圖像)，這些幀可根據幀內預測和/或幀間預測操作使用，這些預測操作可根據視頻編碼來進行。應注意根據幀內預測，較小的儲存量足矣，這是因為，無需在幀(或圖像)序列內儲存當前幀(或圖像)或任何其他的幀(或圖像)。根據視頻編碼進行幀間預測的情況下，可使用這些儲存的信息，用于進行運動補償和/或運動估計。 在一個可能的實施方式中，為了進行運動估計，在幀(或圖像)序列內(例如，根據幀間預測)，將當前幀(或圖像)的各組亮度樣本(例如，16 X 16 )與其他幀(或圖像)內各個緩沖的對應物進行比較。在一個可能的實施方式中，定位最接近匹配區域(例如，預測基準)，并且產生向量偏移(例如，運動向量)。在單個幀(或圖像)內，可發現有多個運動向量，并且并非所有的運動向量需要指向相同的方向。根據運動估計所進行的一個或多個操作用于生成一個或多個運動向量。運動補償用于使用一個或多個運動向量，這些運動向量可根據運動估計而生成。識別并傳輸預測基準組的樣本以希望試圖從原始輸入視頻信號中減去，從而生成比較(例如，理想地，非常地)低的能量余量。如果這種操作不會產生更低的能量余量，那么不需要進行運動補償，并且轉換操作可僅對原始輸入視頻信號進行操作，而不對余量進行操作(例如，根據以下操作模式將輸入視頻信號直接提供給轉換操作，從而不進行幀內預測或幀間預測)，或者可使用幀內預測，并且在幀間預測產生的余量上進行轉換操作。而且，如果運動估計和/或運動補償操作成功，那么可將運動向量與相應的余量的系數一起發送給熵編碼器，用于進行無損熵編碼。整個視頻編碼操作的輸出為輸出比特流。應注意，根據生成可通過通信信道發送的連續時間信號，這種輸出比特流當然可進行某種操作。例如，某些實施方式在無線通信系統內進行操作。在這種情況下，輸出比特流可進行適當的數模轉換、頻率轉換、縮放、濾波、調制、符號映射和/或無線通信裝置內的任何其他的操作，其用于生成能夠通過通信信道發送的連續時間信號等。
參看圖5的實施方式500，在該圖中可見，輸入視頻信號由視頻編碼器接收。在某些實施方式中，輸入視頻信號由編碼單元或宏塊構成(和/或可分成編碼單元(CU))。這種編碼單元或宏塊的尺寸可變化，并且可包括通常設置為方形的多個像素。在一個實施方式中，這種編碼單元或宏塊的尺寸為16X16像素。然而，通常應注意宏塊的可具有任何所需要的尺寸，諸如，NXN像素，其中N為整數。當然，雖然在優選的實施方式中使用方形編碼單元或宏塊，但是某些實施方式可包括非方形編碼單元或宏塊。輸入視頻信號通常可與原始幀(或圖片)圖像數據對應。例如，原始幀(或圖片)圖像數據可進行處理，從而生成亮度和色度樣本。在某些實施方式中，宏塊內的這組亮度樣本具有一個特定配置(例如，16X16)，并且這組色度樣本具有一個不同的特定配置(例如，8X8)。根據本文中所述的實施方式，視頻編碼器逐塊處理這些樣本。然后，輸入視頻信號進行模式選擇，通過該模式選擇，輸入視頻信號選擇性地進行幀內和/或幀間預測處理。一般而言，輸入視頻信號沿著壓縮路徑進行壓縮。在未使用反饋(例如，未根據幀間預測或幀內預測)進行操作時，通過壓縮路徑提供輸入視頻信號，從而進行轉換操作(例如，根據離散余弦轉換(DCT))。當然，在可選的實施方式中也可使用其他的轉換，在該操作模式中，壓縮輸入視頻信號本身。在進行壓縮時，壓縮路徑可利用人眼缺乏高頻率靈敏度這一事實。然而，通過選擇性使用幀間或幀內預測視頻編碼，可沿著壓縮路徑使用反饋。根據反饋或預測的操作模式，該壓縮路徑對(較低能量)余量(例如，差值)進行操作，該余量是從當前宏塊中減去當前宏塊的預測值而得到的。根據在指定的情況下使用哪種預測形式，基于該幀(或圖片)的至少一部分或基于至少一個其他幀(或圖片)的至少一部分，生成當前宏塊和該宏塊的預測值之間的余量或差值。

然后，所生成的修改后的視頻信號沿著壓縮路徑進行轉換操作。在一個實施方式中，離散余弦轉換(DCT)對一組視頻樣本(例如，亮度、色度、余量等)進行操作，從而計算預定數量的基礎模式中每一個各自的系數值。例如，一個實施方式包括64個基函數(例如，用于8X8樣本)。一般而言，不同的實施方式可使用不同數量的基函數(例如，不同的轉換)。各個基函數(包括其合適的和選擇性的加權)的任意組合可用于表示指定的一組視頻樣本。在與視頻編碼相關的技術文獻(包括如上所述通過引用并入的那些標準/草案標準)中，描述了與進行轉換操作的各種方法相關的附加細節。轉換處理的輸出包括這種各自的系數值。將該輸出提供給量化器。一般而言，大部分圖像塊通常會產生系數(例如，在根據離散余弦轉換(DCT)進行操作的一個實施方式中的DCT系數)，從而最相關的DCT系數具有更低的頻率。正因如此，并且由于人眼對高頻視覺效果具有較差的靈敏度，所以數字轉換器可用于將大部分不太相關的系數轉換成零值。即，根據量化處理，可消除相對貢獻低于某個預定值(例如，某個閾值)的那些系數。量化器也可用于將重要的系數轉換成與來自轉換處理的結果的那些相比可更有效地進行編碼的值。例如，可通過用整數值除各個系數并且丟棄任何余數，操作該量化處理。在對普通的編碼單元或宏塊進行操作時，這種處理通常產生數量較少的非零系數，然后，根據反饋路徑，可將這些非零系數傳送給熵編碼器，以進行無損編碼和使用，并且該反饋路徑可根據視頻編碼選擇幀內預測和/或幀間預測處理。熵編碼器根據無損壓縮編碼處理進行操作。相比之下，量化操作通常有損。熵編碼處理對量化處理所提供的系數進行操作。那些系數可表示各種特征(例如，亮度、色度、余量等)。熵編碼器可使用各種類型的編碼。例如，熵編碼器可進行環境自適應二進制算術編碼(CABAC)和/或環境自適應可變長度編碼(CAVLC)。例如，根據至少一部分熵編碼方案，將數據轉換成(列，行)配對(例如，數據14、3、0、4、0、0、-3會轉換成各個(列，行)對(O，14)，(0,3),(1,4), (2，-3))。可提前準備表格，為值對分配可變的長度代碼，從而將較短的長度代碼分配給比較常見的值對，并且將較長的長度代碼分配給不太常見的值對。應理解的是，反量化和反轉換操作分別對應于量化和轉換操作。例如，在轉換操作內使用DCT的實施方式中，在反轉換操作內使用反DCT (IDCT)0在某些可選的實施方式中，將去塊濾波器的輸出提供給一個或多個其他的環路濾波器(例如，根據樣本自適應偏置(SAO)濾波器、自適應環路濾波器(ALF)、和/或任何其他類型的濾波器實現)，這些環路濾波器實現為處理反轉換塊的輸出。例如，這種自適應環路濾波器(ALF)可實現為處理去塊濾波器的輸出，或者這種ALF可實現為處理首先從去塊濾波器接收輸出的樣本自適應偏置(SAO)濾波器的輸出。在儲存在圖片緩沖器(往往稱為DPB、數字圖片緩沖器)內之前，將這種自適應環路濾波器(ALF)應用于解碼的圖片中。自適應環路濾波器(ALF)可實現為減少解碼圖片的編碼噪聲，并且無論是否逐條帶或逐塊應用自適應環路濾波器(ALF)，都可為亮度和色度逐條帶地選擇性地應用其濾波。在應用自適應環路濾波器(ALF)時，可使用二維2-D有限脈沖響應(FIR)濾波。在編碼器處可逐條帶設計濾波器的系數，然后，將這種信息用信號發送給解碼器(例如，從包括視頻編碼器(或者稱為編碼器)的發送器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置中)。一個實施 方式通過根據維納(Wiener)濾波設計生成系數進行操作。此外，無論是否進行濾波，都在編碼器處逐塊進行應用，然后，基于四叉樹結構，將這種決定用信號發送給解碼器(例如，從包括視頻編碼器(或者稱為編碼器)的發送器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置中)，其中，根據率失真優化，決定該塊的尺寸。應注意，使用這種2-D濾波的實現方式根據編碼和解碼，會產生一定程度的復雜性。例如，根據和實現自適應環路濾波器(ALF)，使用2-D濾波，在發送器通信裝置內以及在接收器通信裝置內實現的解碼器內，會一定程度上增加復雜性。對于一種環路濾波器，使用自適應環路濾波器(ALF)，可根據這種視頻處理提供大量的改進，其包括通過來自執行隨機量化去噪的峰值信噪比(PSNR)所實現的客觀質量測量的改善。此外，通過照明補償，可實現隨后編碼的視頻信號的主觀質量，這種照明補償可通過根據自適應環路濾波器(ALF)進行偏置處理和縮放處理(例如，根據應用增益的有限脈沖響應(FIR)濾波)產生。圖像緩沖器或者稱為數字圖像緩沖器或DPB，從ALF接收信號輸出；圖像緩沖器用于儲存當前幀(或圖像)和/或一個或多個其他的幀(或圖像)，這些幀可根據幀內預測和/或幀間預測操作而使用，這些預測操作可根據視頻編碼而進行。應注意，根據幀內預測，較小的儲存量足矣，這是因為，無需在幀(或圖像)序列內儲存當前幀(或圖像)或任何其他的幀(或圖像)。在根據視頻編碼進行幀間預測的情況下，可使用這種儲存的信息，用于進行運動補償和/或運動估計。在一個可能的實施方式中，為了進行運動估計，在幀(或圖像)序列內(例如，根據幀間預測)，將當前幀(或圖像)的各組亮度樣本(例如，16 X 16 )與其他幀(或圖像)內各個緩沖的對應物進行比較。在一個可能的實施方式中，定位最接近匹配區域(例如，預測基準)，并且產生向量偏移(例如，運動向量)。在單個幀(或圖像)內，可發現有多個運動向量，并且并非所有的運動向量需要指向相同的方向。根據運動估計所進行的一個或多個操作用于生成一個或多個運動向量。運動補償用于使用一個或多個運動向量，這些運動向量可根據運動估計而生成。識別并傳輸預測基準組的樣本以希望試圖從原始輸入視頻信號中減去，從而生成比較(例如，理想地，非常地)低的能量余量。如果這種操作不會產生更低的能量余量，那么不需要進行運動補償，并且轉換操作可僅對原始輸入視頻信號進行操作，而不對余量進行操作(例如，根據以下操作模式將輸入視頻信號直接提供給轉換操作，從而不進行幀內預測或幀間預測)，或者可使用幀內預測，并且在幀間預測產生的余量上進行轉換操作。而且，如果運動估計和/或運動補償操作成功，那么可將運動向量與相應的余量的系數一起發送給熵編碼器，用于進行無損熵編碼。整個視頻編碼操作的輸出為輸出比特流。應注意，根據生成可通過通信信道發送的連續時間信號，這種輸出比特流當然可進行某種操作。例如，某些實施方式在無線通信系統內進行操作。在這種情況下，輸出比特流可進行適當的數模轉換、頻率轉換、縮放、濾波、調制、符號映射和/或無線通信裝置內的任何其他的操作，其用于生成能夠通過通信信道發送的連續時間信號等。參看圖6的實施方式600，該圖描述了視頻編碼器的可選實施方式，這種視頻編碼器進行預測、轉換以及編碼處理，從而產生壓縮的輸出比特流。這種視頻編碼器可根據且遵照一個或多個視頻編碼協議、標準和/或推薦實踐進行操作，例如，IS0/IEC14496-10-MPEG-4部分10，AVC(高級視頻編碼)，或者稱為H. 264/MPEG-4部分10或AVC(高級視頻編碼)、ITU H. 264/MPEG4-AVC。應注意，例如位于裝置內在通信信道的另一端的相應的視頻解碼器，用于進行解碼、反轉換和重構的互補處理，從而`產生各個解碼的視頻序列，其(理想地)表示輸入視頻信號。該圖中可見，可使用可選的裝置和結構，用于進行視頻編碼。一般而言，編碼器處理輸入視頻信號(例如，通常以編碼單元或宏塊為單位構成，通常為方形并且其中包括NXN個像素)。視頻編碼根據先前編碼的數據確定當前宏塊的預測。這個先前編碼的數據可來自當前幀(或圖像)本身(例如，根據幀內預測)或來自已經編碼的一個或多個其他幀(或圖像)(例如，根據幀間預測)。視頻編碼器減去當前宏塊的預測從而形成余量。一般而言，幀內預測用于使用一個或多個特定尺寸(例如，16X16、8X8或4X4)的塊尺寸，在同一幀(或圖像)內從周圍先前編碼的像素預測當前宏塊。一般而言，幀間預測用于使用一定范圍的塊尺寸(例如，16X16向下到4X4)，從選自一個或多個先前編碼的幀(或圖片)內的區域，預測當前幀(或圖像)內的像素。對于轉換和量化操作，剩余樣本的塊可使用特定的轉換(例如，4X4或8X8)進行轉換。這種轉換的一個可能的實施方式根據離散余弦轉換(DCT)進行操作。轉換操作輸出一組系數，使得各個系數對應于與轉換相關的一個或多個基函數的各個權重值。在進行轉換之后，將轉換系數的塊量化(例如，各個系數可用整數值來除并且可丟棄任何相關的余數，或者可乘以整數值)。量化處理通常本質上有損，并且可根據量化參數(QP)降低轉換系數的精度。通常，與指定宏塊相關的許多系數為零，并且僅剩下一些非零系數。通常，較高的QP設置用于產生更大比例的零值系數以及更小量的非零值系數，從而以解碼的圖像質量較差為代價，具有較高的壓縮(例如，較低的編碼比特率);較低的QP設置用于允許量化后維持更多的非零系數以及更大量的非零系數，結果在具有較好的解碼圖像質量時，具有較低的壓縮(例如，較高的編碼比特率)。視頻編碼處理產生大量被編碼從而形成壓縮的比特率的值。這種值的實例包括量化的轉換系數、解碼器用于重新產生適當的預測的信息、編碼過程中使用的壓縮數據和壓縮工具的結構相關的信息、有關完整視頻序列的信息等。這種值和/或參數(例如，語法元素)可在根據CABAC、CAVLC或某個其他的熵編碼方案進行操作的熵編碼器內進行編碼，以產生可儲存、發送(例如，進行適當的處理以生成適合通信信道的連續時間信號之后)的輸出比特流等。在使用反饋路徑進行操作的一個實施方式中，轉換和量化輸出進行反量化和反轉換。根據視頻編碼，可進行幀內預測和/或幀間預測。而且，根據這種視頻編碼，可進行運動補償和/或運動估計。將從反量化和反轉換(例如IDCT)塊中輸出的信號路徑提供給幀內預測塊，同樣也提供給去塊濾波器。將去塊濾波器的輸出提供給一個或多個其他環路濾波器(例如，根據自適應環路濾波器(ALF)、樣本自適應偏置(SAO)濾波器和/或任何其他的濾波器類型而實現)，這些環路濾波器被實現為處理反轉換塊的輸出。例如，在一個可能的實施方式中，在儲存在圖片緩沖器(再次，有時或可稱為DPB、數字圖片緩沖器)內之前，ALF可應用至解碼的圖片。該ALF可實現為減少解碼圖片的編碼噪聲，并且無論是否逐條帶或逐塊應用ALF，都可為亮度和色度逐條帶地選擇性應用其濾波。在應用ALF時，可使用二維2-D有限脈沖響應(FIR)濾波。濾波器的系數可在編碼器處逐條帶設計，并且然后，將這種信息用信號發送給解碼器(從包括視頻編碼器(或者稱為編碼器)的發送器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置)。一個實施方式根據維納濾波設計生成系數。此外，無論是否進行濾波，其都在編碼器處逐塊應用，并且然后，基于四叉樹結構，將這種決定用信號發送給解碼器(例如，從包括視頻編碼器(或者稱為編碼器)的發送器通信裝置用信號發送到包括視頻解碼器(或者稱為解碼器)的接收器通信裝置)，其中，根據率失真優化，決定該塊的尺寸。應注意，使用這種2-D濾波的實現方式可根據編碼和解碼，會引起一定程度的復雜性。例如，根據和實現ALF，使用2-D濾波，在發送器通信裝置內實現的編碼器以及在接收器通信裝置內使用的解碼器內，會一定程度地增大復雜性。 如其他實施方式中所述，使用ALF，可根據這種視頻處理，提供大量的改進，包括通過進行隨機量化噪聲去除，由峰值信噪比(PSNR)提高客觀質量測量。此外，通過照明補償，可實現隨后編碼的視頻信號的主觀質量，通過根據ALF進行偏置處理和縮放處理(例如，根據應用增益的FIR濾波)，可產生這種照明補償。對于實現為生成輸出比特流的任何視頻編碼器結構而言，應注意，在多個通信裝置內的任何裝置內，可實現這種結構。輸出比特流可進行附加處理，包括糾錯碼(ECC)、向前糾錯(FEC)等，從而生成其中具 有附加冗余協議的修改后的輸出比特流。同樣，對于這種數字信號應理解的是，根據生成適合于或適用于通過通信信道進行傳送的連續時間信號，可進行任何適當的處理。即，在通信裝置內可實現這種視頻編碼器結構，該通信裝置用于通過一個或多個通信信道傳送一個或多個信號。可對這種視頻編碼器結構所生成的輸出比特流進行附加處理，從而生成可發送到通信信道中的連續時間信號。圖7是示出了幀內預測處理的一個實施方式700的示圖。從該圖中可看出，視頻數據的當前塊(例如，通常為方形并且通常包括NXN像素)進行處理，從而估計其中的各個像素。根據這種幀內預測，使用位于當前塊的上面以及左邊的先前編碼的像素。從某些角度來看，可將幀內預測視為與從當前像素延伸到位于當前塊的上面以及左邊的基準像素的向量對應。用于根據H. 264/AVC進行編碼的幀內預測的細節在相應的標準內規定(例如，國際電信聯盟，ITU-T, TELECOMMUNICATION STANDARDIZATION SECTOR OFITU, H. 264 (03/2010), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS，視聽業務的基礎設施-移動視頻編碼，為通用視聽業務進行高級視頻編碼，Recommendation ITU-T H. 264，也或者稱為 International Telecomm IS0/IEC 14496-10-MPEG-4 第 10 部分，AVC (高級視頻編碼)，H. 264/MPEG-4第10部分或AVC (高級視頻編碼)，ITU H. 264/MPEG4-AVC，或其等同物)。該余量為當前像素和基準或預測像素之間的差值，并且被進行編碼。從該圖中可見，在共同幀(或圖像)內，幀內預測使用像素進行操作。當然應注意，指定的像素可具有與其相關聯的不同的部件，并且對于各個部件可具有不同的幾組樣本。圖8是示出了幀間預測處理的一個實施方式800的示圖。與幀內預測相比，幀間預測用于基于在當前幀(或圖片)內的當前的一組像素以及在幀(或圖片)序列內的一個或多個其他幀(或圖片)內的一組或多組基準或預測像素，識別運動向量(例如，幀間預測方向)。可見，運動向量在幀(或圖片)序列內從當前幀(或圖片)延伸到另一幀(或圖片)。幀間預測可使用子像素插值，從而使得預測像素值對應于基準幀或圖像內多個像素的函數。雖然這種余量與根據幀內預測處理計算的余量不同，但是該余量可根據幀間預測處理計算。根據幀內預測 處理，各個像素處的余量再次對應于當前像素和預測的像素值之間的差值。然而，根據幀間預測處理，當前像素和基準或預測像素不位于相同的幀(或圖像)內。雖然該圖示出了對于一個或多個先前幀或圖片使用的幀間預測，但是還應注意，可選的實施方式可使用與當前幀之前和/或之后的幀對應的基準來進行操作。例如，根據適當的緩沖和/或存儲器管理，可儲存大量的幀。在對指定幀進行操作時，可通過該指定幀之前和/或之后的其他幀生成基準。與CU耦合，基本單元可用于預測分割模式，即，預測單元或PU。還應注意，僅對于最后一個深度CU而限定，并且其尺寸限于該CU的尺寸。圖9和圖10為分別示出了視頻解碼結構的各種實施方式900和1000的示圖。一般而言，這種視頻解碼結構對輸入比特流進行操作。當然，應注意，這種輸入比特流可由通過通信裝置從通信信道接收的信號生成。可對從通信信道接收的連續時間信號進行各種操作，包括數字采樣、解調制、縮放、濾波等，這些操作根據生成輸入比特流而是適合的。而且，在某些實施方式中，可實現糾錯碼(ECC)、向前糾錯(FEC)等中的一種或多種，這些實施方式可根據這種ECC、FEC等進行適當的解碼，從而生成輸入比特流。S卩，在某些實施方式中，根據生成相應的輸出比特流(例如，可從發送器通信裝置或從收發器通信裝置的發送器部分發送的輸出比特流)可產生附加冗余，根據生成輸入比特流，可進行適當的處理。總之，這種視頻解碼結構被實現為處理輸入比特流，從而生成輸出視頻信號，該輸出視頻信號盡可能接近地并且在理想的情況下完全地與原始輸入視頻信號對應，用于輸出到一個或多個視頻顯示功能裝置中。參看圖9的實施方式900，一般而言，根據執行在視頻編碼器結構內執行的編碼的互補處理，諸如熵解碼器的解碼器(根據CABAC、CAVLC等實現的解碼器)處理輸入比特流。輸入比特流盡可能接近地并且在理想的情況下完全地可視為視頻編碼器結構所生成的壓縮的輸出比特流。當然，在實際應用中，在通過一個或多個通信鏈路發送的信號中可能產生某些錯誤。熵解碼器處理輸入比特流并且提取合適的系數，如DCT系數(例如，表示色度、亮度等信息)，并且將這種系數提供給反量化和反轉換塊。在使用DCT轉換時，反量化和反轉換塊可實現為進行反DCT (·IDCT)操作。然后，A/D閉塞濾波器被實現為生成與輸出視頻信號相對應的各個幀和/或圖片。這些幀和/或圖片可提供給圖片緩沖器或數字圖片緩沖器(DPB)，用于執行包括運動補償的其他操作。一般而言，這種運動補償操作可視為對應于與視頻編碼相關的幀間預測。而且，也可對從反量化和反轉換塊輸出的信號進行幀內預測。與視頻編碼相似，這種視頻解碼器結構可被實現為根據將輸入比特流解碼從而生成輸出視頻信號，在未對其進行幀內預測或幀間預測、對其進行幀內預測或進行幀間預測之間執行模式選擇。參看圖10的實施方式100，在某些可選的實施方式中，根據用于生成輸出比特流的視頻編碼，可實現一個或多個環路濾波器(例如，根據樣本自適應偏置(SA0)濾波器、自適應環路濾波器(ALF)和/或任何其他的濾波器類型來實現)，并且可在視頻解碼器結構內使用相應的一個或多個環路濾波器。在一個實施方式中，在去塊濾波器之后，適當地實現一個或多個這種環路濾波器。圖11、圖12、圖13、圖14和圖15是分別示出了視頻編碼結構的各種實施方式1100、1200、1300、1400和1500的示圖，各個視頻編碼結構分別包括自適應環路濾波。圖11的實施方式1100與圖4的實施方式400具有某些相似之處，至少一個差別在于，自適應環路濾波器(ALF)被實現為處理反轉換塊的輸出。例如，在解碼的圖片儲存到圖片緩沖器(往往稱為DPB、數字圖片緩沖器)之前，將這種自適應環路濾波器(ALF)用于解碼的圖片。本文中應理解的是，使用自適應環路濾波器(ALF)，可根據這種視頻處理，提供大量的改進，包括由通過進行隨機量化噪聲去除的峰值信噪比(PSNR)提高客觀質量測量。此夕卜，通過照明補償，可實現隨后編碼的視頻信號的主觀質量，這種照明補償可通過根據自適應環路濾波器(ALF)處理進行偏置處理和縮放處理(例如，根據應用增益的FIR濾波)而引入。應注意，與通過隨機量化噪聲去除獲得的PSNR提高客觀質量測量相比，通過照明補償獲得的主觀質量提高在視覺上通常更為明顯。對于根據自適應環路濾波(諸如由ALF)進行的偏置處理和縮放處理而言，照明補償在所得的視頻編碼信號內更明顯地提高主觀質量，在某些實施方式中僅使用偏置處理就可進行這種照明補償。即，在根據自適應環路濾波(諸如由ALF)進行的各種操作中，在某些實施方式中使用僅偏置處理，以實現由照明補償獲得的最顯著起作用的主觀質量提高。在不同的實施方式中，以各種不同的方式實現ALF時，包括在一個實施方式中進行偏置處理和縮放處理這兩者，在另一個實施方式中進行僅偏置處理，以及在又一個實施方式中進行僅縮放處理，通過這種ALF的操作使用僅偏置處理可明顯提高視頻編碼信號的感知質量。在某些實施方式中，這種ALF可實現為根據多個不同的操作模式進行選擇性的操作，這些操作模式為進行僅偏置處理的第一模式、進行偏置處理和縮放處理兩者的第二模式、進行僅縮放處理的第三模式。根據生成指定的視頻編碼信號時使用這些操作模式中的哪一個模式，可將該信息中繼和通信給解碼器，從而該解碼器適當地了解生成視頻編碼信號的方式。應注意，與實現進行偏置處理和縮放處理兩者的ALF的那些實施方式相比，實現進行僅偏置處理的ALF的那些實施方式的復雜程度相對降低。也應理解的是，與不包括這種選擇性操作的其他實施方式相比，實現根據多個操作模式可選擇性地操作的ALF的復雜程度有一定程度的提高。相對于需要較低復雜程度的結構或設計而言，其中可實現這種進行僅偏置處理的ALF。根據這種ALF的操作,上述率失真優化用于確定ALF濾波圖(filtering map)和濾波系數，也可使用和操作這種率失真優化，以確定各個ALF偏置圖和偏置值。這種ALF的偏置圖表示每個偏置值所應用的區域。在包括被實現為進行僅偏置處理的ALF的實施方式中，僅偏置的ALF的這種操作可單獨或者作為序列參數組、圖片參數組和/或限幅電平參數組等內ALF的特殊情況而被信號發送。圖像緩沖器或者稱為數字圖像緩沖器或DPB，從ALF接收信號輸出；圖像緩沖器用于儲存當前幀(或圖像)和/或一個或多個其他的幀(或圖像)，這些幀可根據幀內預測和/或幀間預測操作而使用，這種 預測操作可根據視頻編碼而進行。應注意，根據幀內預測，較小的儲存量足矣，這是因為，無需在幀(或圖像)序列內儲存當前幀(或圖像)或任何其他的幀(或圖像)。在根據視頻編碼進行幀間預測的情況下，可使用這種儲存的信息，進行運動補償和/或運動估計。圖12的實施方式1200與圖5的實施方式500具有某些相似之處，至少一個差別在于，自適應環路濾波器(ALF)被實現為處理去塊濾波器的輸出。例如，參看圖6的實施方式600，與其他環路濾波器對應的塊可視為實現為圖12的實施方式1200中的自適應環路濾波器(ALF)。圖13的實施方式1300與圖5的實施方式500具有某些相似之處(例如，至少一些差別在于，樣本自適應偏置(SA0)濾波器和自適應環路濾波器(ALF)被實現為處理去塊濾波器的輸出)。例如，參看圖6的實施方式600，與其他環路濾波器對應的塊可視為實現為圖13的實施方式1300中的樣本自適應偏置(SAO)濾波器和自適應環路濾波器(ALF)。從這個實施方式1300中可看出，樣本自適應偏置(SAO)濾波器被實現為處理去塊濾波器的輸出，并且自適應環路濾波器(ALF)被實現為處理樣本自適應偏置(SAO)濾波器的輸出。圖14的實施方式1400與圖5的實施方式500具有某些相似之處(例如，至少一些差別在于，去塊濾波器/樣本自適應偏置(SAO)濾波器和自適應環路濾波器(ALF)被實現為處理也提供給幀內預測塊的信號)。例如，在該圖中，去塊濾波器/樣本自適應偏置(SAO)濾波器被實現為給其他環路濾波器提供輸出(例如，參看圖6的實施方式600)。例如，與其他環路濾波器對應的這種塊可視為實現為包括圖14的實施方式1400中的自適應環路濾波器(ALF)。從這個實施方式1400中可看出，自適應環路濾波器(ALF)被實現為處理去塊濾波器/樣本自適應偏置(SAO)濾波器的輸出(例如，去塊濾波器/樣本自適應偏置(SAO)濾波器的輸出)。參看圖15的實施方式1500，該圖描述了視頻編碼器的可選實施方式，實施方式1500與圖12的實施方式1200具有很多相似之處，至少一個差別在于，其種的ALF在去塊濾波器塊之前實現。關于實施方式1500，通過采用僅偏置的ALF，而不進行縮放處理，可在去塊濾波器塊之前實現ALF的這種實施方式。在本文中所述的不同示圖和/或實施方式中應理解的是，根據視頻編碼處理可使用ALF不同的限制。在某些實施方式中，ALF被實現為僅偏置的ALF。在其他實施方式中，ALF被實現為進行偏置處理和縮放處理這兩者。在某些實施方式中，ALF被實現為進行縮放處理(例如，有限脈沖響應(FIR)濾波)。甚至在其他實施方式中，ALF根據不同的操作模式，可實現為選擇性地操作，這些操作模式包括進行僅偏置處理的第一模式、進行偏置處理和縮放處理兩者的第二模式、以及進行僅縮放處理的第三模式。例如，可根據大量考慮因素中的任一個，選擇這種ALF的這種操作，這些考慮因素包括裝置所需要的復雜程度、通信信道(輸出比特流或與此相對應的信號要發送到該通信信道內)的時延、這種裝置內可使用的處理資源、和/或任何其他的考慮因素。必要時，某些實施方式可實現具有選擇功能的ALF，從而使得每次只能啟動一個功能。例如，共同的視頻編碼結構和/或電路可實現于多種不同的裝置內，并且可用于多個不同的應用中。在第一應用程序內操作的第一裝置中，在其中可啟動ALF的第一操作模式。在第二應用程序內操作的第二裝置中，在其中可啟動ALF的第二操作模式。應理解的是，這種制造商可設計單個視頻編碼結構和/或電路，以用于各種應用內操作的各種裝置中。圖16A和圖16B示出了根據視頻編碼(例如，在一個或多個通信裝置中)執行的方法的各種實施方式。參看圖16A的方法1600，該方法1600開始，操作視頻編碼器，以將輸入視頻信號編碼，從而生成輸出比特流， 如方框1610內所示。方法1600繼續，根據僅縮放處理，操作視頻編碼器的自適應環路濾波器(ALF)以生成輸出比特流，如方框1620內所示。在某些可選的實施方式中，方法1600可用于進行操作，接收輸出比特流，如方框1630內所示。在這種實施方式中，方法1600可繼續，操作視頻解碼器，以將輸出比特流解碼，從而生成與輸入視頻信號相對應的輸出視頻信號，如方框1640內所不。參看圖16B的方法1601，該方法1601開始，操作視頻編碼器，以將輸入視頻信號編碼，從而生成輸出比特流，如方框1611內所示。方法1601繼續，在視頻編碼器內逐塊或逐條帶選擇性地操作視頻編碼器的ALF，如方框1621內所示。方法1601繼續，從第一通信裝置中發送信號到第二通信裝置(或更多的通信裝置)中，該第二通信裝置被實現為接收輸出比特流，多個塊或多個條帶的第二通信裝置與ALF選擇性地濾波的輸入視頻信號相關聯，如方框1631內所示。在某些可選的實施方式中，方法1600可用于進行操作。然后，方法1601進行操作，接收輸出比特流，如方框1641內所示。在這種實施方式中，方法1601可繼續，操作視頻解碼器(例如，在第二通信裝置內)，以將輸出比特流解碼，從而生成與輸入視頻信號相對應的輸出視頻信號，如方框1651內所不。還應注意，諸如可使用基帶處理模塊和/或其中實現的處理模塊和/或其中的其他部件，在通信裝置內執行關于本文中的各種方法所述的各種操作和功能。本文中可使用的術語“大致”和“大約”為其相應的術語提供工業上可接受的容差和/或物品之間的相關性。這種工業上可接受的容差的范圍從不到1%到50%，并且對應于但不限于部件值、集成電路處理變化、溫度變化、升降時間和/或熱噪聲。物品之間的這種相關性的范圍從幾個百分比的差別到大幅的差別。本文中也可使用的術語“可操作地耦合至”、“耦合至”、和/或“耦合”包括物品之間的直接耦合和/或物品之間通過中間物品(例如，物品包括但不限于部件、元件、電路和/或模塊)進行間接耦合，其中，對于間接耦合而言，中間物品未修改信號信息，但是可調整其電流電平、電壓電平和/或功率電平。本文中可進一步使用的推斷耦合(例如，一個元件與另一個元件通過推斷耦合)包括在兩個物品之間進行直接和間接耦合，其方式與“耦合至”相同。本文中甚至可進一步使用的術語“可操作到”或“可操作地耦合至”表示物品包括一個或多個功率連接、輸入、輸出等，以在激活時，執行一個或多個其相應的功能，并且可還包括推斷耦合至一個或多個其他的物品。本文中還可進一步使用的術語“相關聯”包括單獨的物品和/或置入另一個物品內的一個物品進行直接和/或間接耦合。本文中可使用的術語“有利地比較”表示兩個或多個物品、信號等之間的比較提供所需要的關系。例如，當所需要的關系為信號I的幅度比信號2的幅度更大時，在信號I的幅度比信號2的幅度更大或信號2的幅度比信號I的幅度更小時，可實現有利的比較。本文中也可使用的術語“處理模塊”、“模塊”、“處理電路”和/或“處理單元”(例如，包括可操作、實現和/或用于編碼、解碼、用于進行基帶處理等的各種模塊和/或電路)可以是一個處理裝置或多個處理裝置。這種處理裝置可以是微處理器、微控制器、數字信號處理器、微計算機、中央處理單元、現場可編程門陣列、可編程邏輯裝置、狀態機、邏輯電路、模擬電路、數字電路和/或根據電路的硬編碼和/或操作指令操縱(模擬或數字)信號的任何裝置。處理模塊、模塊、處理電路和/或處理單元可具有相關的存儲器和/或集成存儲器元件，可以是單個存儲器裝 置、多個存儲器裝置、和/或處理模塊、模塊、處理電路和/或處理單元的嵌入式電路。這種存儲器裝置可為只讀存儲器(ROM)、隨機存取存儲器(RAM)、易失性存儲器、非易失性存儲器、靜態存儲器、動態存儲器、閃速存儲器、高速存儲器和/或儲存數字信息的任何裝置 。應注意，如果處理模塊、模塊、處理電路和/或處理單元包括一個以上的處理裝置，那么可集中定位(例如，通過有線和/或無線總線結構直接耦合在一起)或分布定位(例如，通過局域網和/或廣域網進行間接耦合，從而進行云計算)這些處理裝置。而且，應注意，如果處理模塊、模塊、處理電路和/或處理單元通過狀態機、模擬電路、數字電路、和/或邏輯電路執行一個或多個功能，那么儲存相應的操作指令的存儲器和/或存儲器元件可嵌入包括狀態機、模擬電路、數字電路、和/或邏輯電路的電路內或位于該電路的外部。還應注意，存儲器元件可儲存并且處理模塊、模塊、處理電路和/或處理單元執行硬編碼的和/或操作的指令，這些指令與一個或多個圖中所述的至少一些步驟和/或功能相應。這種存儲器裝置或存儲器元件可包括在制造產品內。上面已經借助于示出特定功能和其關系的性能的方法步驟，描述了本發明。為了便于描述，在本文中已經任意地限定了這些功能性構造塊和方法步驟的界限和順序。只要適當地執行所規定的功能和關系，就可限定替代的界限和順序。任何這種替代的界限和順序因此在所要求的本發明的范圍和精神內。而且，為了便于描述，已經任意地限定了這些功能性構造塊的界限。只要適當地執行某些重要的功能，就可限定其他的界限。同樣，在本文中也已經任意地限定了流程圖框，以示出某些重要的功能。在某種使用的程度上，可另外限定流程圖框的界限和順序，并且依然執行某個重要的功能。因此功能性構造塊和流程圖框的這種可選的定義在所要求的本發明的范圍和精神內。本領域的技術人員也會認識到，如圖所示，或通過離散元件、專用集成電路、執行適當的軟件等的處理器、或其任意組合，可實現其中的功能性構造塊以及其他實例性塊、模塊和部件。已經以一個或多個實施方式至少部分地描述了本發明。本發明的一個實施方式在本文中用于示出本發明、本發明的一個方面、其特征、其概念和/或其實例。設備、制品、機器和/或體現本發明的處理的物理實施方式可包括參考在本文中所討論的一個或多個實施方式中所描述的一個或多個方面、功能、概念和/或實例。而且，在所有圖中，這些實施方式可包含具有相同或相似名稱的功能、步驟、模塊等，可使用相同或不同的參考標號，此外，這些功能、步驟、模塊等可為相同或相似的、或不同的功能、步驟、模塊等。除非明確相反規定，否則在本文中所示的任何一幅圖中，發送給元件的信號、從元件中發送的信號、和/或元件之間的信號可為模擬或數字、連續時間或離散時間、以及單端或差分信號。例如，如果將信號路徑顯示為單端路徑，那么該信號路徑也表示差分信號路徑。同樣，如果將信號路徑顯示為差分路徑，那么該信號路徑也表示單端信號路徑。本領域的技術人員應了解，在本文中描述一個或多個特定的結構的同時，也可使用其他結構，這些結構被實現為使用未明確顯示的一個或多個數據總線、元件之間的直接連接、和/或其他元件之間的間接耦合。在描述本發明的各種實施方式時，使用術語“模塊”。模塊包括功能塊，該功能塊通過硬件實現，從而執行一個或多個模塊功能，如處理一個或多個輸入信號，以產生一個或多個輸出信號。實現模塊的硬件本身可結合軟件和/或固件進行操作。本文中所使用的模塊可包含一個或多個子模塊，這些子模塊本身為模塊。

盡管在本文中已經明確描述本發明的各種功能和特征的特定組合，但這些特征和功能也能具有其他組合。本發明不受到本文中所公開的特定實例的限制，并且明確包含這些其他組合。
權利要求
1.一種設備，包括 視頻編碼器，將輸入視頻信號進行編碼，從而生成輸出比特流；并且其中 所述視頻編碼器包括至少一個反饋環路，所述反饋環路具有通過僅縮放處理進行操作的樣本自適應偏置濾波器和自適應環路濾波器，從而使得所述自適應環路濾波器被實現為從所述樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號； 在所述視頻編碼器內逐塊或逐條帶地選擇性使用所述自適應環路濾波器； 所述設備向被實現為接收所述輸出比特流的至少一個附加設備發送信號，多個塊或多個條帶的所述附加設備與所述自適應環路濾波器選擇性地濾波的所述輸入視頻信號相關聯；以及 所述自適應環路濾波器用于根據多個增益值中的每一個進行僅縮放處理。
2.根據權利要求1所述的設備，其中 所述自適應環路濾波器根據僅縮放處理、僅偏置處理以及縮放和偏置處理而選擇性地進行操作。
3.根據權利要求1所述的設備，其中 在第一時間處或在第一時間的期間中，所述自適應環路濾波器用于根據所述多個增益值中的第一值進行僅縮放處理；以及 在第二時間處或在第二時間的期間中，所述自適應環路濾波器用于根據所述多個增益值中的第二值進行僅縮放處理。
4.根據權利要求1所述的設備，其中 所述設備為第一通信裝置； 所述至少一個附加設備為第二通信裝置，其通過至少一個通信信道與所述第一通信裝置進行通信，包括 輸入端，接收所述輸出比特流；以及 視頻解碼器，將所述輸出比特流進行解碼，以生成與所述輸入視頻信號相對應的輸出視頻信號，其中，所述視頻解碼器包括至少一個附加反饋環路，所述附加反饋環路具有根據僅縮放處理進行操作的至少一個附加自適應環路濾波器；并且其中 所述第二通信裝置為計算機、膝上型電腦、高清晰度電視、標準清晰度電視、手持式媒體設備、機頂盒以及數字視頻光盤播放器中的至少一個。
5.—種設備,包括 視頻編碼器，將輸入視頻信號進行編碼，從而生成輸出比特流；并且其中 所述視頻編碼器包括至少一個反饋環路，所述反饋環路具有根據僅縮放處理進行操作的自適應環路濾波器。
6.根據權利要求5所述的設備，其中 在所述視頻編碼器內逐塊或逐條帶地選擇性使用所述自適應環路濾波器； 所述設備向被實現為接收所述輸出比特流的至少一個附加設備發送信號，多個塊或多個條帶的所述附加設備與所述自適應環路濾波器選擇性地濾波的所述輸入視頻信號相關聯。
7.根據權利要求5所述的設備，還包括 樣本自適應偏置濾波器，包括在具有所述自適應環路濾波器的所述至少一個反饋環路，從而使得所述自適應環路濾波器被實現為從所述樣本自適應偏置濾波器接收樣本自適應偏置濾波的輸出信號；并且其中 所述自適應環路濾波器可通過僅縮放處理、僅偏置處理以及縮放和偏置處理而選擇性地操作，或者 所述自適應環路濾波器用于根據多個增益值中的每ー個進行僅縮放處理，或者 在第一時間處或在第一時間的期間中，所述自適應環路濾波器用于根據第一増益值進行僅縮放處理；以及在第二時間處或在第二時間的期間中，所述自適應環路濾波器用于根據第二増益值進行僅縮放處理。
8.根據權利要求5所述的設備，其中 所述設備為第一通信裝置；并且還包括 第二通信裝置，其通過至少ー個通信信道與所述第一通信裝置進行通信，包括 輸入端，接收所述輸出比特流；以及 視頻解碼器，將所述輸出比特流進行解碼，以生成與所述輸入視頻信號相對應的輸出視頻信號，其中，所述視頻解碼器包括至少ー個附加反饋環路，所述附加反饋環路具有根據僅縮放處理進行操作的至少ー個附加自適應環路濾波器。
9.一種用于操作通信裝置的視頻編碼器的方法，所述方法包括 操作所述視頻編碼器，以將輸入視頻信號進行編碼，從而生成輸出比特流；并且其中 所述視頻編碼器包括至少ー個反饋環路，所述反饋環路具有根據僅縮放處理進行操作的自適應環路濾波器。
10.根據權利要求9所述的方法，還包括 操作在視頻編碼器內逐塊或逐條帯地選擇性使用的所述自適應環路濾波器； 從所述通信裝置向被實現為接收所述輸出比特流的至少ー個附加通信裝置發送信號，多個塊或多個條帶的所述附加通信裝置與所述自適應環路濾波器選擇性地濾波的所述輸入視頻信號相關聯。
全文摘要
本發明涉及根據視頻編碼進行自適應環路濾波。在各種視頻編碼結構(例如，編碼和/或解碼結構)內可實現自適應環路濾波器(ALF)和/或其他環路濾波器(例如，樣本自適應偏置(SAO)濾波器等)，以進行偏置和縮放處理、僅縮放處理和/或僅偏置處理。在任何指定時間可根據多個操作模式中的任何一個模式選擇這種ALF的操作，并且基于各種考慮因素(例如，所需要的復雜程度、處理類型、本地和/或遠程操作條件等)，這種操作可自適應。例如，在儲存在圖像緩沖器(或者數字圖像緩沖器(DPB))內之前，ALF可用于解碼的圖像。ALF可減少解碼圖像的編碼噪聲，從而所進行的濾波操作可以是選擇性的(例如，逐條帶、逐塊等)。
文檔編號H04N7/50GK103051890SQ201210366429
公開日2013年4月17日 申請日期2012年9月27日 優先權日2011年9月27日
發明者陳培松, 沈八中, 溫偉杰 申請人:美國博通公司