專利名稱：編碼和重建高動態范圍圖像的方法和設備的制作方法
技術領域：
本發明在高動態范圍的圖像編碼領域中做出。
背景技術：
無論靜止圖像或者圖像序列的圖像幀，對應于表示亮度信號的有限的數值范圍，圖像通常在有限位數(例如，8、10、12或者更多位)上表示。以這樣的方式表示的圖像稱作低動態范圍圖像，或者簡言之，LDR圖像。但是，人類視覺系統能夠感知寬的亮度范圍。有限的表示大多數通常不允許正確地重建小的信號變化，尤其是，在非常暗或者亮的亮度的圖像區域中。HDR(高動態范圍或高動態光照渲染)格式在于顯著地將信號表示的位深度擴展為具有更多位，例如，20至64位的整數表示，或者甚至浮動表示，以便在其整個亮度范圍上保持該信號的高精確度。HDR圖像可以以各種各樣的方法捕獲。例如，數字單鏡頭反射式照相機可以使用包圍式曝光(bracketing)技術以便以不同曝光來捕獲相同場景的連續圖像，其中曝光是在拍攝圖像的過程期間允許落在圖像介質(感光膠片或者圖像傳感器)上光的總密度。不同曝光的這些圖像表示為LDR圖像。曝光不足的圖像在明亮區域捕獲細節，而過度曝光的圖像在黑暗區域中捕獲細節，如在圖1對于不同的曝光值EV示范性地描述的。通過這些不同地曝光的LDR圖像的融合，可以生成具有浮點表示的HDR圖像，該生成的HDR圖像包含那些在黑暗區域以及那些在明亮區域中的所有細節。HDR圖像不能以其源格式隨著指定供LDR圖像使用的設備使用，例如，機頂盒、PVR和傳統顯示器。總之，稱作明暗映象的過程允許表示該圖像，同時確保不同的信號強度片段的好的恢復，尤其是，在黑暗和明亮強度范圍中。明暗映象從HDR圖像生成所有元素被正確地曝光的LDR圖像。LDR圖像在黑暗區域和在白色區域兩者中被更加詳述。這些在圖2中示范性地描述。HDR尤其是在后期制作中使用。所有特技效果工具以浮點表示處理HDR圖像。自然景物和特技效果的混合也在HDR表示中實現。在后期制作過程的末端，在攝影導演的控制下，適用明暗映象以生成標準8/10/12位底版。Mantiuk 等等"‘Backward Compatible High Dynamic Range MPEG VideoCompression”，SIGGRAPH的科研報告集06 (有關圖形的ACM學報專刊)，2006年，713-723頁，25 (3)，提出了一種向后兼容HDR視頻壓縮(HDR MPEG)方法，其引入緊湊的重建功能，該功能被用于將HDR視頻數據流分解為殘余流和標準LDR流，其可以在諸如DVD播放器的現有的MPEG解碼器上播放。與單獨地LDR數據流相比,Mantiuk的殘余流生成大約30%比特流開銷。Motra和Thoma :2010年9月于香港的2010IEEE第17屆圖像處理國際會議的科研報告集中的 “An Adaptive LogLuv Transform for High Dynamic Range VideoCompression”描述一種現有的編碼器可以如何以由本作者提出的自適應的LogLuv變換用于編碼HDR視頻序列的方法。Motra和Thoma進一步描述使用MPEG AVC的高位深度分布去編碼這些數據。

發明內容
在前提及的該方法的一個缺點是與標準HDTV eco (節能)系統的非向后兼容性。本發明人認識到在本技術中需要一種用于HDR圖像和視頻的可選編碼方案，其允許重復使用已經部署的圖像/視頻編碼器，并且與標準LDR HDTV向后兼容。 本發明以幀兼容格式的概念為基礎。該想法是使用幀兼容方法去與附加信息一起傳輸下采樣的LDR內容，該附加信息允許從LDR內容重建HDR內容。在解碼器側，LDR內容可用于源LDR顯示器，并且HDR內容從而可以被重建和用于源HDR顯示器。或者HDR內容重建被明暗映象以由LDR顯示器使用。因此，提出了一種按照權利要求1的編碼高動態范圍的HDR圖像的方法。所述方法包括下采樣LDR圖像和附加數據，LDR圖像提供HDR圖像內容的較低動態范圍描繪，并且附加數據允許從LDR圖像重建HDR圖像。所述方法進一步包括在一個幀中布置下采樣的LDR圖像和下采樣的附加數據。進一步提出了一種按照權利要求2的重建高動態范圍的HDR圖像的方法。所述進一步提出的方法包括解碼幀，將幀分解為下采樣的LDR圖像和下采樣的附加數據，LDR圖像提供HDR圖像內容的向下采樣的較低動態范圍描繪，并且附加數據允許從LDR圖像重建HDR圖像，上采樣下采樣的LDR圖像和下采樣的附加數據，和使用上采樣的附加數據從上采樣的LDR圖像重建HDR圖像。并且，提出了一種攜帶編碼幀的存儲介質，包括低動態范圍的下采樣的LDR圖像和下采樣的附加信息，附加數據允許重建提供LDR圖像內容的較高動態范圍描繪的HDR圖像。此外，本發明人提出一種用于編碼高動態范圍的HDR圖像的設備，該編碼設備是依照權利要求11，和一種用于重建高動態范圍的HDR圖像的設備，該編碼設備是依照權利要求14。在一個實施例中，該幀和通過下采樣LDR圖像移除的信息在基礎層中被編碼，和/或附加數據在增強層中被編碼。在另外的實施例中，下和上采樣發生在采樣方向，例如，在水平、對角或者垂直的米樣方向。對應于米樣方向，存在布置模式，例如，對應于水平米樣的并排布置，以及對應于垂直下和上采樣的上下布置。更進一步有益的實施例的特點在從屬權利要求中被指定。


在附圖中舉例說明本發明的示范性實施例，并且在以下的描述中更詳細地解釋。解釋該示范性實施例僅僅是為了闡明本發明，而不是為了限制本發明的公開或者在權利要求書中限定的范圍。圖1描述了具有不同曝光的相同場景的相同視圖的不范系列；圖2描述了明暗映象已經施加于亮度區域的示范圖像；圖3示范性地描述了在第一和第二示范性實施例的編碼側的并排下采樣和封裝；
圖4示范性地描述了在第一和第二示范性實施例的編碼側的上下下采樣和封裝；圖5描述了第一不范性實施例的編碼構架；圖6a和圖6b描述了第一示范性實施例的二個可能幀結構；圖7示范性地描述了在第一和第二示范性實施例的解碼側的并排去封裝和上采樣；圖8示范性地描述了在第一和第二示范性實施例的解碼側的上下去封裝和上采樣;圖9描述了第二示范性實施例的二個可能幀結構；圖1Oa和圖1Ob描述了第二實施例的編碼構架；圖1la和圖1lb描述了第三示范性實施例的二個可能幀結構；圖12描述了第三示范性實施例的編碼構架；圖13描述了基于借助于MVC兼容的解碼設備的多視圖編碼的第一示范性實施例的再一個編碼構架；圖14描述了基于借助于非MVC兼容的解碼設備的多視圖編碼的第一未示范性實施例的再一個編碼構架；和圖15描述了基 于可伸縮視頻編碼的第一示范性實施例的又一個編碼構架。
具體實施例方式本發明可以在包括相應地適合的處理設備的任何電子設備上實現。例如，本發明可以在電視接收機、媒體網關、機頂盒、移動電話、個人計算機、數字靜物相機、數字視頻照相機或者汽車娛樂系統中實現，其中這些示范的系統的每個可以被配置用于處理具有低動態范圍、具有高動態范圍或者兩者的圖像內容。本發明可以適用于HDR靜止圖像以及HDR視頻/HDR圖像序列。本發明的第一示范性實施例采用高動態范圍的圖像可以從不同曝光的對準圖像，例如，取自相同視點的相同場景的一對圖像(其中該圖像的一個曝光不足，并且另一個過度曝光)中產生的事實。為了在單個幀中配備一對圖像，該圖像被下采樣。在第一示范性實施例中，下采樣可以水平地，即，每奇數或者每偶數列被移除，如在圖3中示范性地描述的，或者垂直地，即，每奇數或者每偶數行被移除，如在圖4中示范性地描述的。下采樣的圖像然后可以布置在單個幀中。在水平下采樣的情況下該布置是并排的，并且在垂直下采樣的情況下該布置是上下。這些在圖5中示范性地描述。示范性地描述的二個LDR圖像具有1080行和1920列，并且被水平地下采樣為960列，并且如在圖6a中描述的被并排布置，或者被垂直地下采樣為540行，并且如在圖6b中描述的被上下布置。其他的采樣方向是可能的，例如，對角地上傾或對角地下傾。該采樣方向可以是固定的，或者可以適應于內容保存選擇。例如，可以在編碼器側每個圖像或者每個畫面組測試一些采樣方向，并且例如選擇導致最好的速率失真的那個。該布置類型可以以元數據用信號通知或者通過在該幀中搜索減少該幀一半的邊緣特點而確定。該特點的有效性可以被比較，并且最有效的一個然后可以用于將該幀再次分解為圖像。類似地，對于共有或者分別地兩個圖像，是正交于所述采樣方向的奇數行還是偶數行被移除可以被選定或者調整，例如，用于改善率失真。這個調整可以與采樣方向的修改獨立地發生，例如甚至在固定的采樣方向的情況下，或者與采樣方向修改的相結合。在在該幀中布置之后，該幀被編碼。在屬于適用于重建其HDR視頻的LDR圖像對序列的LDR圖像的情況下，該幀可以按照任何已知的視頻編碼標準，例如，H. 264/MPEG-4AVC被編碼。對于本發明的要點，使用哪個編碼標準是不重要的。該編碼可以利用二個LDR圖像示出具有不同曝光的相同內容的事實。也就是說，運動矢量搜索可以被限制在該幀的一半，并且在一半幀上確定的運動矢量可以在另一個半幀上重新使用。重新使用甚至在僅僅一半幀的運動矢量需要編碼的情形下可以是強制性的。選擇性地，該編碼器輸出可伸縮圖像/視頻編碼(SVC)格式的基礎層，并且在下采樣的LDR圖像中省去的行或者列在SVC格式的增強層中被編碼。或者，該編碼器輸出多視圖編碼(MVC)格式的第一視圖，并且在下采樣的LDR圖像中省去的行或者列在MVC格式的第二視圖中被編碼。 為了以在二個LDR圖像每個的正常曝光區中保留細節的方式改善二個LDR圖像的曝光，可以在下采樣前或后適用可選擇的直方圖對準。該直方圖調整的特定的設置可以被固定或者修改，而在這樣情況下，它們可以經由元數據發送給解碼過程，使得解碼器能夠執行反變換。基于二個不同曝光的LDR圖像的示范性編碼構架在圖5中描述。編碼設備ENC接收二個不同曝光、對準的圖像或者具有低動態范圍的視頻幀，并且通過在模塊HST中直方圖均衡化調整其曝光。然后，該曝光調整的圖像被下采樣的DWN，并且被封裝PCK為單個幀，其通過H. 264/MPEG-4AVC編碼器AVC被編碼。模塊MDE編碼直方圖對準的參數、有關下采樣的信息和有關封裝進該幀的元數據的信息。包括元數據的該編碼的幀然后被輸出，用于以流傳輸，或者存儲在存儲介質，例如光盤上。解碼設備DEC從用于讀取該存儲介質的設備，或者從流接收設備接收包括元數據的編碼的幀，并且按照用于編碼的標準解碼IAVC該幀。然后，該元數據被解碼MDD，并且用于將該幀分解SEP為下采樣的LDR圖像。無論上采樣UP是增加奇數或者偶數行，該元數據被進一步使用。該分解和上采樣對于并排布置LDR圖像在圖7中被示范性描述，并且對于上下布置LDR圖像在圖8中被示范性描述。接下來，直方圖對準參數的元數據用于反向直方圖對準IHST。在反對準之后，融合FUS該LDR圖像產生HDR內容。HDR內容然后可以原樣被輸出用于尋源HDR顯示器，或者輸出明暗映象的MAP用于尋源HDR顯示器。在圖9中描述的第二示范性實施例中，該編碼設備ENC在紅-綠-藍(RGB)色彩空間獲得HDR內容。該內容是明暗映象的MAP，用于以RGB產生LDR內容。LDR內容被顏色轉換CCV為亮度色度空間，例如YUV 420，并且HDR內容的亮度值被確定。隨后，這些值被使用以從HDR內容提取曝光圖，例如，通過HDR內容的亮度值逐像素除以LDR內容的亮度值。這需要例如可以使用對數標度或者線性標度進行的亮度-色度的變換。該曝光圖然后被標準化和量化NQ為由該格式允許的位深度。為了利用YUV 420幀優化的編碼，該標準化和量化的曝光圖被從YUV 400空間變換為YUV 420空間。然后，該變換的曝光圖和LDR內容被下采樣DWN并封裝PCK進一個幀，或者如在圖IOa中示范性地描述的并排，或者如在圖1Ob中示范性地描述的上下。該幀隨后被AVC編碼。下采樣可以是水平或者垂直的，并且或者奇數或者偶數行可以移除，和/或由于下采樣移除的信息可以在SVC的增強層中，或者在MVC的不同的視圖中傳送。在圖9中示范性地描述的這個第二示范性實施例中，除有關是奇數還是偶數行被移除的信息之外，該元數據包括用于標準化的亮度比的極值。有關例如并排或者上下的布置的信息也可以被包含，或者可以在解碼器側使用幀減半邊緣特征檢測被確定。該解碼器DEC解碼IAVC編碼的幀，并且分解SEP為下采樣明暗映象的LDR內容和下采樣的曝光圖。通過上采樣UP，LDR內容和曝光圖被再次擴展為幀大小。該上采樣的LDR內容可以原樣輸出到LDR使能設備。該曝光圖可以使用作為元數據傳送的最小和最大亮度值去量化和去標準化IQN。該擴展的曝光圖然后可以用于逆明暗映象ITM，并且產生的HDR內容可以尋源HDR使能顯示器。本發明的第三示范性實施例也采用高動態范圍的圖像可以從不同曝光的對準圖像，例如，取自相同視點的相同場景的三個圖像(其中該圖像的一個曝光不足，一個正常曝光，并且一個過度曝光)中產生的事實。在圖12描述的第三實施例中，非正常曝光的對準圖像被水平地和垂直地下采樣。選擇性地，在下采樣之前適用直方圖對準。正常曝光的LDR圖像無需直方圖對準被或者垂直地或者水平地下采樣。然后，三個圖像被布置在該幀中，如在圖1la或者圖1lb中示范性地描述的。也就是說，在正常曝光的LDR圖像被垂直地下采樣的情況下，下采樣的非正常曝光的圖像被并排布置，并且下采樣的正常曝光的圖像被布置在其下面或者在其頂上。并且在正常曝光的LDR圖像被水平地下采樣的情況下，下采樣的非正常曝光的圖像被上下布置，并且下采樣的正常曝光的圖像被并排布置于此。該產生的幀然后例如使用AVC編碼器被編碼。該幀的元數據可以攜帶有關移除的行的奇偶性、正常曝光的圖像的下采樣的方向和/或直方圖對準的參數的信息。在解碼器側，該流使用例如作為AVC的標準視頻編碼器首先被解碼。該幀然后使用由元數據攜帶的相符方法，或者使用檢測的垂直或者水平中間邊緣被拆包。正常曝光的結果圖像或者圖像流然后使用由元數據攜帶的相符方法被過采樣，生成重建的正常曝光的LDR圖像/視頻。過度曝光的LDR視頻和曝光不足的LDR視頻被水平和垂直地過采樣。該產生的正常曝光的LDR內容可以直接尋源LDR顯示器。在已經在編碼器側適用直方圖對準的情況下，反直方圖調整可以使用由元數據攜帶的參數選擇性地適用于過度曝光和曝光不足的內容。該產生的正常曝光的LDR內容可以進一步與反直方圖對準的過度曝光的LDR內容和曝光不足的LDR內容融合，用于重建HDR內容(其然后可以提供給HDR顯示器)。在第三示范性實施例中，以及在第一和第二示范性實施例中，該幀還可以在可伸縮視頻編碼格式的基礎層中編碼。或者，可以使用MVC。因而，在基礎層/主要視圖中由于下采樣缺乏的信息可以在一個或多個增強層/輔助視圖中編碼。在適用在不同的視圖或者層上分布信息的這個原理的每個情形下，基礎層/第一視圖的半幀的運動矢量信息不僅可以重新用于基礎層/第一視圖的其他半幀，而且可以用于增強層的半幀。例如，如果HDR內容基于不同曝光像素的四個圖像，關于每個，四個LDR圖像可以分類為四分之一分辯率的四個LDR子圖像。例如，在奇數行中的奇數像素被分類為第一子圖像，在偶數行中的奇數像素被分類為第二子圖像，在奇數行中的偶數像素被分類為第三子圖像，并且在偶數行中的偶數像素被分類為第四子圖像。然后，四個LDR圖像的第一子圖像被布置在SVC基礎層或者主要MVC視圖中，四個LDR圖像的第二子圖像被布置在第一 SVC增強層或者第一輔助MVC視圖中，四個LDR圖像的第三子圖像被布置在第二 SVC增強層/第二輔助MVC視圖中，并且四個LDR圖像的第四子圖像被布置在第三SVC增強層/第三輔助MVC視圖中。對于在示范性實施例(幀編碼是依照H. 264/MPEG-4 AVC)中編碼元數據，提出以下的示范性語法。也就是說，本發明的一個方面涉及修改的或者新的SEI消息的提議。例如，如在以下的表I中示范性地描述的，sei_payload()可以被修改,使得等于45的附加payloadType(有效載荷類型)被限定，其觸發接入在表2中示范性地描述的hdr_frame_compatible_info (payloadSize)。
權利要求
1.一種編碼高動態范圍的HDR圖像的方法，包括 -下采樣(DWN)LDR圖像和附加數據，LDR圖像提供HDR圖像內容的較低動態范圍描繪，并且附加數據允許從LDR圖像重建HDR圖像， -在幀中布置(PCK)下采樣的LDR圖像和下采樣的附加數據，以及 -編碼(AVC)該幀。
2.一種重建高動態范圍的HDR圖像的方法，包括 -解碼(IAVC)幀， -將該幀分解(SEP)為下采樣的LDR圖像和下采樣的附加數據，LDR圖像提供HDR圖像內容的下采樣的較低動態范圍描繪，并且附加數據允許從LDR圖像重建HDR圖像， -上采樣(UP)所述下采樣的LDR圖像和下采樣的附加數據，以及 -使用上采樣的附加數據從上采樣的LDR圖像重建(FUS)HDR圖像。
3.根據權利要求1或者2的方法，其中LDR圖像是曝光不足的，并且附加數據包括HDR圖像內容的低動態范圍描繪的再一個LDR圖像，該再一個LDR圖像是過度曝光的。
4.根據權利要求1或者2的方法，其中LDR圖像被正常曝光，下采樣的附加數據包括HDR圖像內容的低動態范圍描繪的二個另外的下采樣的LDR圖像，二個另外的下采樣的LDR圖像的一個是過度曝光，并且二個另外的下采樣的LDR圖像的一個是曝光不足，兩個另外的下采樣的LDR圖像被水平地和垂直地下采樣，其中在附加數據中，在下采樣的附加數據以及LDR圖像被上下布置的情況下，二個另外的下采樣的LDR圖像被并排布置，和在下采樣的附加數據以及LDR圖像被并排布置的情況下，二個另外的下采樣的LDR圖像被上下布置。
5.根據權利要求2-4的一個的方法，其中使用直方圖對準(HIST)調整曝光不足的LDR圖像和過度曝光的LDR圖像，并且其中直方圖對準的至少一個參數以幀的元數據被編碼。
6.根據權利要求1或者2的方法，其中LDR圖像是HDR圖像的明暗映象版本，并且附加數據包括允許逆明暗映象(ITM)的曝光圖。
7.根據權利要求6的方法，其中曝光圖是HDR圖像的亮度值和HDR圖像的明暗映象版本的比的標準化圖，并且其中最小亮度比值和最大亮度比值的至少一個以幀的元數據被編碼。
8.根據權利要求1-7的一個的方法，其中下采樣信息以幀的元數據被編碼，下采樣信息表示以下的至少一個在下采樣的LDR圖像中是否奇數行已經被移除，并且在下采樣的附加數據中是否奇數行已經被移除。
9.根據權利要求1-8的一個的方法，其中布置信息以幀的元數據被編碼，布置信息表示在幀中如何布置下采樣的LDR圖像和下采樣的附加數據，并且其中 -下采樣是水平的并且布置是并排的，或者 -下采樣是垂直的并且布置是上下的。
10.一種攜帶包括低動態范圍的下采樣的LDR圖像和下采樣的附加信息的編碼的幀的非易失性存儲介質，附加數據允許重建提供LDR圖像內容的較高動態范圍描繪的HDR圖像。
11.一種用于編碼高動態范圍的HDR圖像的設備，包括 -用于下采樣LDR圖像和附加數據的裝置，LDR圖像提供HDR圖像內容的較低動態范圍描繪，并且附加數據允許從LDR圖像重建HDR圖像， -用于在幀中布置下采樣的LDR圖像和下采樣的附加數據的裝置，和-用于編碼該幀的裝置。
12.根據權利要求11的設備，進一步包括用于直方圖對準的裝置。
13.根據權利要求11的設備，進一步包括用于確定曝光圖的裝置。
14.一種用于重建高動態范圍的HDR圖像的設備，包括 -用于解碼幀的裝置， -用于將幀分解為下采樣的LDR圖像和下采樣的附加數據的裝置，LDR圖像提供HDR圖像內容的下采樣的較低動態范圍描繪，并且附加數據允許從LDR圖像重建HDR圖像， -用于上采樣所述下采樣的LDR圖像的裝置，和 -用于使用上采樣的附加數據從上采樣的LDR圖像重建HDR圖像的裝置。
15.根據權利要求11的設備，進一步包括以下的至少一個 用于直方圖對準的裝置，和 用于逆明暗映象的裝置。
全文摘要
本發明在高動態范圍圖像的編碼領域中做出。本發明以幀兼容格式的概念為基礎。該想法是在一個幀中與附加信息一起傳輸下采樣的LDR內容，該附加信息允許從LDR內容重建HDR內容。因此，提出了一種按照權利要求1的編碼高動態范圍的HDR圖像的方法。所述方法包括下采樣(DWN)LDR圖像和附加數據，LDR圖像提供HDR圖像內容和附加數據的較低動態范圍描繪，該附加數據允許從LDR圖像重建HDR圖像。所述方法進一步包括在一個幀中布置(PCK)下采樣的LDR圖像和下采樣的附加數據，其中在水平下采樣的情況下布置是并排的，并且在垂直下采樣和編碼(AVC)該幀的情況下布置是上下的。
文檔編號H04N7/46GK103037215SQ201210366798
公開日2013年4月10日 申請日期2012年9月28日 優先權日2011年10月4日
發明者D.陶澤, Y.奧利維爾, P.博德斯, D.索羅, J.拉克 申請人:湯姆森特許公司