本發明涉及圖像通信領域中的視頻壓縮技術問題，尤其是涉及一種結合超分辨率重建的超高清視頻壓縮方法。

背景技術：

隨著高清圖像和視頻(1920×1080像素及以上)的普及，甚至已有4k(3840×2160)電視機的信號以及8k(8192×4320)超高清視頻，人們對高清圖像和視頻的需求不斷增加，數據量也隨之不斷增大。僅僅憑借硬盤的容量擴充和傳輸設備的更新改進，還不能很好地解決存儲和傳輸的問題。因此，如何在保證視頻編碼質量的同時降低編碼的計算復雜度成為了視頻編碼領域研究的熱點。

我們知道，利用圖像和視頻資源在時間和空間上的冗余性可實現對數據量的壓縮。現有的用于靜止圖像壓縮的jpeg、jpeg2000標準，主要適用于視頻資源壓縮的編碼標準h.264/avc、最新的高性能視頻編碼(hevc)等都是變換編碼和預測編碼結合的混合編碼框架。類似于以往的國際標準，hevc仍舊采用混合編碼框架，包括變換、量化、熵編碼、幀內預測、幀間預測以及環路濾波等模塊。但是hevc幾乎在每個模塊中都引入了新的編碼技術。hevc編碼標準與之前主流的壓縮標準h.264/avc相比，重建圖像的質量在相同psnr下，編碼碼率可以節省50％以上，目前來說，hevc標準的性能是最好的，超過了以往所有的圖像和視頻編碼標準。但hevc的編碼計算復雜度也超過了以往所有編碼標準，因此，一些研究機構和研究人員對如何有效降低hevc的編碼計算復雜度展開了大量研究。

實際上在h.264/avc視頻編碼階段，針對壓縮性能提升方面的研究已經取得了一定的成果。其中幀內自適應分割預測編碼(adpc)的編碼性能提升比較突出。adpc把i幀通過水平或垂直采樣分成兩幀分別進行幀內和幀間編碼，再使用率失真代價函數對兩種采用方式和標準預測模式進行最優選擇。另外，針對h.264/avc的幀間預測宏塊級混合時空預測算法(mlh-tsp)被提出。mlh-tsp提出了垂直時空預測(vtsp)和水平時空預測(htsp)用來編碼幀間編碼幀中的宏塊，最后仍然利用率失真代價函數進行最終預測模式的選擇。但當視頻序列分辨率足夠大時，在某一幀劃分為四個或更多的子幀后，相鄰子幀之間即具備有很強的時間相關性，可充分利用相鄰幀間的相關性，去除時間冗余。為了減少預測殘差即進一步減少所要傳遞的數據量，幀內預測可以合理的轉化為幀間預測。一種基于樹形結構的自適應多采樣幀內預測編碼算法被提出(atreestructurebasedadaptivemultisamplingpredictioncodingforintra-frame，ts_ampc)。此方法繼續沿用分割的思路，把i幀分割為4個子幀后分別進行幀內和幀間編碼，最后使用率失真代價函數對四種采用方式和標準預測模式進行最優選擇。

技術實現要素：

為了提高新一代視頻壓縮編碼標準hevc視頻編碼性能，本發明在充分利用hevc編碼標準基礎上，結合超分辨率重建技術、幀內預測和幀間預測相關性，提出了一種新型視頻壓縮編碼方法，在低碼率段相比hevc標準編碼方法有一定的性能提升。

本發明的基本思想是利用一種基于“分割-補償”的策略來進一步提升針對單幅圖像或i幀的壓縮性能，利用hevc作為基本編碼框架，利用hevc幀內編碼和幀間編碼的各自特征對視頻序列進行壓縮。并利用基于學習的超分辨率重建技術對重建視頻客觀質量進一步提升。進而達到在hevc基礎上進一步提高視頻編碼性能的目的。

本發明針對超高清視頻序列的壓縮提出一種新型視頻壓縮編碼框架，此與傳統編碼框架hevc相結合，同時采用奇數分割方法，把超高清視頻序列的i幀進行下采樣，降低了視頻序列的數據量。本發明充分利用了現有標準框架中優良的壓縮性能，從而在根本上保證了此框架的壓縮性能不被降低。本發明在重建環節利用超分辨率技術對相關重建幀進行客觀質量補償。具體主要包括以下過程步驟：

(1)判斷當前編碼幀是否為第1幀，若為第1幀，則對原始超高清視頻序列的第1幀進行奇數分割成5幀；

(2)將超高清視頻序列中后續三幀依次隔行隔列下采樣得到3幀，構成8幀的高清視頻序列，對得到的8幀高清視頻序列使用encoder_lowdelay_p_main.cfg配置文件進行ippp幀間編碼，形成碼流；

(3)利用解碼端獲得的高清視頻序列的前4個p幀，進行插值后得到重建的超高清視頻序列的第1幀；

(4)將重建后超高清視頻序列的第1幀與編碼后高清視頻序列的第1幀做超分辨率字典訓練得到與各個qp值對應的字典，使用字典指導編碼后高清視頻序列剩余3個p幀進行超分辨率重建為超高清視頻序列的后3幀；

(5)組合重建后的超高清視頻序列1個i幀和超分辨率重建后的高清視頻序列后3個p幀，生成新的超高清視頻序列。

在本發明的上述技術方案中，對于在步驟(1)，利用奇數分割把第一幀分為1個i幀和4個p幀，其中i幀中各點像素由原始圖中每四點像素值求平均得到，p幀中各點像素由原始圖隔行隔列下采樣得到。

在本發明的上述技術方案中，所述結合超分辨率重建的超高清視頻新型壓縮框架，將原始超高清序列下采樣為高清視頻序列，降低了i幀比特率。

在本發明的上述技術方案中，所述hevc的幀間編碼方法保持hevc編碼和解碼過程的完整穩定，對其中的編解碼步驟不做任何修改。

在本發明的上述技術方案中，所述超分辨率字典訓練方法構造相應的樣本庫，采用k-svd字典學習算法進行超分辨率字典訓練。

在本發明的上述技術方案中，所述超分辨率字典訓練方法采用的樣本庫不僅使用重建后超高清視頻序列的第1幀，同時使用編碼后高清視頻序列的第1幀。

根據本發明的上述方法可以編制執行上述結合超分辨率重建的超高清視頻新型壓縮方法。

本發明是基于以下思路分析而完成的：

視頻序列在hevc編碼過程中，幀內編碼比幀間編碼需要占有更多的編碼比特，即i幀數據量遠遠大于p幀數據量，利用i幀和p幀各自的編碼特征把一幅靜止圖像下采樣分割后組合成視頻序列，那么對組合而成的視頻序列編碼數據量會小于對原始靜止圖像進行i幀編碼的數據量。當一幅圖像的分辨率足夠大時，在將這幅圖像劃分為四個或更多子幀后，這些分割后形成的子幀之間具有很強的時間相關性，尤其是在超高清圖像中，這一特點更是突出，所以預測殘差比較平坦，即很多預測殘差值接近于零。因此我們可以針對超高清圖像和視頻(1600p以上)進行分割。

在分割所構成的高清視頻序列中，高清視頻序列的第1幀i幀，是由超高清視頻序列中的i幀四點求平均得到；高清視頻序列的后4幀p1至p4幀，由超高清視頻序列中的i幀隔行隔列下采樣依次得到；最后跟高清視頻序列的3幀p5至p7幀，由超高清視頻序列中后續3個p幀依次隔行隔列下采樣得到。在hevc編碼端針對分割后的高清視頻序列進行ippp編碼，形成各自的碼流。此過程保持hevc編碼和解碼過程的完整穩定，對其中的編解碼步驟不做任何修改。

最后在解碼端，對解碼后的高清視頻序列的i幀和p幀分別進行重建得到超高清視頻序列。利用奇數分割的方法把解碼重建后高清序列中的p1至p4幀插值得到超高清i幀，作為重建后超高清視頻的第1幀。用此i幀與高清視頻序列的i1做超分辨率字典訓練生成各qp(35-50)對應的字典，使用訓練好的字典對高清視頻序列剩余3個p幀進行解碼后高清視頻序列中p5至p7幀進行超分辨運算，得到相應的超高清后3個p幀。利用插值得到的超高清i幀和超分辨率重建后的超高清后續3個p幀組合成重建后的超高清視頻序列。實驗結果表明，本發明的視頻壓縮方法，基本實現了在低碼率端的同等碼率情況下的重建視頻質量的提升。

附圖說明

圖1高清視頻序列分割方案示意圖；

圖2高清視頻序列編解碼過程；

圖3超高清視頻序列生成示意圖。

具體實施方式

下面結合實施例對本發明作進一步的詳細說明，有必要指出的是，以下的實施例只用于對本發明做進一步的說明，不能理解為對本發明保護范圍的限制，所屬領域技術熟悉人員根據上述發明內容，對本發明做出一些非本質的改進和調整進行具體實施，應仍屬于本發明的保護范圍。

1.同時打開兩個算法的程序并設置好相同的配置文件，參考軟件選擇hm16.0，量化步長(qp)值分別取35、40、45和50。本發明將與hevc直接編碼超高清視頻序列4幀的方法進行比較。并對其兩種視頻編碼性能：比特率、峰值信噪比(psnr)(其中psnr體現視頻的客觀視頻質量)，進行了比較分析。

2.編碼的對象為超高清視頻序列為：training、running、cup、dolls、penguin、jogging。

3.利用hm16.0標準方法對超高清視頻序列在hevc方式下進行視頻編碼；

4.將超高清視頻下采為8幀高清視頻；

5.利用hm16.0標準方法對高清視頻序列在hevc方式下進行視頻編碼；

6.對高清視頻序列格式碼流解碼，得到解碼后視頻，對解碼后視頻進行基于學習的超分辨視頻重建。

7.兩個程序分別輸出視頻編碼后的比特率、psnr值，上述2個質量指標的結果如表1所示。統計顯示在低碼率段(qp范圍35-50)本發明算法實驗壓縮性能基本超過了hevc壓縮性能。

表1本發明算法與hevc標準視頻編碼性能的比較