本發明涉及壓縮感知視頻技術領域，尤其涉及一種多假設分塊視頻壓縮感知結合平滑濾波實現圖像重構技術。

背景技術：

目前，cs(壓縮感知)已通過集成壓縮和感測而革新了信號采樣和處理系統。對于從不同方面研究用于視頻的cs的應用，稱為壓縮視頻感知(cvs)。在編碼器處，輸入視頻幀被分組為由關鍵幀和多個非關鍵幀組成的圖像組。

傳統框架中使用mpeg/h.264編碼對關鍵幀進行編碼，cs測量矩陣來感測非關鍵幀，并使用從相鄰重構的關鍵幀生成的邊信息來重構關鍵幀。這個框架的缺點是仍然需要復雜的mpeg/h.264編碼。在其后的改進中，cs測量應用于關鍵幀和非關鍵幀。使用用于稀疏重建的梯度投影(gpsr)來重構關鍵幀，并且將使用從解碼的關鍵幀產生的邊信息來重構非關鍵幀。

隨著技術的不斷進步，為了減輕巨大的計算和存儲器負擔，l.gan提出了一種基于塊與塊之間具有獨立性的cs假設(bcs)用于2d圖像，do等使用珍貴解碼幀中的相鄰塊來表示當前幀中的塊，以提高邊信息的準確度，并開發了殘差重建方法。s.mun擴展了gan的bcs，并在最近的變換域中進行重建，特征在于高度方向分解。這些方法被稱為單假設運動補償(sh-mc)方案，其具有一些缺點。在編碼器處，由于運動估計搜索，除了增加編碼器側的計算復雜度之外，還施加了發送塊運動矢量的傳輸開銷。此外，sh-mc隱含地假設在視頻幀中發生的運動是均勻的塊平移模型。由于這個假設不總是成立，所以塊偽影出現在恢復的幀中。

為了解決這些問題，e.taramel等人提出了一種用于將多假設運動補償(mh-mc)合并到bcs中的策略，并將平滑濾波landweber用于視頻重建(mh-bcs-spl)，其通過找到搜索窗口中所有塊或假設的線性組合來尋找更多精準假設。mh-mc技術以解碼器處更復雜的代價來提高恢復性能。其后又提出基于彈性網絡使用mh和sh重建組合方案，其以與tikhonov正則化重建相比更復雜的代價實現可接受的性能。之后又出現如假設集合更新和動態參考幀選擇算法。測量域和像素域中連續部署mh預測的方法，以開發兩級mh重建方案，并且rli等呈現空時量化和運動對準重建以改善性能的cvs系統等等。但是，仍然有一些問題需要解決，因為釋放了編碼器的計算負擔，我們可以通過簡單算法得到邊信息(si)，但非關鍵幀重構處理不能利用粗略預測有效地執行。

技術實現要素：

基于背景技術存在的技術問題，本發明目的之一在于提供一種新的基于多假設預測的分布式圖像壓縮感知視頻圖像處理框架，其中計算三個側面信息候選以選擇改進傳統的mh預測算法，在解端利用雙向估算計算出候選邊信息，并引進新算法計算相關系數，選取關鍵邊信息，恢復非關鍵幀。

一種多假設預測的壓縮感知視頻處理方法，所述處理方法的結構框架包括編碼端和解碼端；在所述編碼端，為提高視頻重建質量，并根據實時性要求，視頻序列幀被分為關鍵幀和非關鍵幀，每兩幀構成一個圖像組(gop，groupofpicture)，即gop等于2。通常奇數幀為關鍵幀，偶數幀為非關鍵幀。根據壓縮感知理論，關鍵幀和非關鍵幀均通過測量矩陣φ獲得測量值，不同的是，關鍵幀的測量率高，非關鍵幀的測量率低；在所述解碼端，關鍵幀經過基于塊平滑投影的landweber(bcsspl)重建算法進行解碼，然后經過多假設預測算法和殘差重建后，得到重建后的關鍵幀并存儲；非關鍵幀進行殘差重建后，與根據關鍵幀產生的邊信息一起聯合解碼，得到重建后的非關鍵幀。最后，將解碼后的關鍵幀和非關鍵幀按照幀順序整合成視頻序列并輸出。

優選的，所述邊信息根據已解碼的相鄰關鍵幀經過多假設預測mh算法求得。

多假設預測mh算法的方法步驟如下：

(1)運用雙向運動估算計算出三個候選邊信息sii(i＝0,1,2)；

(2)分別計算非關鍵幀與三個候選邊信息的相關系數，選取相關性最高si信息。

(3)在圖像重構時，在測量域，利用si信息的多假設預測生成一種信號殘差，并計算假設的最佳線性組合，用改進的多尺度分塊壓縮感知ms-bcs-spl技術重構圖像。

優選的，根據加權正則化tikhonov矩陣計算假設最佳線性組合。

一種多假設預測的壓縮感知視頻處理方法應用于視頻圖像處理。

與現有技術相比，本發明具有的有益效果在于：

本發明中提出的一種基于mh預測的新的分布式壓縮視頻感測框架，可以在低復雜度編碼器處捕獲和壓縮視頻，并且在解碼器處有效地重建視頻。所提出的框架可以通過mh預測和bime估計初始邊信息。根據相關系數選擇邊信息，并用于恢復非關鍵幀。實驗模擬結果表明，本發明所提出的框架可以提供比原始的mh-bcs-spl算法更好的重建質量。

附圖說明

附圖用來提供對本發明的進一步理解，并且構成說明書的一部分，與本發明的實施例一起用于解釋本發明，并不構成對本發明的限制。在附圖中：

圖1為本發明提出的一種多假設預測的壓縮感知視頻處理方法的的cvs編解碼器的框圖；

圖2為一種多假設預測的壓縮感知視頻處理方法基于多預測假設生成邊信息框圖；

圖3為akiyo序列的非關鍵幀采用兩種算法在不同采樣速率下得出的psnr平均值；

圖4為coastguard序列的非關鍵幀采用兩種算法在不同采樣速率下得出的psnr平均值；

圖5為foreman序列的非關鍵幀采用兩種算法在不同采樣速率下得出的psnr平均值；

圖6為stefan序列的非關鍵幀采用兩種算法在不同采樣速率下得出的psnr平均值。

具體實施方式

下面結合具體實施例對本發明作進一步解說。

在傳統mh-bc-spl結構中，壓縮感測通過使用維度m×n的一些基底φ測量維度n的信號x的投影來組合信號捕獲和維數降低，其中m<<n。測量向量y被獲得為：

y＝φx(1)

其中x∈rⁿ,y∈r^m。如果在一些變換基ψ中x足夠稀疏，則通過y優化重構x，如下：

其中ψ和φ充分不相干，m足夠大。

壓縮采樣率定義為r＝m/n。

通常，φ是隨機矩陣，使得它與任何選擇的ψ不相干。在實際應用中，大多數自然信號在任何變換基ψ中都不是真正稀疏的。

然后，x的重構問題的可以由公式(2)變化為對于邊界的等式：

為了解決公式(3)中的松弛重建的問題，l.gan提出了一種通過密集的φ去除x的全局采樣，并且用塊對角測量矩陣來代替的一種基于塊的cs(bcs)算法。當對于每個塊使用相同的φb時，φ可采取塊對角線形式如下：

可以以逐塊的方式yi＝φbxi重寫公式(1)，其中xi是圖像的塊i。φb是大小為mb×b²的測量矩陣，bcs算法的測量速率為rb＝mb/b²。

在本發明中，我們將使用改進bcs-spl進行圖形恢復重建。

1、基于多預測假設分布式壓縮感知的視頻編解碼器結構框架

如圖1所示，虛線左邊代表編碼端，右邊代表解碼端。在編碼端分拆分視頻流，分塊關鍵幀與非關鍵幀。

讓x1表示關鍵幀。在解碼器處關鍵幀的圖像重構的方法是：

(1)采用基于平滑投影landweber的分塊cs圖像重構方法(bcs-spl)對關鍵幀x1進行圖像初始重構；

(2)通過對圖像關鍵幀的測量值y1初始重構圖像，通過多假設性預測獲得預測幀

(3)關于多假設預測生成x1與之間信號殘差

(4)因為測量值y1可以簡單通過關鍵幀信息x1與其測量矩陣φ1的行向量內積獲得，將殘差信號r1映射到測量基中得到測量值d1：

運用基于平滑投影landweber的分塊cs圖像重構方法(bcs-spl)算法重建測量值d1得到初始殘差信號

關鍵幀x1可以通過預測幀與初始殘差信號殘差信號r1近似表示

令x2表示非關鍵幀，它可以由關鍵幀x1產生的邊信息進行解碼。

如圖2所示，由多假設預測mh算法得出邊信息si，則非關鍵幀殘差信號r2與非關鍵幀x2及邊信息si的關系是：

d2＝φ2r2＝φ2(x2-si)＝y2-φ2·si(6)

其中，φ2和y2分別表示非關鍵幀x2的測量矩陣與測量值。

同理，在運用bcs-spl算法重建測量值d2到重建的殘差邊信息

非關鍵幀x2可由邊信息與殘差邊信息重建：

2、運用多預測假設在測量域估計邊信息

如圖1中所示，非關鍵幀的圖像重構質量極大地依賴于生成的邊信息的質量。為了充分利用兩個連續關鍵幀和非關鍵幀之間的相似性，提出的基于測量域中的mh的邊信息生成算法如圖2所示。

令和在時間域上相鄰的兩個重構的關鍵幀，sn是非關鍵幀，算法如下：

(1)通過雙向運動估算(bime)得出初始邊信息si。

(2)由初始邊信息si與測量出的非關鍵幀sn做多預測假設，得出邊信息si0

(3)同理，由初始邊信息si與關鍵幀和分別做多預測假設得出邊信息si1和si2.。

(4)由獲得的三個候選邊信息sii(i＝0,1,2)分別與非關鍵幀sn計算其相似性，選出相似性最高的sii負責重構非關鍵幀。

(5)采用相關系數函數r(y1,y2)來表示兩幀之間的相關性，函數如下所示：

其中y1和y2是分塊測量的不同塊的測量向量，n是測量向量的長度。

3、對于運用邊信息si做多假設預測重構非關鍵幀步驟，做如下詳細解答。

(1)令x表示原始圖像，表示預測圖像。則關于x與之間的殘差信號r可以表示為

(2)在測量域，殘差信號r可由公式計算出。

(3)通過一種圖像壓縮感知重建算法r(d,φ)，由公式得出近似重構圖像因此重構圖像恢復質量在很大層度上依賴于預測圖像的精準度。

預測與原始圖像最相似的圖像相似度的問題可以表示為：

其中p(xref)是相鄰的關鍵幀或通過運動估計生成的邊信息。

由于原始圖像在解碼器處未知，我們用近似來替換x，并且可以(8)可以重寫為

近似圖像可以轉換到測量域并且計算為：

由于測量值y在解碼器處可以測得，因此我們可以提高預測的準確度。等式(10)可以通過多假設預測來求解。

需要預測的每個塊被認為是關鍵幀中的邊信息或多個關鍵幀種塊的最佳線性組合，記為

其中其中ω是最優線性組合系數，是由所有候選塊組成的矩b²×mb陣，m是假設預測塊的總數，中列向量是每個假設預測塊的列表示，將(10)代入(9)并得到:

其中是懲罰項，λ是拉格朗日參數。γ是對角矩陣表示為：

h1，...，hk是的的列元素。對于每個塊，則ω可以通過通常的tikhonov解直接計算：

通過將(13)代入(11)，可以獲得預測塊最后，將所有預測塊與邊信息si放在一起重建非關鍵幀。

驗證實驗：為了評估本發明提出的新框架及算法，在http://trace.eas.asu.edu/yuv/網站中做具有qcif格式的標準測試視頻序列檢測實驗。

關鍵幀的采樣率為0.7，非關鍵幀的采樣率為0.1至0.5；本實驗中每個圖像塊b大小為16×16，參考幀相對應得圖像搜索區域：空間窗口大小w(圖像塊及其周圍)±15個像素范圍內。

使用本發明所提出的算法和原始mh-bcs-spl算法，針對四個序列(即akiyo，coastguard，foreman和stefan)的不同采樣速率測出平均psnr性能的平均值，結果見表1。

表1.采用平均psnr(db)描述的不同采樣率下的非關鍵幀重構質量

(單位：db).

結論：表1中的數據描述了不同采樣率下不同視頻的非關鍵幀重建質量。本發明提出的算法和mh-bcs-spl算法相比，重建質量有0.3-1db的提高。對于運動平緩的akiyo序列和運動不太劇烈的coastguard序列，本發明提出的算法提高了1db左右；對運動劇烈的foreman和stefan序列，本發明提出的算法提高0.3db左右。

從圖3-6中可以看出我們的改進mh-bcs-spl框架在整個測試范圍內提供更好的圖像重建質量。對于具有快速或復雜運動的序列，例如coastguard和foreman序列，我們所提出的方法顯示出顯著的性能增益；對于具有低運動的akiyo序列，性能也所提高。

以上所述，僅為本發明較佳的具體實施方式，但本發明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發明揭露的技術范圍內，根據本發明的技術方案及其發明構思加以等同替換或改變，都應涵蓋在本發明的保護范圍之內。