本發明屬于數據挖掘與機器學習領域，涉及用于對圖像數據的有損壓縮。

背景技術：

隨著大數據時代的來臨，數據正以前所未有的速度增長和累積，數據處理技術正在經歷一次全新的變革。首先，數據的體量不斷擴大，數據集合的規模已經從gb、tb到了pb，而網絡大數據甚至以eb和zb等單位來計數；其次，網絡大數據類型繁多，包括結構化數據、半結構化數據和非結構化數據.在現代互聯網應用中，呈現出非結構化數據大幅增長的特點；再次，網絡大數據往往呈現出突發涌現等非線性狀態演變現象，因此難以對其變化進行有效評估和預測.另一方面，網絡大數據常常以數據流的形式動態、快速地產生，具有很強的時效性。隨著大數據時代的來臨數據壓縮技術也在不斷發展,因為存儲設備的空間畢竟是有限的,而圖片，游戲、音頻、視頻在計算機中應用中越來越普遍，但它們又非常占據空間,所以壓縮技術前景非常廣闊并且不斷在發展。

關于數據的壓縮算法雖早已有研究，如游程編碼、差分編碼、lzw算法、哈夫曼編碼、jpeg、jpeg200、zip等，這些壓縮算法雖然能夠壓縮數據，使其能夠便于存儲和傳輸，但面對當今極大量的、結構復雜、增長速度極快的數據，越來越顯得力不從心。本研究課題以大數據為研究背景，通過研究數據壓縮算法，提出把深度學習模型用于數據的壓縮，從而提高數據的壓縮比，降低數據冗余，方便數據傳輸和存儲，具有重大的意義。

技術實現要素：

本發明首先對五張原始灰度圖像進行分塊，然后把具有相同特征的塊兒聚集到一類形成訓練數據集，接著把每一個訓練數據集輸入到相對應的多層稀疏自動編碼器(mase)模型中進行訓練，并在訓練過程中使用粒子群優化(pso)算法進行參數尋優，最后使用測試樣本對模型的性能進行測試并分析實驗結果。本發明的mase是指稀疏自動編碼器和bp神經網絡的混合神經網絡，稀疏自動編碼器能夠將輸入層的數據稀疏的映射到隱含層，得到稀疏的特征便于神經網絡來學習數據的特征。通過將稀疏自動編碼器的輸出輸入到bp網絡中，然后通過bp網絡的誤差反傳進一步調節自動稀疏編碼器的網絡權重。

為實現上述的發明目的，本發明采用下述的技術方案：

一種基于深度學習模型的靜態圖像壓縮方法，包括如下步驟：

步驟一：圖像分塊

把圖像分成若干個8*8維的圖塊；

步驟二：圖塊聚類

使用k-means聚類算法把上述步驟一所分成的具有相同特征的圖塊聚集在一起，形成訓練數據集；

步驟三：pso參數尋優與模型訓練

采用多層稀疏自動編碼器(msae)模型，用粒子群優化(pso)算法來確定該模型的隱含層的層數和神經元個數兩個參數，并把所述具有相同特征的圖塊輸入到該模型中完成圖像的壓縮和解壓縮；

步驟四：模型測試

采用上述步驟一至步驟三，分別進行圖像的8倍、16倍、32倍實驗，并在不同測試樣本和訓練樣本下，把測試樣本圖像作為三個msae網絡的測速集，測試該模型的壓縮和解壓效果。

相同的特征包括邊緣區域特征、平坦區域特征和紋理區域特征。所述邊緣區域是圖像灰度變化明顯的區域，標志著圖像特征的劇烈轉變；所述平坦區域是圖像中灰度變化平緩的區域，是圖像的背景或者是圖像的單一特征；所述紋理區域是圖像中的灰度呈一定形狀分布的區域，標志著圖像的紋理特征。利用k-means聚類算法把所述圖塊按照區域特征、平坦區域特征和紋理區域特征分成三類。定義壓縮倍數r＝no/nc，其中no為原始數據的維數，nc為壓縮后數據的維數即最后一層隱含層的個數。利用五幅圖像lena、baboon、jet、peppers、sailboat分別作為測試樣本和訓練樣本，進行模型測試。

本發明在實驗過程中與bp神經網絡的識別結果進行對比，并且進行了交叉驗證，主要的算法性能評價指標選用了psnr值。結果顯示在評價指標上k-means加msae網絡的混合壓縮模型在圖像壓縮和重構上比ann網絡取得了更好的重構效果。

附圖說明

圖1為本發明流程圖。

圖2為本發明模型訓練示意圖。

圖3為本發明模型示意圖。

具體實施方式

下面結合附圖和具體實施方式對本發明作進一步的說明。

圖1為本發明示意圖。參照圖1所示，首先對五張原始灰度圖像進行分塊，然后把具有相同特征的塊兒聚集到一類形成訓練數據集，接著把每一個訓練數據集輸入到相對應的多層稀疏自動編碼器(mase)模型中進行訓練并在訓練過程中使用pso算法進行參數尋優，最后使用測試樣本對模型的性能進行測試并分析實驗結果。具體實現步驟如下：

步驟一：圖像分塊

(1)圖像分塊。原則上說，我們可以把原始的訓練樣本輸入到多層稀疏自動編碼器模型然后對這個模型進行訓練，因為多層稀疏自動編碼器模型可以自動地學習樣本數據的內在特征。然而，如果我們不對訓練樣本進行預處理，就需要稀疏自動編碼器模型擁有更加復雜的結構(更多的隱含層和神經元節點)去擬合樣本數據，足夠多的數據去訓練模型，同時還對我們的硬件提出了較高的要求。由于硬件設備的限制和時間成本的控制,我們對實驗數據的預處理是有必要的。對于實驗數據的預處理不僅可以降低模型的復雜度,縮短訓練時間,同時還可以降低實驗設備的要求,有助于我們在有限的實驗條件下進行深度學習模型的可行性驗證。在開始試驗之前，我們對試驗圖像進行了圖像分塊和圖像聚類的處理。由于單幅圖像的維度巨大，我們需要使用更復雜的模型才能充分提取一整幅圖像的特征，而且當我們把一整幅圖像輸入到模型的時候，模型的收斂速度會變慢，模型會很容易出現欠擬合的情況。因此，本發明先把圖像分成8*8的圖塊兒，這樣一幅原本512*512維的灰度圖像就變為8*8維的灰度圖像塊，這樣做大大簡化了模型的復雜度，加快了模型收斂速度，也方便模型進行特征提取。本文中使用baboon、jet、lena、peppers、sailboat五幅圖像分別作為訓練樣本和測試樣本進行說明。

步驟二：圖塊聚類

一般說來，我們可以把一幅圖像分為邊緣區域，平坦區域和紋理區域。邊緣區域，是圖像灰度變化明顯的區域，往往標志著圖像特征的劇烈轉變；平坦區域，是圖像中灰度變化平緩的區域，常常是圖像的背景或者是圖像的單一特征；紋理區域，是圖像中的灰度呈一定形狀分布的區域，一般標志著圖像的紋理特征。因此，我們使用聚類算法把具有相同特征的圖塊兒聚集到一起，然后我們使用一個壓縮模型對這類圖塊兒進行圖像的壓縮和解壓研究。這樣做有助于壓縮模型提取這類特征，避免了不同特征的圖塊兒對于壓縮模型的擾動，而且大大增強了模型的學習效率，保證了在高壓縮比的情況下重構圖像的質量更好。

步驟三：pso參數尋優和模型訓練

在多層稀疏自動編碼器中有三個重要參數直接地影響了模型的性能，隱含層的層數，隱含層神經元的個數以及節點轉換函數。隱含層的層數和隱含層中神經元的個數的確定一直是學術界的難題，沒有統一的理論，大多數研究人員的對于這些參數的選擇更多的是依賴經驗和大量重復試驗來確定。一般說來，隱含層的神經元個數越多，網絡對輸入數據的特征表達就越完整，所壓縮的數據也就更少，在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節點數；隱含層層數越多，網絡對于原始數據的抽象能力就更強，更加能夠提取出數據的核心特征，也更加容易壓縮，增加隱層數可以降低網絡誤差，提高精度，但也使網絡復雜化，收斂速度變慢。

本文對于隱含層的層數和神經元個數的確定采用粒子群優化算法來確定。神經網絡的參數好壞影響了神經網絡對數據壓縮效果的好壞，粒子群優化算法可以在給定的參數范圍內查找到一組對于網絡效果較優的參數集合。

粒子群算法采用“群體”與“進化”的概念，依據微粒的適應值大小進行操作，是一種基于疊代的優化工具，系統初始化為一組隨機解，通過疊代搜尋最優值，粒子在解空間追隨最優的粒子進行搜索，將每個體看作是在n維搜索空間中的一個沒有重量和體積的微粒，并在搜索空間中以一定的速度飛行，直到達到最大迭代次數和獲得最優解算法才結束。圖2是模型訓練圖，展示了圖像分塊、圖像聚類、pso參數尋優的步驟。

步驟四：模型測試

使用lena圖像作為三個msae網絡的測速集。首先把lena圖像分割成4096個8*8的圖塊兒，然后使用k-means聚類算法，聚集成三類，最后把同類圖塊兒輸入到對應模型中完成圖像的壓縮和解壓縮實驗。圖3顯示了通過粒子群尋優算法以及樣本集訓練后所獲得的msae網。網絡的輸入層到最后一個隱含層的部分為圖像的壓縮器msae_compress進行圖像壓縮，msae_compress輸出的數據即為要存儲的數據；最后一個隱含層到輸出層的部分為圖像的解壓縮器msae_decompress，輸出數據為重構的圖塊對應的像素值。定義壓縮倍數為r，no為原始數據的維數，nc為壓縮后數據的維數即最后一層隱含層的個數。采用上面實驗步驟，分別進行圖像的8倍、16倍、32倍實驗，并在不同訓練樣本和測試樣本下，測試模型的壓縮解壓效果。

r＝no/nc

表一在記錄的是八倍壓縮倍率的情況下msae模型和ann模型重構的圖像的psnr值。表一中的一行為一次壓縮和解壓縮實驗，其中lena為測試樣本，其余四副為訓練樣本。ann模型的圖像的實驗順序和msae模型的圖像的實驗順序是一樣的。

從表一中的行觀察，我們可以明顯的發現lena的psnr值比其它訓練圖像的psnr值要低1-3個db,這是因為lena沒有參與模型的訓練它，所以它具有的特征是模型沒有學習過的，而訓練圖像的特征是模型充分學習的，所以訓練圖像輸入到模型后所得到的重構圖像比測試圖像的psnr值要高,質量要好。從列觀察，在相同測試樣本和訓練樣本的情況下，bp模型所獲得的測試樣本的重構圖像比msae模型所獲得重構圖像的psnr值要低1-4個db,即使是訓練樣本的重構，ann模型重構圖像的psnr也比msae網絡重構圖像差了很多，說明了msae模型在圖像特征提取，圖像還原上高于bp網絡。

表一.在八倍壓縮率情況下msae模型和ann模型重構圖像的對比

為了避免過學習以及欠學習狀態的發生,防止單幅圖像的特征影響到整個模型的性能和實驗結果,本文使用交叉驗證的方法來測試msae模型的穩定性和可靠性。

將實驗樣本分成五組，每組依次采用五幅圖像中的一幅作為測試樣本,另外四幅作為訓練樣本，這樣在同一個壓縮率情況下進行五次實驗，五幅圖像都會依次作為測試圖像，避免了特殊圖像的特征影響到實驗結果。依據上述思想，分別在8倍，16倍，32倍壓縮率的情況下使用交叉驗證的方法測試模型，實驗結果如表二至表七。

表二.在八倍壓縮率情況下msae模型重構圖像的對比

表三.在八倍壓縮率情況下bp模型重構圖像的對比

表四.十六倍壓縮率情況下，msae重構圖像的psnr對比

表五.十六倍壓縮率情況下，bp重構圖像的psnr對比

表六.三十二倍壓縮率情況下，msae重構圖像的psnr對比

表七.三十二倍壓縮率情況下，bp重構圖像的psnr對比

表二到表六顯示了8、16、32倍壓縮倍率下ann模型和msae模型重構圖像的psnr值。表格2中每一行為一次實驗，其中第一行的第二列是測試圖像，第二行第一列是測試圖像，第三行的第三列是測試圖像，第四行第四列是測試圖，第五行的第五列是測試圖像，同一行其他列為訓練圖像，表格3-6的測試圖像與表格2的情況相同。

實驗結果表明，除了個別的實驗誤差，大體趨勢都是測試樣本比訓練樣本所重構的圖像psnr值要低，質量要差，而重構圖像的psnr值相互之間差別不大。在相同壓縮比的情況下，msae模型的重構圖像比ann模型重構圖像的psnr值高1-3個db，即使在不同壓縮比情況下，msae模型的重構圖像也要比ann模型重構圖像的質量更好，充分說明了msae模型的特征提取能力和適應性更強，模型穩定性更高。

綜合上述實驗結果的比較，k-means加msae網絡的混合壓縮模型在圖像壓縮和重構上比ann網絡取得了更好的重構效果，在相同壓縮比情況下，圖像保留的特征更加全面，圖像失真小，而且在不同的壓縮比情況下，也有非常好的表現，這說明了深度學習模型比淺層學習模型在特征提取方面有著明顯的優勢，更加符生理上人腦的神經網絡多層結構，同時也證明了把深度學習模型運用到圖像壓縮領域是切實可行的，msae模型有較強的容錯性，任何局部的損壞不會影響整體結果，這一特性有助于對有噪圖像的數據壓縮及對壓縮后信息不全圖像的恢復。另外，msae網絡的大規模并行處理能力，為圖像編碼的實時實現創造了條件。