本發明涉及圖像處理技術,尤其是一種去除圖像沖擊噪聲的方法。
背景技術:
圖像去噪作為低層視覺信息處理中的典型問題一直是研究者們關注的熱點,一方面學者們致力于如何將圖像噪聲去除干凈的同時又盡可能多的保持本真圖像中的關鍵細節特性,另一方面一些新技術和方法可以嘗試用于圖像去噪問題,進而驗證其可行性和優劣性。
噪聲的產生常常伴隨在數字圖像的獲取、存儲及傳輸過程中,若事先對所引入噪聲的分布特性有先驗的認知,那勢必對后續去噪算法的設計有極大的輔助作用。在眾多噪聲類型中,有幾種典型的類型常常用于建模實際環境下的噪聲,它們是高斯噪聲、沖擊噪聲、混合噪聲以及泊松噪聲,其中沖擊噪聲比較特殊,它只在一定比例下污染圖像中的部分像素點,而其余像素點值與本真值完全一致。
因此沖擊噪聲的去除問題類似于圖像修復問題,均需要根據已知信息值估計缺失信息值,只不過沖擊噪聲是均勻分布在圖像全空間中,而圖像修復問題中的缺失信息有可能集中在某一個連續的區域之中。沖擊噪聲圖像常常被視為遭受了“異值”的影響,而去除這些異值則可以保持圖像信號的局部平滑,從而確保人們對于真實信息的正確理解以及后續更高層圖像處理的有效性。
經典的去除沖擊噪聲的方法有中值濾波、自適應中心加權中值濾波(adaptivecenterweightedmedianfilter,acwmf)、方向加權中值濾波、基于排序絕對差異統計量(rank-orderedabsolutelydifference,road)的三邊濾波、細節保持變分模型(detailedpreservingvariationalmodel,dpvm)、基于決策的細節保持變分技術等。這些方法經多年的應用已驗證了其魯棒性和穩定性,但也存在著一定的缺點。例如:被廣泛使用的acwmf在沖擊噪聲比率大于30%時其噪聲檢測性能急劇下降,成為后續噪聲濾波技術的巨大瓶頸;基于road的三邊濾波器在噪聲污染程度較高時,濾波鄰域中有效信息點數量不足,導致恢復圖像不能令人滿意;而dpvm也僅僅利用了有限的局部鄰域信息來最小化代價函數,當面對具有豐富紋理信息的圖像時無法獲得更佳的去噪效果。近些年來,一些新穎的方法被用于圖像去噪問題,例如:非局部平均濾波法、基于稀疏表示的圖像去噪技術、bm3d算法、基于神經網絡的去噪方法等,經證實發現這些方法不僅可以用于不同類型噪聲的去除,而且與經典的去噪算法相比具有更好的性能。
技術實現要素:
為了更加充分地發揮新方法的優勢,本發明以被沖擊噪聲污染的圖像為處理對象,將非局部平均濾波器和稀疏表示去噪技術融合起來,提供了一種新穎的圖像去噪方法。本發明中,噪聲圖像首先在空域中利用非局部相似性進行第一輪濾波,與高斯環境下非局部加權平均濾波不同,我們根據沖擊噪聲的特點,借助road對圖像塊的權重進行了精心設置,使得第一輪去噪結果(稱為“中間去噪圖像”)已經較好;然后基于此中間去噪圖采集到一定量的樣本,通過k-svd字典學習算法得到適應于該圖的冗余字典;最后,在該冗余字典下,對含噪圖像中的每個小塊進行稀疏編碼,其中沖擊噪聲值被替換為第一輪濾波后的值,再由稀疏編碼系數和冗余字典的乘積來恢復出本真圖像塊,所有已恢復的圖像塊做平均融合即得最終去噪圖像。
本發明提供的一種去除圖像沖擊噪聲的方法,包括:
步驟1:對噪聲圖像進行非局部平均濾波,得到中間去噪圖像;
步驟2:根據中間去噪圖像進行字典訓練得到冗余字典;將噪聲圖像中的沖擊噪聲污染區域的各像素的像素值替換為中間去噪圖像中對應像素點的像素值,得到修補圖像,根據修補圖像進行稀疏編碼得到稀疏系數向量;
步驟3:根據稀疏系數向量及冗余字典進行圖像重建得到重建圖像;
步驟4:將噪聲圖像中的沖擊噪聲污染區域的各像素的像素值替換為重建圖像中對應像素點的像素值,得到去噪圖像。
步驟1進一步包括:
步驟11:識別噪聲圖像中的沖擊噪聲污染區域ωn及未污染區域
然后對噪聲圖像中的像素點做以下處理:
步驟12:以像素點(i,j)為中心取大小為l1×l1的區域ω1(i,j);令區域ω1(i,j)中像素點(i,j)以外的像素點為(i′,j′);
步驟13:計算反映像素點(i′,j′)沖擊度的權重wr(i′,j′),以及計算以像素點(i′,j′)為中心的區域ω2(i′,j′)與以像素點(i,j)為中心的區域ω2(i,j)之間的相似度ws((i′,j′),(i,j));其中區域ω2(i′,j′)及區域ω2(i,j)均為l2×l2;
執行步驟14得到中間去噪圖像:
步驟14:計算公式
步驟2中稀疏系數向量由以下步驟得到:
步驟21:對中間去噪圖像劃塊,每個塊的大小為l3×l3,相鄰塊之間有重疊;令圖像塊左上頂點為像素點(i,j);
對每個圖像塊做如下處理,得到各個圖像塊的稀疏系數向量:
步驟22:計算該圖像塊的稀疏系數向量為:
其中,rij表示提取左上頂點為像素點(i,j),大小為l3×l3的圖像塊并向量化的操作矩陣,x0為中間去噪圖像,d為冗余字典,t為設定閾值。
步驟2還包括,對中間去噪圖像劃塊,每個塊的大小為l3×l3,相鄰塊之間有重疊;選取至少部分圖像塊組成樣本集,并利用該樣本集進行字典訓練得到冗余字典。
步驟3進一步包括:
對每個圖像塊進行步驟31的處理;
步驟31:計算
步驟32:按照各個圖像塊左上頂點的坐標將各個圖像塊拼湊成噪聲圖像大小的拼湊圖像,其中相鄰圖像塊的重疊像素點的像素值為多次疊加的結果;統計出拼湊圖像中各像素點的估計值個數,拼湊圖像中的像素點的像素值除以該像素點對應的估計值個數,得到重建圖像。
本發明還提供了一種與上述方法步驟一一對應的去除圖像沖擊噪聲的系統,包括:
非局部平均濾波模塊,用于對噪聲圖像進行非局部平均濾波,得到中間去噪圖像;
稀疏表示模塊,用于根據中間去噪圖像進行字典訓練得到冗余字典;將噪聲圖像中的沖擊噪聲污染區域的各像素的像素值替換為中間去噪圖像中對應像素點的像素值,得到修補圖像,根據修補圖像進行稀疏編碼得到稀疏系數向量;
圖像重建系統,用于根據稀疏系數向量及冗余字典進行圖像重建得到重建圖像;
圖像融合系統,用于將噪聲圖像中的沖擊噪聲污染區域的各像素的像素值替換為重建圖像中對應像素點的像素值,得到去噪圖像。
非局部平均濾波模塊進一步包括:
污染區域劃分單元,用于識別噪聲圖像中的沖擊噪聲污染區域ωn及未污染區域
權重計算單元,以像素點(i,j)為中心取大小為l1×l1的區域ω1(i,j);令區域ω1(i,j)中像素點(i,j)以外的像素點為(i′,j′);計算反映像素點(i′,j′)沖擊度的權重wr(i′,j′);
相似度計算單元,用于計算以像素點(i′,j′)為中心的區域ω2(i′,j′)與以像素點(i,j)為中心的區域ω2(i,j)之間的相似度ws((i′,j′),(i,j));其中區域ω2(i′,j′)及區域ω2(i,j)均為l2×l2;
中間去噪單元,用于計算公式
稀疏表示模塊進一步包括:
圖像塊劃分單元,用于對中間去噪圖像劃塊,每個塊的大小為l3×l3,相鄰塊之間有重疊;令圖像塊左上頂點為像素點(i,j);
稀疏系數向量計算單元,用于計算該圖像塊的稀疏系數向量:
其中,rij表示提取左上頂點為像素點(i,j),大小為l3×l3的圖像塊并向量化的操作矩陣,x0為中間去噪圖像,d為冗余字典,t為設定閾值。
稀疏表示模塊還包括,冗余字典訓練單元,用于對中間去噪圖像劃塊,每個塊的大小為l3×l3,相鄰塊之間有重疊;選取至少部分圖像塊組成樣本集,并利用該樣本集進行字典訓練得到冗余字典。
圖像重建模塊進一步包括:
圖像塊重建單元,用于計算
圖像拼湊單元,用于按照各個圖像塊左上頂點的坐標將各個圖像塊拼湊成噪聲圖像大小的拼湊圖像,其中相鄰圖像塊的重疊像素點的像素值為多次疊加的結果;統計出拼湊圖像中各像素點的估計值個數,拼湊圖像中的像素點的像素值除以該像素點對應的估計值個數,得到重建圖像。
由于采用了上述技術方案,本發明的有益效果是:本發明充分利用了非局部平均濾波的結果,為稀疏表示去噪環節提供了更好的目標信號和冗余字典。經大量實驗驗證該方法不僅能獲得比單獨使用非局部平均濾波器及稀疏表示去噪技術更好的去噪效果,而且與經典方法相比,在紋理圖像的去噪表現上有非常顯著的提升。
附圖說明
本發明將通過例子并參照附圖的方式說明,其中:
圖1為本發明方法流程框圖。
圖2為測試圖片(從左到右依次為:barbara、lena、boat、pentagon、pepper)。
圖3~5為隨機值沖擊噪聲比率p分別等于10%、30%及50%時幾種算法的去噪結果。
圖6為隨機值沖擊噪聲比率p=10%時的barbara對應的去噪圖像。從(a)到(h)分別為:(a)為含10%隨機值沖擊噪聲的barbara圖像、(b)acwmf的去噪圖、(c)roadtrifilter的去噪圖、(d)rvnlm的去噪圖、(e)iacwmf+sparse的去噪圖、(f)idpvm的去噪圖、(g)本發明算法的去噪圖、(h)本真barbara圖。
圖7為隨機值沖擊噪聲比率p=30%時的pentagon對應的去噪圖像。從(a)到(h)分別為:(a)為含30%隨機值沖擊噪聲的pentagon圖像、(b)acwmf的去噪圖、(c)roadtrifilter的去噪圖、(d)rvnlm的去噪圖、(e)iacwmf+sparse的去噪圖、(f)idpvm的去噪圖、(g)本發明算法的去噪圖、(h)本真pentagon圖。
圖8為隨機值沖擊噪聲比率p=50%時的boat對應的去噪圖像。從(a)到(h)分別為:(a)為含50%隨機值沖擊噪聲的boat圖像、(b)acwmf的去噪圖、(c)iacwmf的去噪圖、(d)rvnlm的去噪圖、(e)iacwmf+sparse的去噪圖、(f)idpvm的去噪圖、(g)本發明算法的去噪圖、(h)本真boat圖。
具體實施方式
本說明書中公開的所有特征,或公開的所有方法或過程中的步驟,除了互相排斥的特征和/或步驟以外,均可以以任何方式組合。
本說明書中公開的任一特征,除非特別敘述,均可被其他等效或具有類似目的的替代特征加以替換。即,除非特別敘述,每個特征只是一系列等效或類似特征中的一個例子而已。
如圖1,本發明提供的一種去除圖像沖擊噪聲的方法,包括:
步驟1:對噪聲圖像進行非局部平均濾波,得到中間去噪圖像;
步驟2:根據中間去噪圖像進行字典訓練得到冗余字典;將噪聲圖像中的沖擊噪聲污染區域的各像素的像素值替換為中間去噪圖像中對應像素點的像素值,得到修補圖像,根據修補圖像進行稀疏編碼得到稀疏系數向量;
步驟3:根據稀疏系數向量及冗余字典進行圖像重建得到重建圖像;
步驟4:將噪聲圖像中的沖擊噪聲污染區域的各像素的像素值替換為重建圖像中對應像素點的像素值,得到去噪圖像。
下面對各個步驟作進一步說明。
針對沖擊噪聲的非局部平均濾波
非局部平均顧名思義,即:對目標像素點非局部鄰域中的像素值做加權平均,公式如下所示:
其中,ω1(i,j)表示以目標像素點(i,j)為中心的區域,由于自然圖像中普遍存在著非局部相似的特性,因此ω1可以擴展至圖像的全空間ω。在實際應用中,為了避免濾波運算太耗時,選取ω1(i,j)為以(i,j)為中心的一定范圍內的區域,又稱為“搜索”區域,用l1×l1的正方形窗口表示。w(i′,j′)則為ω1中的某一像素點值y(i′,j′)對本真信息的貢獻度,它的大小取決于(i′,j′)與(i,j)局部區域的相似度,通常是通過計算兩個局部區域所形成向量之間的高斯距離來確定的。公式(1)是非局部平均濾波器的一般表達式,但在沖擊噪聲環境下卻不能直接使用。
在隨機值沖擊噪聲的干擾下,非局部平均濾波無需對圖像中每個像素點做,僅僅需要將運算限制在噪聲空間中。對于公式(1),ω1(i,j)中除中心點(i,j)以外的像素點(i′,j′)的像素值對x0(i,j)的貢獻要考慮到兩個因素:一是(i′,j′)點是否被沖擊噪聲污染以及污染程度如何,二是(i,j)點與(i′,j′)點的相似度。
為了量化以上兩點,我們需要事先確定出噪聲圖像y中每個像素點的“沖擊度”,借助排序絕對差異統計量(即road值)來進行計算。設r(i′,j′)表示y(i′,j′)的road值(具體計算參見文獻garnettr,huegericht,chuic,etal.auniversalnoiseremovalalgorithmwithanimpulsedetector[j].ieeetransactionsonimageprocessing,2005,14(11):1747–1754.)。通過設置兩個關鍵門限t1和t2,我們利用如下線性函數計算出像素點的“沖擊度”。令wr(i′,j′)表示與“沖擊度”相關的權重:
當wr(i′,j′)=0時,表示(i′,j′)位置的像素點是一個沖擊噪聲,y(i′,j′)對x0(i,j)的貢獻必定為0;而wr(i′,j′)=1時,情況則相反,表示(i′,j′)位置的像素點是一個未被沖擊噪聲污染的點,y(i′,j′)可以參與對x0(i,j)值的估計;那些0<wr(i′,j′)<1的像素點表示(i′,j′)位置的像素點盡管受到了沖擊噪聲的污染,但是污染程度不算太高,可以在一定程度上參與濾波運算,wr(i′,j′)越是靠近1,則y(i′,j′)參與運算的權重越高。自然地,根據wr(·)值確定出噪聲空間和非噪聲空間,即:ωn={(i,j),wr(i,j)≠1},
其次,再計算以(i′,j′)和(i,j)點為中心的局部區域之間的相似度。在隨機值沖擊噪聲干擾下,單計算兩個局部區域所形成向量之間的高斯距離已無法正確刻畫其相似度,我們通過下式來對其進行計算。令ws((i′,j′),(i,j))表示(i′,j′)與(i,j)之間的相似度,ω2(i′,j′)與ω2(i,j)分別表示(i′,j′)與(i,j)周圍的局部區域(又稱為“匹配區域”,通常用l2×l2的正方形區域表示),則:
上式中,(k1,k2)表示區域ω2中的像素位置相對于中心像素的坐標,ga(·)是以a為標準差的高斯核函數,本發明中標準差a的取值優選為2,h用來控制指數函數的衰減速度,取值范圍為[5,8]之間,a及h的取值不限于前述范圍,本領域技術人員可以根據濾波效果調整。式(3)巧妙地利用wr(·)值阻止了ω2(i′,j′)與ω2(i,j)中被沖擊噪聲嚴重污染的點在相似度計算中起作用,從而能正確反映(i′,j′)與(i,j)之間的相似度。
綜上,在隨機值沖擊噪聲干擾下,非局部平均濾波器的完整表達式如下:
與公式(4)相關的有幾個重要參數,它們分別是搜索區域窗口大小l1、匹配區域窗口大小l2以及確定wr(·)值的門限t1和t2。經過大量統計分析與實驗數據分析,我們在去噪性能和計算速度上做出折中:設l1=13,l2=7,t1=150,t2=20(隨機值沖擊噪聲比率p≤25%),t1=380,t2=100(隨機值沖擊噪聲比率p>25%)。無論在p較小還是較高的情況下,所得到的x0均是一幅良好的去噪圖像,尤其對于紋理性較強的y來說,非局部平均濾波能充分利用搜索區域中的相似信息,使得加權濾波有顯著的去噪效果,同時算法擁有較高運算效率。
基于稀疏表示的缺失信號恢復
盡管x0已經是良好的去噪圖,但是還有進一步提升的空間,因此我們稱x0為“中間去噪圖像”。在x0的基礎上,利用信號的稀疏表示先驗知識來重建更好的去噪圖像。實際上,基于稀疏表示的圖像去噪技術的本質是:含噪圖像塊信號與對應的本真信號在某一表示字典下擁有相同的稀疏表示系數。因此,只要通過稀疏編碼技術求解出含噪圖像塊信號在某一字典下的稀疏表示系數,即可通過該系數與字典的乘積重建出本真信號,再將所有重建圖像塊做平均融合就能得到最終的去噪圖。因此,如何對含噪塊信號進行稀疏編碼成為整個問題的關鍵。
令
上式中,||×||0表示求取一個向量的零范數,即:統計向量中非零元素的個數。t為信號yij與daij之間的殘差門限。得到
通常冗余字典d有兩種方式可以獲取:一種是采用有解析表達式的函數集,例如過完備離散余弦字典;另一種是采用樣本訓練的方式,即采集與被試信號相關的信號樣本集,從中學習出自適應性更好的冗余字典。盡管前者在設計時快速方便,但本發明中我們按照對噪聲圖像分塊同樣的操作對中間去噪圖像x0分塊,并將其中至少一部分圖像塊作為訓練樣本,利用字典學習算法k-svd捕獲樣本的特征,使得訓練所得的d對輸入信號的表示系數具有更好的稀疏性。
回到公式(5),為了求出
進而,通過b限制yij中的“壞”點在稀疏編碼中起作用,即:
上式中
上式中,1是長度為m的全1列向量。式(8)中
考慮到rijx0已是不含任何噪聲的信號向量,因此取t=l3·52(其中5是像素值的合理偏移值),使omp獲得的
綜上,我們將完整的稀疏去噪方法用如下三個式子表示。和許多圖像恢復問題的處理方式一樣,我們首先對圖像進行塊的拆分,為了避免出現不良的邊界效應,圖塊之間需有一定的重合度。用p表示包含了所有重疊圖像塊左上角像素坐標的集合,對每個小塊進行稀疏編碼,根據編碼向量重建出新的圖塊,再對所有重建出的圖塊做融合平均,即得最終的去噪圖像。
step1:
step2:
step3:
這里解釋一下z和w的含義:
step3意味著將噪聲圖像y中的沖擊噪聲污染區域的各像素的像素值替換為重建圖像中對應像素點的像素值,便得到去噪圖像。
實驗及效果比對
我們選取了幾幅有代表性的圖片做仿真實驗,它們分別是“barbara”、“lena”、“boat”、“pentagon”、“pepper”,每幅圖均是8位的灰度圖像,大小為512×512,如圖2所示。
在仿真對圖像的污染時,我們向本真圖像中加入10%-50%比率的隨機值沖擊噪聲點,以含蓋高、中、低污染率的情況。為了衡量所提出算法的去噪性能,我們選取了有代表性的幾種算法或與所提算法相關的算法做對比,它們分別是:廣泛用于隨機值沖擊噪聲去除的acwmf;acwmf的改進算法iacwmf;基于road的三邊濾波器,實質上是局部加權平均濾波器,簡寫為roadtrifilter;本發明描述的針對隨機值沖擊噪聲的非局部平均濾波算法,用rvnlm來表示;本發明中描述的基于稀疏表示的去噪框架,只是中間去噪圖像用iacwmf來替代,用iacwmf+sparse來表示;基于噪聲分級決策的細節保持變分方法,用idpvm表示。將含有不同比率的噪聲圖像輸入到本發明算法與對比算法之中,然后得到去噪后的圖像。利用兩種量化指標來客觀評估去噪圖像的質量:一是峰值信噪比psnr(peaksignal-to-noiseratio),單位db,用以下式子來計算:
其中m為圖像的每行的像素個數,n為圖像的每列的像素個數,
二是平均結構相似性指數測量mssim(meanstructuresimilarityindexmeasure),具體計算參見文獻wangz,bovikac,sheikhhr,etal.imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[j].ieeetransactionsonimageprocessing,2004,13(4):600–612。去噪圖像
圖3~5中的表格列舉出在p=10%、30%、50%的情況下各算法對不同類型圖像的去噪結果。表中的粗體數據指的是該列中最好的數據值。同時為了從主觀上展示出去噪的效果,我們選取了幾幅有代表性的圖像做展示,如圖6~8所示。本發明所提出的去噪算法充分利用了圖像空間域的非局部相似性以及信號的稀疏表示先驗知識,巧妙地將二者融合到完整的去噪框架中,獲得了較好的去噪結果。尤其對于紋理結構較豐富的圖,本發明算法能夠利用圖像本身所蘊含的先驗信息,在去噪過程中發揮其有用作用。
本發明并不局限于前述的具體實施方式。本發明擴展到任何在本說明書中披露的新特征或任何新的組合,以及披露的任一新的方法或過程的步驟或任何新的組合。