本發明涉及圖像處理技術領域,特別是基于顯著視覺和dmd陣列分區控制的壓縮感知成像方法。
背景技術:
在傳統的香農奈奎斯特采樣定理指導下,信號處理往往面臨兩大難題:模數(a/d)轉換器技術的限制和海量采樣數據的處理壓力。cs理論表明當信號具有稀疏性或可壓縮性時,可以通過全局非自適應線性投影的方式,用遠低于香農奈奎斯特采樣定理要求的頻率獲取信號的全部信息。以dmd的誕生為基礎,cs理論和dmd相結合的壓縮感知成像技術在近年來得到了快速的發展,這不僅可以顯著地節省傳感器的數量,還可以避免了“先采樣后壓縮”帶來的資源浪費。
考慮一幅二維的圖像i,其大小為n1×n2,可認為圖像i是一個n1行n2列的矩陣,將其向量化為x=vec(i),符號vec(·)表示將矩陣向量化為一個一維信號,遵循從上到下、從左到右的原則。對于一維信號x∈rn×1,存在測量矩陣φ∈rm×n(m<<n),采樣率r=m/n,在該矩陣下的線性測量值y∈rm×1,它們的關系如下:
y=φx(1)
式(1)可以看作是原信號x在φ下的線性投影。因為y的維數遠小于x的維數,所以(1)有無窮多個解,一般情況下很難重構原始信號,但因為信號具有可壓縮性并且φ滿足如式(2)所示的約束等矩性(rip)條件,即對于任意k-稀疏信號和常數δk∈(0,1):
理論證明,信號x可以由測量值y通過求解最優l0范數問題精確重構。在此之后也誕生了其他的算法如基于l1范數最小值算法、正交匹配算法、組合算法以及總變差恢復算法(tv)。
現有的壓縮感知成像方法在dmd以全分辨率成像的情況下,成像時間長,數據量相當大,一般情況下計算機會出現內存不足的現象。而在實際應用中,人們往往關注的是感興趣區域(roi)的信息。如果在成像過程中不對roi信息和背景區域信息加以區別的話,往往造成大量的資源浪費,并且得到的roi信息也會不夠細致。人眼對圖像的分辨能力為0.35mm即圖像上兩條相距0.35mm的線條能被人眼區分開,更精細的結構則不能辨別。圖像的分辨率是指圖像中存儲的信息量,衡量的方法有很多種包括每厘米的像素數和每英寸的像素數等。在這里以每厘米的像素數表征圖像的分辨率,人眼能識別的圖像分辨率為每厘米上有10/0.35=28個像素點。當圖像每厘米上的像素點少于28個時圖像為低分辨,表現為圖像模糊或圖像重疊。每厘米上的像素點多于28個時圖像為高分辨,圖形中物體清晰、細節分明。
人類和其他靈長目動物都能表現出有選擇性的視覺行為,如眼動、注意和記憶等。選擇性是視覺眾多功能中最根本的一條,表現為舍棄一部分信息,從而有效地處理重要的信息。從人的角度來看,這是一個場景中選擇內容進行觀察的過程,稱之為視覺選擇性。從場景的角度來看,場景中的某一些內容比起其他內容更能引起觀察者的注意,可稱之為視覺顯著性。顯著視覺檢測算法正是用來檢測場景中較為突出的目標物體,從而實現對roi的檢測。算法原理簡而言之為,輸入圖像分別做高斯模糊和圖像平均,再將得到的兩幅圖像i1(x,y)和i2(x,y)計算兩者的歐幾里得距離s(x,y)=||i1(x,y)-i2(x,y)||并作歸一化處理得到的圖像即為輸入圖像的顯著圖s(x,y)。現有壓縮感知成像方法不能直接對場景中目標物體進行高分辨成像、在高分辨成像情況下消耗時間長和計算量大。
技術實現要素:
本發明所要解決的技術問題是克服現有技術的不足而提供基于顯著視覺和dmd陣列分區控制的壓縮感知成像方法,該方法可以有效地檢測出目標物體的位置,從而實現只對目標物體進行高分辨成像的目的,該方法成像時間短,計算量小,成像效果好。
本發明為解決上述技術問題采用以下技術方案:
根據本發明提出的一種基于視覺顯著性和數字微鏡器件dmd陣列分區控制的自適應壓縮感知成像方法,通過dmd陣列分區控制方式實現了dmd的低分辨成像,利用顯著視覺檢測算法找到目標物體在dmd的位置;通過多次縮小dmd陣列分區大小的同時提高包含目標物體區域的成像分辨率,最終實現了僅對場景中目標物體的高分辨率壓縮感知成像。
作為本發明所述的一種基于視覺顯著性和數字微鏡器件dmd陣列分區控制的自適應壓縮感知成像方法進一步優化方案,具體包括以下步驟:
步驟一、選用已知分辨率的dmd,并搭建出壓縮感知成像系統;
步驟二、設置采樣率,生成初始條件下用于采樣的測量矩陣;
步驟三、根據dmd實際分辨率和步驟二中測量矩陣的大小,設置dmd陣列初始分區大小和調整步進;
步驟四、采用測量矩陣對場景進行多次采樣并獲得該測量矩陣對應的觀測值向量矩陣;
步驟五、將測量矩陣和步驟四中的觀測值向量矩陣作為重建算法的輸入變量,恢復得到包含目標物體的區域圖像;
步驟六、當步驟五中恢復得到的區域圖像中目標物體圖像分辨率達到所需分辨率或dmd陣列分區中僅包含一個微鏡,則執行步驟十三,否則跳轉至步驟七到步驟十二;
步驟七、采用顯著視覺檢測算法對步驟五中的區域圖像進行處理,得到初步的顯著圖,對初步的顯著圖作歸一化處理得到最終的顯著圖;
步驟八、對步驟七中最終的顯著圖進行自適應的二值化處理、形態學操作得到二值圖像,隨后對二值圖像作形態學的膨脹運算得到新的二值圖像;
步驟九、在步驟八新的二值圖像中,將包含目標物體的區域標記為1,背景區域標記為0,從標記為1的區域中找出最大區域,最大區域的面積為s,去掉面積均小于s/10的標記為1的區域;
步驟十、根據步驟九中包含目標物體的區域的位置及大小,計算得到目標物體在dmd陣列上的實際位置和大小;
步驟十一、根據步驟十中目標物體在dmd陣列上的實際位置和大小,并縮小dmd陣列分區的大小,根據目標物體在dmd陣列上實際位置和大小以及dmd陣列分區的大小生成新的測量矩陣;
步驟十二、執行步驟四到步驟六;
步驟十三、將步驟五得到的區域圖像中的目標物體等比例地融合到場景的初始背景中。
作為本發明所述的一種基于視覺顯著性和數字微鏡器件dmd陣列分區控制的自適應壓縮感知成像方法進一步優化方案,顯著視覺檢測算法的具體步驟如下:
步驟一、輸入圖像i分別做圖像平均和圖像模糊處理得到圖像i1和i2;
步驟二、計算圖像i1和i2之間的歐幾里得距離得到圖像i3;
步驟三、將圖像i3作歸一化處理,得到輸入圖像的顯著圖。
作為本發明所述的一種基于視覺顯著性和數字微鏡器件dmd陣列分區控制的自適應壓縮感知成像方法進一步優化方案,所述的dmd陣列分區控制方法具體為:選取dmd陣列上的方形區域,該區域內的所有微鏡翻轉狀態一致。
作為本發明所述的一種基于視覺顯著性和數字微鏡器件dmd陣列分區控制的自適應壓縮感知成像方法進一步優化方案,步驟七所述的顯著圖自適應二值化處理,具體方法如下:通過計算顯著圖中背景區域像素數量s1,在顯著圖的灰度直方圖上從灰度級為0處開始統計像素個數,找到s1所在的最小灰度級區間[l1l2],將灰度級l1作為二值化閾值。
作為本發明所述的一種基于視覺顯著性和數字微鏡器件dmd陣列分區控制的自適應壓縮感知成像方法進一步優化方案,步驟十三中的融合方法,具體為:采用雙線性內插值算法,在原始圖像四周的像素值的關系上填充目標圖像。
作為本發明所述的一種基于視覺顯著性和數字微鏡器件dmd陣列分區控制的自適應壓縮感知成像方法進一步優化方案,所述壓縮感知成像系統包括成像透鏡、dmd、聚焦透鏡、探測器、模數轉換模塊、處理模塊;其中,
成像透鏡,用于將場景入射光匯聚到dmd上;
dmd,用于通過dmd中測量矩陣的微鏡片產生反射光,將反射光照射到聚焦透鏡;
聚焦透鏡,用于將dmd上的反射光匯聚至探測器;
探測器,用于將匯聚后的反射光轉換成電信號輸出至模數轉換模塊;
模數轉換模塊,用于將電信號轉換成數字信號輸出至處理模塊進行處理。
本發明采用以上技術方案與現有技術相比,具有以下技術效果:
(1)本發明結合了視覺顯著性檢測算法,可以實現在低分辨率圖像中找到包含目標物體的所在的roi,然后在roi中實現對目標物體的高分辨率成像;
(2)本發明通過dmd陣列分區控制方法可以實現dmd對場景的低分辨采樣,有效減小了測量矩陣的大小,降低了復雜度;
(3)本發明是通過迭代算法不斷地精確場景中目標物體在dmd上的實際成像區域,抗干擾能力強,魯棒性好;
(4)本發明的成像方法操作簡單,成像時間短,數據計算量小。
附圖說明
圖1是本發明所述的數字微鏡器件陣列分區控制的方法示意圖;其中,(a)為4×4的dmd陣列分區大小的控制方式,(b)為2×2的dmd陣列分區大小的控制方式。
圖2是本發明所述的壓縮感知成像系統裝置示意圖。
圖3是本發明所述的顯著圖生成的流程圖。
圖4是本發明所述的一種基于視覺顯著性和數字微鏡器件陣列分區控制的自適應壓縮感知成像方法的流程圖。
具體實施方式
下面結合附圖對本發明的技術方案做進一步的詳細說明:
如圖1所示是本發明所述的dmd陣列分區控制的方法示意圖,圖中使用的初始dmd分辨率為8×8,總共有64個微鏡;圖中1中的(a)展示了4×4的dmd陣列分區大小的控制方式即該4×4的方形dmd陣列中的微鏡采用相同的調制方式,使得這16個微鏡翻轉方式完全一樣,整個分區視為一個整體。通過這樣的dmd陣列分區控制方式將初始dmd陣列劃分為新dmd陣列,它只包含2×2個塊區域。在實際應用中,每一個區域便充當為一個像素,這樣就大大降低了dmd的分辨率,從而減小了測量矩陣的大小,達到降低重構端計算復雜度的目的。而圖1中的(b)展示了在圖1中(a)的基礎上縮小了dmd陣列分區的大小,僅有2×2的分區大小,每一個分區包含了4個微鏡;以同樣的控制方式,圖1中的(b)實現了將8×8的初始dmd陣列劃分為4×4的新dmd陣列。此圖表明通過dmd陣列分區控制可以降低dmd的分辨率,減小dmd陣列分區大小可以在原來的分辨率基礎上提升分辨率。本發明正是以這種方式,對場景進行低分辨率采樣,并且不斷減小dmd陣列分區大小逐步精確場景中目標物體在dmd陣列上的實際區域。
如圖2所示是壓縮感知成像系統裝置示意圖,dmd是由幾百萬個微米級別大小的微鏡組成,每個微鏡可以獨立翻轉,并通過二進制元素(0,1)來調制微鏡的翻轉情況;初始的微鏡翻轉角度為0度即水平方向,當微鏡的調制狀態為‘1’時,微鏡翻轉角度為+12度即將入射光發射出來到聚焦透鏡,表現為dmd陣列上的白色區域;當微鏡的調制狀態為‘0’時,微鏡翻轉角度為-12度即入射光不反射出來,表現為dmd陣列上的黑色區域。如2圖所示的一幅場景經過成像透鏡映射在調制過dmd上,dmd將入射光部分反射到聚焦透鏡,探測器將匯聚的光強轉變為電信號,模數轉化器a/d對其進行采樣并將測量值傳到計算機上;計算機利用測量矩陣不斷改變dmd的翻轉狀態可以得到多個不同的測量值,并通過已知的測量矩陣和觀測值利用重構算法恢復得到場景的圖像。其中,恢復得到的場景圖像的分辨率是由設定的dmd的分辨率即陣列分區的多少決定的。
如圖3所示是本發明所述的顯著圖生成的流程圖。初始圖像為每一次dmd對場景中目標物體采樣后計算機恢復得到的圖像。將初始圖像中的所有像素值的和除以像素個數得到初始圖像的平均像素值。圖像ⅰ的大小和初始圖像相同,其所有像素的值為初始圖像的平均像素值。用3×3的高斯模板對初始圖像做濾波處理,達到了對初始圖像模糊的目的,得到了圖像ⅱ。計算圖像ⅰ和圖像ⅱ的歐幾里得距離,也就是圖像ⅰ和圖像ⅱ對應位置的像素值差的平方作為新圖像對應位置的像素值,將新圖像做歸一化處理便得到初始圖像的顯著圖。
如圖4所示是本發明提出的一種基于視覺顯著性和數字微鏡陣列分區控制的自適應壓縮感知成像方法的流程圖,首先搭建如圖2所示的壓縮感知成像系統,壓縮感知成像系統包括成像透鏡、dmd、聚焦透鏡、探測器pd、模數轉換模塊、處理模塊;處理模塊可為計算機;其中,
成像透鏡,用于將場景入射光匯聚到dmd上;
dmd,用于通過dmd中測量矩陣的微鏡片產生反射光,將反射光照射到聚焦透鏡;
聚焦透鏡,用于將dmd上的反射光匯聚至探測器;
探測器,用于將匯聚后的反射光轉換成電信號輸出至模數轉換模塊;
模數轉換模塊,用于將電信號轉換成數字信號輸出至處理模塊進行處理。
在實驗進行前需對整個系統初始化,包括設定每次壓縮感知成像的采樣率和初始dmd陣列分區大小及調整參數;根據經驗我們設定采樣率r=30%,并且每次的采樣率一致。根據我們dmd陣列的分辨率為512×512,在初始低分辨成像為16×16的情況下設定初始的dmd分區陣列大小為32×32,dmd分區陣列控制的方法如圖1所示,分區調整參數設為上一次大小的1/4即如果上一次分區陣列大小為32×32個微鏡,那么下一次的dmd陣列分區大小為16×16個微鏡。在設計好測量矩陣后需要進行對如圖2所示的場景進行壓縮感知成像,通過測量矩陣多次改變如圖2所示的dmd的翻轉狀態得到多個觀測值,計算機通過測量矩陣和對應的觀測值利用重構算法得到如圖二所示的恢復效果圖。在分辨率很小的情況下恢復出來的效果圖其實是看不出任何細節,而存在物體的地方表現為這一區域亮度、色彩、對比度及紋理特征比其他位置更加明顯。正是這些信息的差異,視覺顯著性檢測算法具有將目標物體從背景和其他物體中突顯出來的能力。視覺顯著性算法處理壓縮感知成像的恢復圖像得到其顯著圖,在顯著圖中目標物體區域亮度值較其他位置要大。二值化方法處理顯著圖得到二值圖像,為了精確性對二值圖像作膨脹處理,膨脹類型選擇直徑為3的圓盤。新的二值圖像中標記為‘1’的區域被當作包含目標物體的區域,通過相關函數可以得到標記為‘1’的區域的大小(像素個數)、重心、邊界周長以及每個標記為‘1’的像素坐標等。其中標記為‘1’的像素個數和其坐標可以分別用來設計下一次測量矩陣的大小和確定待測的區域位置。迭代停止條件為dmd陣列分區中僅含一個微鏡抑或目標物體已達到所需分辨率。如果沒有達到迭代停止條件便調整參數即則在上一次壓縮感知成像的基礎上縮小分區大小和提高對目標物體的成像分辨率重復壓縮感知成像和視覺顯著性算法處理。此時的dmd陣列分區大小為上一次dmd陣列分區大小的4倍,成像分辨率擴大4倍。將已獲得的高分辨目標物體圖像和低分辨成像得到的背景通過雙線性內插值算法等比例融合。融合后的圖像便是希望得到的輸出圖像。
本發明提出的一種基于視覺顯著性和數字微鏡器件陣列分區控制的自適應壓縮感知成像方法,利用了dmd陣列分區控制和顯著視覺檢測的方式,有效檢測出場景中包含目標物體的區域和實現了只對場景中目標物體的高分辨成像。整個成像過程操作簡單,魯棒性好。為獲得同樣高分辨的目標物體圖像,本方法與其他方法相比成像時間短,重構復雜度低,計算量小。
以上內容是結合具體的實施方式對本發明所作的進一步詳細說明,不能認定本發明的具體實施只局限于這些說明。對于本發明所屬技術領域的普通技術人員來說,在不脫離本發明構思的前提下,還可以做出若干簡單推演或替代,都應當視為屬于本發明的保護范圍。