本發明涉及數字圖像處理技術領域,更具體地說,本發明涉及一種基于不連續運動的肝部三維多模態圖像配準方法。
背景技術:
在圖像配準當中,通常希望得到的是一個全局平滑的位移場,但是當人體進行呼吸運動時,肺部和肝部這些器官和它們周圍組織之間會存在一個相對的滑移運動,此時器官的運動和它們邊界的運動是斷裂的,因此會在肺和胸膜之間、肝部和腹壁之間會產生一個不連續的位移場,傳統的保證全局平滑的代價函數約束項已經不適用于這種特殊的情況。
現有技術中,處理這類不連續位移場的配準問題比較主流的方法是基于分割的運動掩膜法,運動掩膜法僅能保留器官運動的真實性,不能夠反應器官外部組織的有效的位移場;運動掩膜法還需要一個初始的分割操作,這對于難以分割的腹部器官來說并不適用。另外,一些基于擴散模型的配準方法被提出,如方向相關的正則項,基于demons的自適應正則項等方法,這些方法基于非參的形變模型,沒有顯式的表達式來進行最優化的求解。
技術實現要素:
針對上述技術中存在的不足之處,本發明提供一種基于不連續運動的肝部三維多模態圖像配準方法,避免了現有技術中二范數作為正則項導致全局平滑的結果,能夠很好的保留肝部器官運動導致的邊界不連續性,配準精度高。
為了實現根據本發明的這些目的和其它優點,本發明通過以下技術方案實現:
本發明提供一種基于不連續運動的肝部三維多模態圖像配準方法,其包括以下步驟:
對獲取的原始肝部序列圖像進行預處理和剛性配準;
采用結合三階b樣條函數的自由形變模型模擬剛性配準后肝部圖像的彈性形變,采用基于全變分的正則項和混合測度來構建代價函數,衡量兩幅圖像的相似性程度;采用基于圖像的多分辨率金字塔的優化策略,利用有限記憶擬牛頓插值法來優化所述代價函數,求得最優的變換解。
優選的是,模擬彈性形變,包括以下步驟:
定義所述肝部三維ct圖像為參考圖像,定義所述肝部三維mr圖像為浮動圖像,分別加載所述參考圖像和所述浮動圖像;
對所述浮動圖像進行彈性形變,并采用結合三階b樣條函數的自由形變模型來模擬所述浮動圖像的彈性形變;設所述浮動圖像的圖像域為φ,包含nx×ny×nz個間距為δ的控制點,則,
u是所述浮動圖像的位移,φ為所述浮動圖像的控制點,(x,y,z)為所述浮動圖像上的像素點;(px,py,pz)是距離像素點最近的控制點,且
優選的是,所述浮動圖像的控制點網格間距設為7*7*7mm,所述浮動圖像上每個像素點的形變由周圍64個控制點的形變決定。
優選的是,所述混合測度,指的是基于歸一化互信息的相關比,公式如下:
crmi(m,f;φ)=(2-nmi(m,f;φ))·(1-cr(m,f;φ));
其中,m表示所述浮動圖像,f表示所述參考圖像,nmi表示歸一化互信息,cr表示相關比;
在歸一化互信息中,p(m;u)表示所述浮動圖像的邊緣概率密度,p(f)表示所述參考圖像的邊緣概率密度,p(m,f;u)表示兩幅圖像的聯合概率密度;
在相關比中,x和y分別表示參考圖像和浮動圖像的隨機變量,var[y]為y的方差,var[y-e(y|x)]為y獨立于x方差。
優選的是,所述基于全變分的正則項,公式如下:
其中,
優選的是,所述代價函數為:
c=d(f(x),m(u(x)))+λrtv(u);
其中,f(x)為所述參考圖像,m(x)為所述浮動圖像,x為圖像上的像素點,rtv為正則項,λ為正則項的權重因子。
優選的是,所述λ的值為100。
優選的是,所述預處理和剛性配準,包括以下步驟:
對獲取的原始肝部序列圖像進行三維重建和尺度歸一化處理,輸出肝部三維ct圖像和肝部三維mr圖像;
采用水平集的方法,分別對所述肝部三維ct圖像進行去床處理、對所述肝部三維mr圖像進行高斯平滑去噪處理;
對去床處理的所述肝部三維ct圖像和去噪處理的所述肝部三維mr圖像進行剛性配準,獲得兩幅邊界位置大致對齊的肝部圖像。
優選的是,利用有限記憶擬牛頓插值法優化所述代價函數,指的是對所述代價函數進行求導,獲得最優的變換解;
求導的公式為:
其中,
優選的是,所述基于圖像的多分辨率金字塔的層數為三層,包括:
將圖像降采樣,先降采樣為原來圖像的八分之一大小,進行配準得到一個最優解,將此次結果作為第二層配準的初始值;
第二層是將圖像降采樣成原來的四分之一大小,進行配準求得此次最優解,將此作為第一層圖像的配準起點,對原始圖像進行配準從而得到最終的優化變換解。
本發明至少包括以下有益效果:
1)對原始獲取的肝部序列圖像進行預處理和剛性配準,用于獲得初步粗匹配的肝部圖像;
2)將全變分作為代價函數的正則項來約束不連續運動的位移場,此方法能夠很好的保留肝部器官運動導致的邊界不連續性,避免了傳統技術中二范數作為正則項導致全局平滑的結果,不需要初始的分割操作,可顯示求解優化函數,配準精度高;
3)采用結合三階b樣條函數的自由形變模型來模擬形變,構造一個有參的形變場以優化求解;
4)采用基于歸一化互信息的相關比作為混合測度,此測度對噪聲具有較好的魯棒性,在矯正局部形變的同時也能夠考慮圖像間函數依賴關系,彌補了使用單一測度的缺陷,提高了配準的精度。
本發明的其它優點、目標和特征將部分通過下面的說明體現,部分還將通過對本發明的研究和實踐而為本領域的技術人員所理解。
附圖說明
圖1(a)-1(b)為本發明所述的單模肺部ct圖像配準驗證的參考圖像和浮動圖像;
圖2(a)-2(b)為采用二范數作為正則項所得到的位移場及局部邊界放大圖;
圖3(a)-3(b)為采用全變分作為正則項所得到的位移場及局部邊界放大圖;
圖4(a)-4(b)為原始待配準的三維肝部ct和mr圖像;
圖5為原始肝部三維多模態圖像的融合圖;
圖6(a)-6(b)為分別采用二范數和全變分作為正則項所得的配準后的融合圖;
圖7(a)-7(b)為采用二范數作為正則項所得的肝部三維多模位移場圖及局部邊界放大圖;
圖8(a)-8(b)為采用全變分作為正則項所得的肝部三維多模位移場圖及局部邊界放大圖;
圖9為本發明所述的基于不連續運動的肝部三維多模態圖像配準方法的示意圖。
具體實施方式
下面結合附圖對本發明做進一步的詳細說明,以令本領域技術人員參照說明書文字能夠據以實施。
應當理解,本文所使用的諸如“具有”、“包含”以及“包括”術語并不排除一個或多個其它元件或其組合的存在或添加。
如圖9所示,本發明提供一種基于不連續運動的肝部三維多模態圖像配準方法,其包括以下步驟:
s10,對獲取的原始肝部序列圖像進行預處理和剛性配準;
s20,采用結合三階b樣條函數的自由形變模型模擬剛性配準后肝部圖像的彈性形變,采用基于全變分的正則項和混合測度來構建代價函數,衡量兩幅圖像的相似性程度;
s30,采用基于圖像的多分辨率金字塔的優化策略,利用有限記憶擬牛頓插值法來優化所述代價函數,求得最優的變換解。
作為本發明的一種具體實施方式,模擬彈性形變,包括以下步驟:
s21,定義肝部三維ct圖像為參考圖像,定義肝部三維mr圖像為浮動圖像,分別加載參考圖像和浮動圖像;
s22,對浮動圖像進行彈性形變,并采用結合三階b樣條函數的自由形變模型來模擬浮動圖像的彈性形變,具體為:設浮動圖像的圖像域為φ,包含nx×ny×nz個間距為δ的控制點,則,
u是浮動圖像的位移,φ為浮動圖像的控制點,(x,y,z)為浮動圖像上的像素點;(px,py,pz)是距離像素點最近的控制點,且
該實施方式中,利用三階b樣條函數與自由形變模型結合來模擬剛性配準后肝部圖像的彈性形變,構造一個有參的形變場來優化求解,有利于提高配準精度。每個像素的形變都由周圍的若干個控制點的形變來決定。若干個控制點之間的網格間距太小會導致過擬合、太大會導致配準精度不夠,作為優選,浮動圖像的控制點網格間距設為7*7*7mm,浮動圖像上每個像素點的形變由周圍64個控制點的形變決定,具有較好的擬合度和配準精度。
作為本發明的一種具體實施方式,混合測度,指的是基于歸一化互信息的相關比,公式如下:
crmi(m,f;φ)=(2-nmi(m,f;φ))·(1-cr(m,f;φ));
其中,m表示浮動圖像,f表示參考圖像,nmi表示歸一化互信息,cr表示相關比;在歸一化互信息中,p(m;u)表示浮動圖像的邊緣概率密度,p(f)表示參考圖像的邊緣概率密度,p(m,f;u)表示兩幅圖像的聯合概率密度;在相關比中,x和y分別表示參考圖像和浮動圖像的隨機變量,var[y]為y的方差,var[y-e(y|x)]為y獨立于x方差。
該實施方式中,采用歸一化互信息與相關比相結合的混合測度,此測度對噪聲具有較好的魯棒性,在矯正局部形變的同時也能夠考慮圖像間函數依賴關系,彌補了使用單一測度的缺陷,提高了配準的精度。
作為本發明的一種具體實施方式,基于全變分的正則項,公式如下:
其中,
該實施方式中,將全變分作為代價函數的正則項來求解不連續位移場的配準,能夠很好的保留肝部器官運動導致的邊界不連續性,避免了傳統技術中二范數作為正則項導致全局平滑的結果,不需要初始的分割操作,可顯示求解優化函數,配準精度高。
作為本發明的一種具體實施方式,基于全變分的正則項和混合測度來構建代價函數,代價函數公式為:
c=d(f(x),m(u(x)))+λrtv(u);
其中,f(x)為參考圖像,m(x)為浮動圖像,x為圖像上的像素點,rtv為正則項,λ為正則項的權重因子。
該實施方式中,代價函數的構建是基于全變分的正則項和混合測度,具有較好的配準精度。當λ的值設置為100,可以獲得較好的變換解。
作為本發明的一種具體實施方式,預處理和剛性配準,包括以下步驟:
s11,對獲取的原始肝部序列圖像進行三維重建和尺度歸一化處理,輸出肝部三維ct圖像和肝部三維mr圖像;
s12,采用水平集的方法,分別對肝部三維ct圖像進行去床處理、對肝部三維mr圖像進行高斯平滑去噪處理;
s13,對去床處理的肝部三維ct圖像和去噪處理的肝部三維mr圖像進行剛性配準,獲得兩幅邊界位置大致對齊的肝部圖像。
該實施方式中,對獲取的原始肝部序列圖像進行預處理和剛性配準,用于獲取粗匹配的肝部圖像。
作為本發明的一種具體實施方式,利用有限記憶擬牛頓插值法優化所述代價函數,指的是對代價函數進行求導,獲得最優的變換解。
該實施方式中,基于圖像的多分辨率金字塔的層數為三層,包括:將圖像降采樣,先降采樣為原來圖像的八分之一大小,進行配準得到一個最優解,將此次結果作為第二層配準的初始值;第二層是將圖像降采樣成原來的四分之一大小,進行配準求得此次最優解,將此作為第一層圖像的配準起點,對原始圖像進行配準從而得到最終的優化變換解。作為進一步優選,每層的最大迭代次數設為200,如果在200次迭代之前實現函數收斂,即求得本次迭代極值,如果到達最大的迭代次數200函數仍然沒有收斂,那將最后一次的結果作為所求的解。對代價函數求導的公式為:
則,全變分的求導展開式為:
其中,
為了驗證不連續運動的肝部三維多模態圖像配準的精確度,進行單模肺部ct圖像配準驗證,并結合附圖進行說明。
單模肺部ct圖像配準時,采用呼氣時的肺部ct圖像作為參考圖像,吸氣時的肺部ct圖像作為浮動圖像,如圖1(a)-1(b)所示。圖2(a)-2(b)、圖3(a)-3(b)分別為采用二范數和全變分作為正則項所得到的位移場及局部邊界放大圖。由圖2(a)-2(b)可知,當采用二范數作為正則項時,從位移場的放大圖2(b)中可以看到,在邊界處可以得到一個連續的位移場并且肋骨和肺部的運動位移大小差別不大,這顯然和實際運動時的位移場不相符;當采用本發明提供的全變分作為正則項時,從位移場放大圖3(b)中可以看到,肺部是沿著胸腔壁進行運動,肺部的運動位移比較大而邊界處位移比較小,邊界處存在著一個明顯的不連續的位移場,因此,上述對比結果表明,全變分作為正則項時,可以很好的保留器官滑移運動所帶來的邊界不連續性。
下面進一步給出其他三種應用在單模肺部ct圖像行的配準方法和本發明提供的配準方法在單模肺部ct上所得的誤差值比較。
表1三種單模肺部ct圖像配準方法和本發明提供的配準方法的誤差值比較
表格1中:1、vandemeulebroucke指的是運動掩膜法;2、pace指的是方向相關的正則項方法;3、papiz(·)指的是基于demons的自適應正則項法。這三種方法在單模肺部ct圖像的配準上都取得了比較好的結果。表格1中,采用五組實驗數據,配準精度指標為參考圖像和浮動圖像對應300個特征點之間的位移,這些特征點由專家手動提取。配準之后的值越小,說明配準的精度越高。將本發明提供的配準方法和其他三種方法來進行比較,在五組實驗中,本發明提供多模的配準方法對應的結果中有三組是最好的,并且平均配準誤差也最小。
接下來進行多模ct/mr肝部三維圖像配準的實驗,用本發明提供的基于全變分作為代價函數的正則項與傳統采用二范數作為代價函數的正則項所得的位移場圖進行對比。
圖4(a)-4(b)為原始待配準的三維肝部ct和mr圖像;圖5為原始肝部三維多模態圖像的融合圖;圖6(a)-6(b)為分別采用二范數和全變分作為正則項所得的配準后的融合圖。圖7(a)-7(b)為采用二范數作為正則項所得的肝部三維多模位移場圖及局部邊界放大圖;圖8(a)-8(b)為采用全變分作為正則項所得的肝部三維多模位移場圖及局部邊界放大圖。從圖6(a)-6(b)可以看出,兩種方法所得到的配準結果都比較好。圖8(a)-8(b)與圖7(a)-7(b)對比可知,當用二范數作為約束項的時候,在肝部和腹壁的邊界處存在著一個連續的位移場,位移場的運動穿過滑移邊界,這個位移場不能真實的反應肝部的運動。當用全變分作為正則項的時,邊界處的位移場可以得到一定程度的矯正,肝部沿著腹壁做滑移運動,肝部和腹壁的運動模態不同,所以應用此方法能夠反應邊界處運動的真實性。
盡管本發明的實施方案已公開如上,但其并不僅僅限于說明書和實施方式中所列運用。它完全可以被適用于各種適合本發明的領域。對于熟悉本領域的人員而言可容易地實現另外的修改。因此在不背離權利要求及等同范圍所限定的一般概念下,本發明并不限于特定的細節和這里示出與描述的圖例。