本發(fā)明屬于圖像配準(zhǔn)技術(shù)領(lǐng)域，尤其涉及一種由粗到精基于輪廓曲線特征的x線片和彩色照片的多模態(tài)圖像精確配準(zhǔn)方法。

背景技術(shù)：

目前，隨著智慧醫(yī)療時(shí)代的到來(lái)，醫(yī)療與計(jì)算機(jī)科學(xué)技術(shù)的高度交叉融合已經(jīng)成為必然趨勢(shì)，如何利用好現(xiàn)代科學(xué)技術(shù)處理醫(yī)療數(shù)據(jù)也成為科研工作者的主要課題之一，并幫助人類實(shí)現(xiàn)高效智能的醫(yī)療診斷與治療。醫(yī)療數(shù)據(jù)有很多種，其中醫(yī)學(xué)影像是現(xiàn)代醫(yī)學(xué)研究與診療中的重要數(shù)據(jù)之一。常見(jiàn)的醫(yī)學(xué)影像數(shù)據(jù)包括x線片、ct、mri、超聲圖像等。不同類型的影像數(shù)據(jù)可以給醫(yī)生提供更多及較全面的疾病信息，有利于醫(yī)生做出正確的疾病診斷與治療方案，幫助患者減輕或解除病痛。通常情況下，在綜合利用多種影像數(shù)據(jù)時(shí)需要精確定位病灶并測(cè)量相關(guān)醫(yī)學(xué)指標(biāo)，為了實(shí)現(xiàn)這個(gè)目的，多模態(tài)圖像配準(zhǔn)技術(shù)常常被應(yīng)用于該領(lǐng)域。

多模態(tài)圖像配準(zhǔn)相對(duì)于單模態(tài)圖像配準(zhǔn)來(lái)講，其特點(diǎn)在于圖像數(shù)據(jù)是來(lái)自于不同類型圖像傳感器或設(shè)備的，也被稱作多模態(tài)。由于數(shù)據(jù)來(lái)源的多樣性，因此多模態(tài)圖像的特征差異性大，其配準(zhǔn)相比于單模態(tài)圖像配準(zhǔn)的難度也就大很多。從實(shí)現(xiàn)方式來(lái)看，圖像配準(zhǔn)可分為手動(dòng)配準(zhǔn)、計(jì)算機(jī)輔助配準(zhǔn)和自動(dòng)配準(zhǔn)。手動(dòng)配準(zhǔn)是最傳統(tǒng)的一種方法，它的主觀性強(qiáng)、耗時(shí)多，已逐漸被計(jì)算機(jī)輔助配準(zhǔn)和自動(dòng)配準(zhǔn)所替代。自動(dòng)配準(zhǔn)是更加智能化的方法，科研人員正在努力致力于高效高精度的自動(dòng)圖像配準(zhǔn)算法的研究與開(kāi)發(fā)，也產(chǎn)生了很多研究成果，并應(yīng)用于各個(gè)領(lǐng)域，包括機(jī)器視覺(jué)、醫(yī)學(xué)影像與診斷、生物成像、遙感和三維重建等。已有的自動(dòng)配準(zhǔn)算法可分為兩大類：基于像素和基于特征的方法。一般地，基于像素的方法直接利用圖像像素的灰度和幾何信息，通過(guò)最大化互相關(guān)性或互信息從而估計(jì)兩幅圖像的幾何變換模型參數(shù)。這種方法簡(jiǎn)單且精度高，但是計(jì)算復(fù)雜度高，且要求兩幅圖像的灰度一致性要高，常用于單模態(tài)圖像配準(zhǔn)和ct與mri兩種醫(yī)學(xué)影像數(shù)據(jù)的配準(zhǔn)。按照特征幾何形式的角度，基于特征的自動(dòng)配準(zhǔn)算法又可分為三類：基于點(diǎn)特征、基于線特征和基于面特征。這種方法包括四個(gè)步驟：特征提取、特征匹配、幾何變換模型估計(jì)和圖像重采樣與變換。sift及其改進(jìn)的角點(diǎn)特征是一種常用于圖像配準(zhǔn)技術(shù)的點(diǎn)特征，基于這類角點(diǎn)特征的圖像配準(zhǔn)算法的研究比較成熟。首先，在參考圖像和待配準(zhǔn)圖像中分別提取角點(diǎn)特征；其次，一一計(jì)算兩幅圖像中角點(diǎn)特征的相似性，進(jìn)行角點(diǎn)特征匹配；然后，根據(jù)匹配成功的特征點(diǎn)對(duì)估計(jì)幾何變換模型的參數(shù)；最后，根據(jù)幾何變換模型參數(shù)對(duì)待配準(zhǔn)圖像進(jìn)行圖像重采樣與變換。該方法可以得到高精度的配準(zhǔn)結(jié)果，算法復(fù)雜度相對(duì)較低，可應(yīng)用于單模態(tài)和多模態(tài)圖像配準(zhǔn)，但要求在兩幅圖像中必須能夠提取足夠數(shù)量的角點(diǎn)特征。類似地，基于線特征的圖像配準(zhǔn)算法也是四個(gè)步驟，但是特征提取與匹配的方法由于特征的具體形式的不同而有所差別，而線特征可以表現(xiàn)為邊緣線段、目標(biāo)輪廓或者是醫(yī)學(xué)圖像中的解剖結(jié)構(gòu)圖形等。該方法特別適用于具有相似邊緣輪廓的圖像對(duì)的配準(zhǔn)，算法復(fù)雜度較低，精度高。基于面特征的圖像配準(zhǔn)算法中常用的面特征有不變矩等，算法復(fù)雜度較高，精度較低。近年來(lái)，各種形式特征的融合以及基于像素和特征兩者結(jié)合的方法成為一種趨勢(shì)，可進(jìn)一步提高圖像配準(zhǔn)的精度和魯棒性，并取得了一定的研究成果。

在口腔醫(yī)學(xué)領(lǐng)域，為了進(jìn)行側(cè)位微笑美學(xué)研究和頭影測(cè)量分析的診斷與治療計(jì)劃，醫(yī)生必須精確測(cè)量上頜中切牙相對(duì)額頭的水平位置距離。在測(cè)量該指標(biāo)前，需要將患者頭部的側(cè)位x線片精確配準(zhǔn)于其彩色照片并得到融合圖像。但是由于x線片和彩色照片的成像差異性，同一患者頭部在兩種模態(tài)的圖像中呈現(xiàn)的灰度一致性極低，而相似特征僅有軟組織輪廓，且x線片中軟組織輪廓對(duì)比度較低，針對(duì)這個(gè)問(wèn)題已有算法不能完全奏效。因此，我們提出了基于曲線特征的由粗到精的側(cè)位x線片和彩色照片的圖像配準(zhǔn)算法，不僅能夠解決有背景和噪聲圖像中目標(biāo)輪廓曲線的特征提取問(wèn)題，而且利用基于曲線特征由粗到精的多模態(tài)圖像配準(zhǔn)算法解決了具有相似目標(biāo)輪廓且灰度相似性弱的圖像配準(zhǔn)問(wèn)題，實(shí)現(xiàn)了同一患者頭部的側(cè)位x線片和彩色照片的精確配準(zhǔn)，并得到融合圖像，有助于口腔醫(yī)生在融合圖像上進(jìn)行上頜中切牙相對(duì)額頭的水平位置距離的測(cè)量，可應(yīng)用于側(cè)位微笑美學(xué)研究和頭影測(cè)量分析的診斷與治療計(jì)劃。

技術(shù)實(shí)現(xiàn)要素：

為解決上述問(wèn)題，本發(fā)明提供一種由粗到精基于輪廓曲線特征的x線片和彩色照片配準(zhǔn)方法。第一，針對(duì)輪廓特征提取問(wèn)題，本發(fā)明提出了一種有效的分層輪廓特征提取方法。首先，利用canny算法分別提取x線片和彩色照片中的邊緣特征，剔除背景與噪聲邊緣，提取外輪廓，進(jìn)行線段連接得到粗糙的面部軟組織輪廓；然后，利用drlse(distanceregularizedlevelsetevolution)模型的方法得到光滑連續(xù)且更加準(zhǔn)確的面部軟組織輪廓；接著，在該面部軟組織輪廓曲線上檢測(cè)拐點(diǎn)，截取鼻子和前額部位的軟組織輪廓曲線；最后，對(duì)該輪廓曲線進(jìn)行迭代多項(xiàng)式曲線擬合，得到精確的輪廓曲線。該方法解決了有背景和噪聲圖像中目標(biāo)輪廓曲線的特征提取問(wèn)題。第二，針對(duì)基于輪廓特征的圖像配準(zhǔn)問(wèn)題，本發(fā)明提出了一種由粗到精的側(cè)位x線片和彩色照片的圖像配準(zhǔn)算法。首先，在提取到的鼻子和前額的軟組織輪廓曲線上檢測(cè)出4對(duì)標(biāo)志點(diǎn)，利用這4對(duì)標(biāo)志點(diǎn)估計(jì)相似變換模型的參數(shù)，即粗配準(zhǔn)結(jié)果；然后，根據(jù)粗配準(zhǔn)結(jié)果對(duì)x線片上提取到的鼻子和前額的軟組織輪廓曲線進(jìn)行相似變換，利用cpd(coherentpointdrift)算法對(duì)x線片上變換后的鼻子和前額輪廓曲線和彩色照片上提取到的鼻子和前額輪廓曲線進(jìn)行曲線配準(zhǔn)，估計(jì)出新的相似變換模型的參數(shù)；最后，將新的相似變換模型的參數(shù)乘以粗的相似變換模型的參數(shù)，得到最終的相似變換模型的參數(shù)，即精配準(zhǔn)結(jié)果，根據(jù)精配準(zhǔn)結(jié)果對(duì)側(cè)位x線片進(jìn)行圖像重采樣與變換，與彩色照片疊加得到融合圖像。

一種基于輪廓特征由粗到精的x線片和彩色照片配準(zhǔn)方法，包括以下步驟：

步驟1：首先利用canny算法分別從同一患者頭部的側(cè)位x線片和彩色照片中各得到一條連續(xù)的側(cè)位面部軟組織輪廓曲線，再根據(jù)drlse模型方法和迭代多項(xiàng)式曲線擬合算法得到兩條鼻子和前額的軟組織輪廓曲線，其中，側(cè)位x線片的鼻子和前額的軟組織輪廓曲線為la，彩色照片的鼻子和前額的軟組織輪廓曲線為lb；

步驟2：在步驟1提取到的曲線la和lb相同位置處分別找出4個(gè)標(biāo)志點(diǎn)，且相同位置處的標(biāo)志點(diǎn)兩兩成對(duì)，其中4個(gè)標(biāo)志點(diǎn)分別額點(diǎn)、鼻尖點(diǎn)、軟組織鼻根點(diǎn)以及鼻尖點(diǎn)和軟組織鼻根點(diǎn)的中點(diǎn)；然后利用最小二乘法，根據(jù)這4對(duì)標(biāo)志點(diǎn)估計(jì)粗配準(zhǔn)相似變換模型的參數(shù)τ0；

步驟3：根據(jù)粗配準(zhǔn)相似變換模型的參數(shù)τ0對(duì)曲線la進(jìn)行相似變換得到曲線la*，利用一致點(diǎn)漂移算法對(duì)曲線la*與步驟1中的曲線lb進(jìn)行曲線配準(zhǔn)，估計(jì)出精配準(zhǔn)相似變換模型的參數(shù)τ1；

步驟4：將步驟2得到的粗配準(zhǔn)相似變換模型的參數(shù)τ0和步驟3得到的精配準(zhǔn)相似變換模型的參數(shù)τ1相乘，得到最終的相似變換模型的參數(shù)；根據(jù)最終的相似變換模型的參數(shù)，利用線性插值方法對(duì)步驟1的側(cè)位x線片進(jìn)行圖像重采樣與變換，最后將變換后的側(cè)位x線片與步驟1的彩色照片疊加得到融合圖像。

一種基于輪廓特征由粗到精的x線片和彩色照片配準(zhǔn)方法，步驟1所述的利用canny算法分別從同一患者頭部的側(cè)位x線片和彩色照片中各得到一條連續(xù)的側(cè)位面部軟組織輪廓曲線，具體包括以下步驟：

步驟11：在側(cè)位x線片中提取包含面部軟組織結(jié)構(gòu)的感興趣區(qū)域，然后采用gamma校正和直方圖拉伸的方法先后對(duì)感興趣區(qū)域和彩色照片做預(yù)處理，增強(qiáng)感興趣區(qū)域和彩色照片的圖像對(duì)比度；

步驟12：利用canny算法分別提取預(yù)處理后的感興趣區(qū)域和彩色照片中的邊緣特征，然后根據(jù)側(cè)位x線片中標(biāo)尺的位置信息剔除標(biāo)尺的邊緣點(diǎn)以及標(biāo)尺鄰域內(nèi)的邊緣點(diǎn)；

步驟13：根據(jù)面部軟組織結(jié)構(gòu)邊緣的鄰域灰度分布特性，剔除步驟12的彩色照片和已經(jīng)去除標(biāo)尺的側(cè)位x線片的邊緣特征中的噪聲邊緣，具體的：

如果以面部軟組織結(jié)構(gòu)的邊緣為中心沿x軸方向的像素灰度分布特征表現(xiàn)為下降沿，則保留該邊緣，否則該邊緣為噪聲邊緣并被剔除；其中，保留下來(lái)的邊緣為各個(gè)分離的曲線段形式；

步驟14：在剔除噪聲邊緣后的感興趣區(qū)域和彩色照片中提取側(cè)位面部軟組織的輪廓曲線，具體為：

若任意相鄰的兩個(gè)曲線段鄰接端點(diǎn)的歐式距離小于設(shè)定閾值thresh1，且兩個(gè)曲線段鄰接端點(diǎn)之間的矩形區(qū)域內(nèi)邊緣像素的數(shù)目小于設(shè)定閾值thresh2，則用直線段連接這兩個(gè)曲線段的鄰接端點(diǎn)；最終在感興趣區(qū)域和彩色照片中分別得到一條連續(xù)的側(cè)位面部軟組織輪廓曲線。

一種基于輪廓特征的x線片和彩色照片配準(zhǔn)方法，步驟1所述的根據(jù)drlse模型方法和迭代多項(xiàng)式曲線擬合算法得到兩條鼻子和前額的軟組織輪廓曲線，具體包括以下步驟：

步驟15：利用drlse模型的方法，以步驟14中的兩條連續(xù)的側(cè)位面部軟組織輪廓曲線作為初始形狀模型分別對(duì)應(yīng)提取出另外兩條連續(xù)且光滑的側(cè)位面部軟組織輪廓曲線；

步驟16：檢測(cè)步驟15得到的兩條側(cè)位面部軟組織輪廓曲線上的拐點(diǎn)，具體為：

步驟161：在側(cè)位面部軟組織輪廓曲線上找出橫坐標(biāo)值最大的像素點(diǎn)，該像素點(diǎn)為鼻尖點(diǎn)；

步驟162：由鼻尖點(diǎn)出發(fā)向上跟蹤側(cè)位面部軟組織輪廓曲線，并計(jì)算鼻尖點(diǎn)以上部分的側(cè)位面部軟組織輪廓曲線的曲率角度，得到一維曲率角度分布圖a；由鼻尖點(diǎn)出發(fā)向下跟蹤側(cè)位面部軟組織輪廓曲線，并計(jì)算鼻尖點(diǎn)以下部分的側(cè)位面部軟組織輪廓曲線的曲率角度，得到一維曲率角度分布圖b；

步驟163：分別設(shè)定高閾值thresh_high和低閾值thresh_low，在一維曲率角度分布圖a和一維曲率角度分布圖b中找出所有高于thresh_high的極大值點(diǎn)，然后在每?jī)蓚€(gè)相鄰的極大值點(diǎn)之間找出低于thresh_low的最小值點(diǎn)；由鼻尖點(diǎn)出發(fā)，向上跟蹤一維曲率角度分布圖a，得到的前兩個(gè)低于thresh_low的最小值點(diǎn)則為要檢測(cè)的拐點(diǎn)，向下跟蹤一維曲率角度分布圖b，得到的第一個(gè)低于thresh_low的最小值點(diǎn)則為要檢測(cè)的拐點(diǎn)；

步驟17：根據(jù)鼻尖點(diǎn)和三個(gè)拐點(diǎn)，從步驟15得到的兩條側(cè)位面部軟組織輪廓曲線上分別截取出兩條鼻子和前額部位的軟組織輪廓曲線；

步驟18：對(duì)步驟17得到的兩條鼻子和前額的軟組織輪廓曲線進(jìn)行迭代多項(xiàng)式曲線擬合，得到兩條最終的鼻子和前額的軟組織輪廓曲線。

一種基于輪廓特征x線片和彩色照片配準(zhǔn)方法，步驟162所述的曲率角度α根據(jù)下列公式計(jì)算：

其中，α為曲率角度，o、a和b為側(cè)位面部軟組織輪廓曲線上任取的三個(gè)不同的像素點(diǎn)，且滿足r為設(shè)定的半徑閾值。

一種基于輪廓特征x線片和彩色照片配準(zhǔn)方法，步驟18所述的對(duì)步驟17得到的兩條鼻子和前額的軟組織輪廓曲線進(jìn)行迭代多項(xiàng)式曲線擬合，得到最終的兩條鼻子和前額的軟組織輪廓曲線，具體步驟如下：

步驟181：假設(shè)初始的鼻子和前額軟組織輪廓曲線為c0，并應(yīng)用多項(xiàng)式曲線擬合算法對(duì)其進(jìn)行擬合得到新的輪廓曲線c1；

步驟182：計(jì)算曲線c0上任一點(diǎn)(x0(i),y0(i))與曲線c1上對(duì)應(yīng)點(diǎn)(x1(i),y1(i))的距離其中i為曲線上各點(diǎn)的序號(hào)；

步驟183：如果大于設(shè)定閾值threshold且y1(i)＞y0(i)，則y0(i)的值被y1(i)替代，直到遍歷曲線c0上的所有點(diǎn)，得到更新曲線c0^*；

步驟184：對(duì)于步驟183的更新曲線c0^*再次進(jìn)行多項(xiàng)式曲線擬合，得到新的曲線c1^*；

步驟185：計(jì)算更新曲線c0^*上任一點(diǎn)與c1^*上對(duì)應(yīng)點(diǎn)(x1*(i),y1*(i))的距離

步驟186：計(jì)算和之間的絕對(duì)距離diff_dist，其中若絕對(duì)距離diff_dist不大于設(shè)定閾值ε，則收斂并結(jié)束迭代，曲線c1^*為最終的鼻子和前額的軟組織輪廓曲線；否則替代重復(fù)步驟183到步驟186直至收斂。

一種基于輪廓特征x線片和彩色照片配準(zhǔn)方法，步驟2所述的在步驟1提取到的曲線la和lb相同位置處分別找出4個(gè)標(biāo)志點(diǎn)，且相同位置處的標(biāo)志點(diǎn)兩兩成對(duì)，具體步驟包括：

步驟21：分別將步驟1的曲線la和lb都進(jìn)行橫縱坐標(biāo)交換，對(duì)應(yīng)得到曲線la^#和lb^#；

步驟22：分別在步驟21中經(jīng)橫縱坐標(biāo)交換后的曲線la^#和lb^#上均檢測(cè)出兩個(gè)極大值點(diǎn)和一個(gè)極小值點(diǎn)作為三個(gè)標(biāo)志點(diǎn)，其中縱坐標(biāo)值較大的一個(gè)極大值點(diǎn)為鼻尖點(diǎn)，縱坐標(biāo)值較小的一個(gè)極大值點(diǎn)為額點(diǎn)，極小值點(diǎn)為軟組織鼻根點(diǎn)；

步驟23：取鼻尖點(diǎn)和軟組織鼻根點(diǎn)的中點(diǎn)為第四個(gè)標(biāo)志點(diǎn)；

步驟24：將曲線la^#和lb^#上的四個(gè)標(biāo)志點(diǎn)各自兩兩對(duì)應(yīng)，組成四對(duì)標(biāo)志點(diǎn)。

一種基于輪廓特征x線片和彩色照片配準(zhǔn)方法，步驟3所述的精配準(zhǔn)相似變換模型的參數(shù)具體計(jì)算方法包括：

步驟31：根據(jù)步驟2得到的相似變換模型參數(shù)τ0(s,θ,tx,ty)對(duì)曲線la進(jìn)行相似變換得到曲線la*，公式如下：

其中，γ為幾何變換模型，(x，y)為側(cè)位x線片中像素坐標(biāo)，(x’，y’)為相似變換后像素坐標(biāo)，s為尺度因子，θ為旋轉(zhuǎn)角度，tx和ty分別為x、y方向的偏移量；

步驟32：將步驟31變換后的曲線la*與步驟1得到的曲線lb進(jìn)行對(duì)齊，分別截取兩條曲線在縱坐標(biāo)軸中存在相互重疊區(qū)間的曲線段，其中側(cè)位x線片中的曲線段構(gòu)成一條粗匹配的鼻子和前額軟組織輪廓曲線，彩色照片中的曲線段構(gòu)成另一條粗匹配的鼻子和前額軟組織輪廓曲線；

步驟33：利用一致點(diǎn)漂移算法對(duì)步驟32得到的粗匹配后的兩條鼻子和前額軟組織輪廓曲線進(jìn)行曲線配準(zhǔn)，估計(jì)出精配準(zhǔn)相似變換模型的參數(shù)τ1(s,θ,tx,ty)。

有益效果：

首先，利用步驟1中提出的分層輪廓提取方法，可以能夠解決有背景和噪聲圖像中目標(biāo)輪廓曲線的特征提取問(wèn)題，該方法綜合利用了canny算法和drlse模型方法這兩種主要的現(xiàn)有技術(shù)來(lái)提取邊緣特征和檢測(cè)目標(biāo)輪廓，并在其基礎(chǔ)之上進(jìn)行了兩點(diǎn)改進(jìn)：一是基于先驗(yàn)知識(shí)(如，標(biāo)尺位置信息和目標(biāo)輪廓的灰度分布特性等)剔除了背景和噪聲的干擾，再提取外輪廓并利用邊緣連接的方法得到了粗略的面部軟組織輪廓，以作為drlse模型的初始形狀；二是在基于drlse模型方法提取得到的連續(xù)的面部軟組織輪廓的基礎(chǔ)之上，利用拐點(diǎn)檢測(cè)的方法，得到連續(xù)的鼻子和額頭軟組織輪廓曲線，并提出了迭代多項(xiàng)式曲線擬合的算法來(lái)校正鼻子與額頭連接處的輪廓曲線，最終提取到了連續(xù)且較精確的鼻子和額頭軟組織輪廓曲線；本發(fā)明提出的方法可適用于類似圖像中目標(biāo)輪廓的檢測(cè)。

其次，利用步驟2中的方法，可快速地對(duì)圖像配準(zhǔn)問(wèn)題中的幾何變換模型參數(shù)給出粗略的估計(jì)。然后，基于步驟2得到的幾何變換模型參數(shù)的粗估計(jì)，利用步驟3的方法，可以進(jìn)一步更加精確地估計(jì)幾何變換模型的參數(shù)。最后，步驟4綜合了由粗到精的結(jié)果，得到了最終的幾何變換模型參數(shù)，利用該參數(shù)對(duì)待配準(zhǔn)圖像(側(cè)位x線片)進(jìn)行重采樣與變換，并與彩色照片疊加得到融合圖像。本發(fā)明提出的由粗到精的圖像配準(zhǔn)方法，由于綜合利用了標(biāo)志點(diǎn)特征和輪廓曲線特征，因此相比于單一基于點(diǎn)特征的圖像配準(zhǔn)方法的配準(zhǔn)精度要高；而由于建立在粗配準(zhǔn)結(jié)果的基礎(chǔ)之上，且將開(kāi)曲線進(jìn)行了粗匹配，因此相比于單一基于一致點(diǎn)漂移算法的圖像配準(zhǔn)方法的配準(zhǔn)精度要高，且算法復(fù)雜度較低；該方法可適用于具有相似目標(biāo)輪廓或開(kāi)曲線特征的圖像配準(zhǔn)領(lǐng)域。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例的基于輪廓特征由粗到精的側(cè)位x線片和彩色照片的圖像配準(zhǔn)方法流程示意圖；

圖2為本發(fā)明實(shí)施例的鼻子和前額的軟組織輪廓曲線的特征提取方法示意圖；

圖3為本發(fā)明實(shí)施例定義的曲率角度α。

具體實(shí)施方式

下面結(jié)合附圖并舉實(shí)施例，對(duì)本發(fā)明進(jìn)行詳細(xì)敘述。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用于解釋本發(fā)明，并不限定本發(fā)明。

圖1是本發(fā)明具體實(shí)施方式中基于輪廓特征由粗到精的側(cè)位x線片和彩色照片的圖像配準(zhǔn)方法的流程圖，具體包括如下步驟：

步驟1：利用分層輪廓特征提取方法分別從同一患者頭部的側(cè)位x線片和彩色照片中提取出兩條鼻子和前額的軟組織輪廓曲線，具體算法流程如圖2所示。

步驟11：利用基于歸一化互相關(guān)系數(shù)的模板匹配方法，對(duì)于標(biāo)尺定位，根據(jù)標(biāo)尺的位置和圖像尺寸信息在x線片中提取包含面部軟組織結(jié)構(gòu)的roi；利用gamma校正和直方圖拉伸的方法先后對(duì)roi和彩色照片做預(yù)處理，增強(qiáng)圖像對(duì)比度；

步驟12：再利用canny算法分別提取roi和彩色照片中的邊緣特征，根據(jù)x線片中標(biāo)尺位置信息剔除標(biāo)尺的邊緣點(diǎn)以及標(biāo)尺鄰域內(nèi)的邊緣點(diǎn)；

步驟13：根據(jù)面部軟組織結(jié)構(gòu)邊緣的鄰域灰度分布特性，剔除步驟12的彩色照片和已經(jīng)去除標(biāo)尺的側(cè)位x線片的邊緣特征中的噪聲邊緣，具體的：

如果以面部軟組織邊緣為中心沿x軸方向的像素灰度分布特征表現(xiàn)為下降沿，則保留該邊緣；否則該邊緣為噪聲邊緣并被剔除；

步驟14：在剔除噪聲邊緣后的感興趣區(qū)域和彩色照片中提取側(cè)位面部軟組織的輪廓曲線，具體為：

distance(point1,point2)＜thresh1

sum(pixels)＜thresh2

其中，pixels表示曲線段端點(diǎn)point1與point2之間的矩形區(qū)域內(nèi)邊緣上像素點(diǎn)，thresh1和thresh2表示設(shè)定的閾值。該準(zhǔn)則可描述為：若兩個(gè)曲線段端點(diǎn)的距離小于某個(gè)閾值且它們之間的矩形區(qū)域內(nèi)邊緣像素的數(shù)目小于某個(gè)閾值，則用直線段連接這兩個(gè)曲線段端點(diǎn)。最后，在感興趣區(qū)域roi和彩色照片中分別得到一條較粗糙但連續(xù)的側(cè)位面部軟組織輪廓曲線。

步驟15：將上一步得到的側(cè)位面部軟組織輪廓曲線初始化drlse模型中的水平集函數(shù)φ0，drlse模型可表示為下列公式

其中，為實(shí)數(shù)定義域ω上的水平集函數(shù)，μ＞0是一個(gè)常數(shù)，且εext(φ)是外部能量函數(shù)。水平集正則項(xiàng)rp(φ)定義為

其中，能量密度函數(shù)定義為

為了滿足當(dāng)水平集函數(shù)φ位于側(cè)位面部軟組織輪廓時(shí)達(dá)到最小值的條件，設(shè)計(jì)能量函數(shù)

其中，λ＞0是的系數(shù)，g為邊緣指示函數(shù)，定義為

gσ為標(biāo)準(zhǔn)誤差為σ的高斯核，為邊緣能量函數(shù)，它的值可以通過(guò)計(jì)算沿著零水平輪廓φ對(duì)函數(shù)g的線積分而得到，如下式。

其中，δ是狄拉克函數(shù)，可近似地表示為平滑函數(shù)δε，如下式。

其中，ε通常設(shè)置為1.5。給定初始化水平集函數(shù)φ(x,0)＝φ0(x)，通過(guò)下式可以求得最小化能量函數(shù)的解。

即，利用drlse模型的方法，進(jìn)一步提取到光滑連續(xù)且更加準(zhǔn)確的側(cè)位面部軟組織輪廓。

步驟16：在步驟15得到的側(cè)位面部軟組織輪廓曲線上檢測(cè)拐點(diǎn)，具體為:

步驟161：首先，在側(cè)位面部軟組織輪廓曲線上找出橫坐標(biāo)值最大的像素點(diǎn)即鼻尖點(diǎn)；

步驟162：然后，由鼻尖點(diǎn)出發(fā)向上跟蹤側(cè)位面部軟組織輪廓曲線，并計(jì)算鼻尖點(diǎn)以上部分的側(cè)位面部軟組織輪廓曲線的曲率角度，得到一維曲率角度分布圖a；由鼻尖點(diǎn)出發(fā)向下跟蹤側(cè)位面部軟組織輪廓曲線，并計(jì)算鼻尖點(diǎn)以下部分的側(cè)位面部軟組織輪廓曲線的曲率角度，得到一維曲率角度分布圖b；其中，根據(jù)下列公式定義曲率角度α，如圖3所示。

其中，o、a和b為側(cè)位面部軟組織輪廓曲線上三個(gè)不同的像素點(diǎn)，且r為半徑閾值，由此，繪制出兩幅一維曲率角度分布圖；

步驟163：分別設(shè)定恰當(dāng)?shù)母唛撝祎hresh_high和低閾值thresh_low，先在一維曲率角度分布圖a和一維曲率角度分布圖b中找出所有高于thresh_high的極大值點(diǎn)，然后在每?jī)蓚€(gè)極大值點(diǎn)之間尋找低于thresh_low的最小值點(diǎn)；由鼻尖點(diǎn)出發(fā)，向上跟蹤一維曲率角度分布圖a，得到的前兩個(gè)最小值點(diǎn)就是要檢測(cè)的拐點(diǎn)，向下跟蹤一維曲率角度分布圖b，得到的第一個(gè)最小值點(diǎn)就是要檢測(cè)的拐點(diǎn)；

步驟17：最后，根據(jù)鼻尖點(diǎn)和三個(gè)拐點(diǎn)，從步驟15得到的兩條側(cè)位面部軟組織輪廓曲線上分別截取出兩條鼻子和前額部位的軟組織輪廓曲線。

步驟18：由于拍攝側(cè)位x線片時(shí)標(biāo)尺緊貼著患者的鼻根處，因此鼻根點(diǎn)附近的輪廓曲線出現(xiàn)向左側(cè)偏移的現(xiàn)象，為了校正該位置的輪廓曲線，對(duì)上一步得到的鼻子和前額的軟組織輪廓曲線進(jìn)行迭代多項(xiàng)式曲線擬合，得到更加合理又精確的鼻子和前額的軟組織輪廓曲線，其中，側(cè)位x線片的鼻子和前額的軟組織輪廓曲線為la，彩色照片的鼻子和前額的軟組織輪廓曲線為lb，其中，迭代多項(xiàng)式曲線擬合算法的具體步驟如下：

(1)初始的鼻子和前額軟組織輪廓曲線c0，應(yīng)用多項(xiàng)式曲線擬合得到新的輪廓曲線c1；

(2)計(jì)算c0上點(diǎn)(x0(i),y0(i))與c1上點(diǎn)(x1(i),y1(i))的距離

(3)如果且y1(i)＞y0(i)，則y1(i):＝y(tǒng)0(i)，即更新曲線c0；

(4)對(duì)于(3)更新后的c0再次進(jìn)行曲線擬合，得到新的曲線c1；

(5)計(jì)算c0上點(diǎn)(x0(i),y0(i))與c1上點(diǎn)(x1(i),y1(i))的距離

(6)定義和之間的絕對(duì)距離diff_dist，即若diff_dist＜ε，則收斂；否則且重復(fù)步驟(3)到(6)直至收斂。

步驟2：在提取到的鼻子和前額軟組織輪廓曲線上檢測(cè)出4對(duì)標(biāo)志點(diǎn)，根據(jù)這4對(duì)標(biāo)志點(diǎn)并利用最小二乘法估計(jì)相似變換模型的參數(shù)，即粗配準(zhǔn)結(jié)果；

步驟21：分別將步驟1中從側(cè)位x線片和彩色照片中提取到的兩條精確的鼻子和前額軟組織輪廓曲線進(jìn)行橫縱坐標(biāo)的交換。

步驟22：分別在步驟21中經(jīng)橫縱坐標(biāo)交換后的兩條鼻子和前額軟組織輪廓曲線上均檢測(cè)出兩個(gè)極大值點(diǎn)和一個(gè)極小值點(diǎn)，作為三個(gè)標(biāo)志點(diǎn)，其中縱坐標(biāo)值較大的一個(gè)極大值點(diǎn)就是鼻尖點(diǎn)，縱坐標(biāo)值較小的一個(gè)極大值點(diǎn)就是額點(diǎn)，極小值點(diǎn)就是軟組織鼻根點(diǎn)。

步驟23：取鼻尖點(diǎn)和軟組織鼻根點(diǎn)的中點(diǎn)為第四個(gè)標(biāo)志點(diǎn)。

步驟24：將兩條鼻子和前額軟組織輪廓曲線上的四個(gè)標(biāo)志點(diǎn)各自兩兩對(duì)應(yīng)，組成四對(duì)標(biāo)志點(diǎn)；然后根據(jù)這四對(duì)標(biāo)志點(diǎn)，利用最小二乘法估計(jì)粗配準(zhǔn)相似變換模型的參數(shù)τ0(s,θ,tx,ty)，其中，s為尺度因子，θ為旋轉(zhuǎn)角度，tx和ty分別為x、y方向的偏移量,且坐標(biāo)系原點(diǎn)在側(cè)位x線片和彩色照片的左上角，且x方向沿原點(diǎn)指向右上角，y方向沿原點(diǎn)指向左下角。

步驟3：根據(jù)粗配準(zhǔn)結(jié)果τ0(s,θ,tx,ty)對(duì)x線片上提取到的鼻子和前額的軟組織輪廓曲線la進(jìn)行相似變換得到曲線la*，利用cpd(coherentpointdrift)一致點(diǎn)漂移算法對(duì)x線片上變換后的鼻子和前額輪廓曲線la*和彩色照片上提取到的鼻子和前額輪廓曲線進(jìn)行曲線lb配準(zhǔn)，估計(jì)出精配準(zhǔn)相似變換模型的參數(shù)，具體的：

步驟31：根據(jù)步驟2得到的相似變換模型參數(shù)τ0(s,θ,tx,ty)對(duì)側(cè)位x線片中提取到的鼻子和前額的軟組織輪廓曲線la進(jìn)行相似變換得到曲線la*，公式如下：

其中，γ為幾何變換模型，(x，y)為側(cè)位x線片中像素坐標(biāo)，(x’，y’)為相似變換后像素坐標(biāo)；

步驟32：將步驟31變換后的側(cè)位x線片中的鼻子和前額的軟組織輪廓曲線la*與步驟1得到的彩色照片中提取到的鼻子和前額的軟組織輪廓曲線lb進(jìn)行對(duì)齊，分別截取兩條曲線在坐標(biāo)軸中存在相互重疊區(qū)間的曲線段，其中側(cè)位x線片中的曲線段構(gòu)成一條粗匹配的鼻子和前額軟組織輪廓曲線，彩色照片中的曲線段構(gòu)成另一條粗匹配的鼻子和前額軟組織輪廓曲線；

步驟33：一致點(diǎn)漂移算法(cpd，coherentpointdrift)的核心思想就是用高斯混合模型擬合給定點(diǎn)集，并通過(guò)約束高斯混合模型中心作為一個(gè)整體漂移至另一個(gè)點(diǎn)集，從而保持給定點(diǎn)集原有的拓?fù)浣Y(jié)構(gòu)。其中，利用最大化高斯混合模型后驗(yàn)概率的優(yōu)化算法，實(shí)現(xiàn)對(duì)兩個(gè)點(diǎn)集的配準(zhǔn)并得到它們的對(duì)應(yīng)關(guān)系。該方法常用于閉合圖形上邊界點(diǎn)集的配準(zhǔn)。本發(fā)明將一致點(diǎn)漂移算法運(yùn)用于開(kāi)曲線的配準(zhǔn)，首先，假設(shè)x為粗匹配后彩色照片中鼻子和前額軟組織輪廓曲線上的點(diǎn)集，y為粗匹配后x線片中鼻子和前額軟組織輪廓曲線上的點(diǎn)集，定義目標(biāo)函數(shù)q

滿足條件

θ^tθ＝ι,det(θ)＝1

其中，(當(dāng)且僅當(dāng)ω＝0時(shí)n＝np，且n,m是點(diǎn)集中點(diǎn)的數(shù)量)，pold為高斯混合模型的后驗(yàn)概率，計(jì)算公式為

其中，參數(shù)ω(0≤ω≤1)表示點(diǎn)集中噪聲的比重。然后，利用em算法最小化目標(biāo)函數(shù)q，可以估計(jì)出變換模型的參數(shù)τ和方差σ²。

由此，利用一致點(diǎn)漂移算法對(duì)步驟32得到的粗匹配后x線片中的鼻子和前額軟組織輪廓曲線la*和彩色照片中提取到的鼻子和前額軟組織輪廓曲線lb進(jìn)行曲線配準(zhǔn)，估計(jì)出新的精配準(zhǔn)相似變換模型的參數(shù)τ1(s,θ,tx,ty)。

步驟4：綜上所述，步驟2得到的相似變換模型參數(shù)τ0(s,θ,tx,ty)可以表示為

步驟3得到的相似變換模型的參數(shù)τ1(s,θ,tx,ty)可以表示為

通過(guò)解方程組可以得到最終的相似變換模型的參數(shù)τ(s,θ,tx,ty)，即精配準(zhǔn)結(jié)果。最后，根據(jù)相似變換模型的參數(shù)τ(s,θ,tx,ty)，并利用線性插值算法對(duì)側(cè)位x線片進(jìn)行圖像重采樣與變換，并與彩色照片疊加得到融合圖像。

自此，就實(shí)現(xiàn)了基于輪廓特征由粗到精的側(cè)位x線片和彩色照片的圖像配準(zhǔn)的全部過(guò)程。當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。