專利名稱：圖像處理裝置和圖像處理方法
技術領域：
本發明涉及處理拍攝管腔內而得到的管腔內圖像的圖像處理裝置和圖像處理方法。
背景技術：
以往，作為導入到患者等被檢者的體內而非侵入地觀察管腔內的醫用觀察裝置，內窺鏡已經廣泛普及。近年來，在膠囊型的框體內部收納攝像裝置和通信裝置等，將由攝像裝置拍攝到的圖像數據無線發送到體外的吞服式內窺鏡(膠囊內窺鏡)也已經開發出來。由這樣的醫用觀察裝置拍攝到的一系列圖像(管腔內圖像)上升到巨大的數量(幾萬幅以上)，并且，針對各個管腔內圖像的觀察和診斷需要較多的經驗。因此，期望輔助醫生進行診斷的醫療診斷支援功能。作為實現該功能的圖像識別技術之一，提出了從管腔內圖像中自 動檢測異常部分，指示應該重點診斷的圖像的技術。但是，在通過圖像識別檢測異常部分時，作為預處理，重要的是去除顯現出殘渣等的不需要觀察的區域(不需要區域)來提取粘膜區域。例如，在日本特開2006-166939號公報中公開了一種圖像處理方法，在對拍攝活體粘膜而得到的圖像設定的預定的處理對象區域中，根據像素的色調特征量檢測特定的活體粘膜的存在。但是，在僅使用顏色信息檢測不需要區域的情況下，對于如白色病變部分那樣顏色與殘渣等類似的區域，盡管其是粘膜區域，有時也會被作為不需要區域而去除。

發明內容
本發明正是鑒于上述問題而完成的，其目的在于，提供一種圖像處理裝置和圖像處理方法，能夠在管腔內圖像中更高精度地判別粘膜區域和殘渣等非粘膜區域。本發明的一個方式的圖像處理裝置用于判別管腔內圖像中包含的粘膜區域和非粘膜區域，該圖像處理裝置具有候選區域檢測部，其根據構成管腔內圖像的各個像素的特征量，檢測作為是否是粘膜區域的判別對象的候選區域；構造邊緣檢測部，其檢測所述管腔內圖像中包含的構造邊緣；以及區域判別部，其根據所述構造邊緣與所述候選區域的相對位置關系，判別所述候選區域是否是粘膜區域。本發明的另一個方式的圖像處理方法用于判別管腔內圖像中包含的粘膜區域和非粘膜區域，該圖像處理方法具有候選區域檢測步驟，根據管腔內圖像中的各個像素的特征量，檢測作為是否是粘膜區域的判別對象的候選區域；構造邊緣檢測步驟，檢測所述管腔內圖像中包含的構造邊緣；以及區域判別步驟，根據所述構造邊緣與所述候選區域的相對位置關系，判別所述候選區域是否是粘膜區域。如果參照附圖閱讀以下本發明的詳細說明，則以上所述的和本發明的其它目的、特征、優點以至技術上、產業上的意義將變得更加清楚。


圖I是示出本發明的實施方式I的圖像處理裝置的結構的框圖。圖2是示出圖I所示的圖像處理裝置的動作的流程圖。圖3是示出管腔內圖像的一例的示意圖。圖4是示出管腔內圖像內的構造邊緣的檢測處理的流程圖。圖5是示出殘渣候選區域與近似構造邊緣線的位置關系的圖。圖6A 圖6C是示出近似構造邊緣線的計算方法的一例的圖。圖7是示出本發明的實施方式2的圖像處理裝置的結構的框圖。圖8是示出圖7所示的圖像處理裝置執行的殘渣候選區域的判別處理的流程圖。 圖9是說明近似構造邊緣線與殘渣候選區域的交叉狀態的判定方法的圖。圖10是示出本發明的實施方式3的圖像處理裝置的結構的框圖。圖11是示出圖10所示的圖像處理裝置執行的殘渣候選區域的判別處理的流程圖。圖12是說明近似構造邊緣線與殘渣候選區域的交叉狀態的判定方法的圖。圖13是示出本發明的實施方式4的圖像處理裝置的結構的框圖。圖14是示出圖13所示的圖像處理裝置的動作的流程圖。圖15是示出作為處理對象的管腔內圖像的一例的示意圖。圖16是示出圖13所示的圖像處理裝置執行的殘渣候選區域周邊的構造邊緣的檢測處理的流程圖。圖17是示出對歸一化后的周圍相似曲線進行投影而得到的特征空間的示意圖。圖18是說明在特征空間中提取出的邊緣坐標的連續性的判定方法的圖。圖19是示出將具有連續性的邊緣坐標轉換成管腔內圖像上的坐標的例子的示意圖。圖20是示出圖13所示的相似曲線計算部執行的多個周圍相似曲線的計算處理的流程圖。圖21是示出圖13所示的連續性判定部執行的具有連續性的邊緣坐標的檢測處理的流程圖。圖22是說明在具有連續性的邊緣坐標的檢測處理中設定的搜索范圍的變形例的圖。
具體實施例方式以下，參照

本發明的實施方式的圖像處理裝置。另外，本發明并非受這些實施方式限定。此外，在各個附圖的記載中，對同一部分標注相同的標號示出。以下說明的實施方式的圖像處理裝置用于處理利用例如內窺鏡或膠囊內窺鏡等醫用觀察裝置拍攝被檢者的體內(管腔內)而得到的管腔內圖像，具體地說，對管腔內圖像進行作為觀察(診斷)對象的粘膜區域和不是觀察對象的非粘膜區域(例如殘渣區域)的判別處理。此外，在以下的實施方式中，被實施圖像處理的管腔內圖像例如是在各個像素中具有針對R(紅)、G(綠)、B(藍)的各色成分的像素級別(像素值)的彩色圖像。在本申請中，非粘膜區域是指在管腔內圖像的畫面中與粘膜區域重疊(即與粘膜區域相比位于前面側)映現出的粘膜以外的區域。具體地說，包含附著于粘膜上的殘渣區域、離開粘膜浮游的殘渣(也稱作浮游殘渣)區域等。在本申請中，設這樣的殘渣區域為不是觀察對象的不需要區域。實施方式I圖I是示出本發明的實施方式I的圖像處理裝置的結構的框圖。如圖I所示，圖像處理裝置I具有控制圖像處理裝置I整體的動作的控制部10、圖像取得部11、輸入部12、顯示部13、記錄部14以及運算部15。 圖像取得部11取得由醫用觀察裝置拍攝到的管腔內圖像的圖像數據。圖像取得部11按照包含醫用觀察裝置的系統的方式而適當構成。例如，在醫用觀察裝置是膠囊內窺鏡、與醫用觀察裝置之間的圖像數據的接收發送使用可移動的記錄介質的情況下，圖像取得部11由拆裝自如地安裝該記錄介質，讀出所保存的管腔內圖像的圖像數據的讀出裝置構成。此外，在設置預先保存由醫用觀察裝置拍攝到的管腔內圖像的圖像數據的服務器的情況下，圖像取得部11由與服務器連接的通信裝置等構成，與服務器進行數據通信而取得管腔內圖像的圖像數據。或者，也可以利用經由電纜從內窺鏡等醫用觀察裝置輸入圖像信號的接口裝置等構成圖像取得部11。輸入部12例如由鍵盤或鼠標、觸摸面板、各種開關等實現，將輸入信號輸出到控制部10。顯示部13由IXD或EL顯示器等顯示裝置實現，在控制部10的控制下顯示包含管腔內圖像在內的各種畫面。記錄部14由可更新記錄的閃存等ROM或RAM這樣的各種IC存儲器、內置或者利用數據通信端子連接的硬盤、或者CD-ROM等信息記錄介質及其讀取裝置等來實現。記錄部14除了存儲由圖像取得部11取得的管腔內圖像的圖像數據以外，還存儲用于使圖像處理裝置I動作并且使圖像處理裝置I執行各種功能的程序和在執行該程序的過程中使用的數據等。具體地說，存儲用于從管腔內圖像識別非粘膜區域的圖像處理程序141。運算部15由CPU等硬件來實現，通過讀入圖像處理程序141，處理管腔內圖像的圖像數據，進行用于識別非粘膜區域的各種運算處理。運算部15具有殘渣候選區域檢測部16、構造邊緣區域檢測部17、作為殘渣區域判別部的近似構造邊緣線運算部18以及交叉判定部19。殘渣候選區域檢測部16根據顏色特征量檢測作為是否是殘渣區域的判別對象的候選區域。詳細地說，殘渣候選區域檢測部16首先按照每個類似的顏色對管腔內圖像進行區域分割，并且，對各個像素計算R值、G/R值、B/G值。然后，對分割而得到的各個區域，計算平均R值、平均G/R值以及平均B/G值。接著，將這些平均R值、平均G/R值以及平均B/G值投影到由R值-G/R值-B/G值的3軸構成的特征空間。殘渣候選區域檢測部16通過在該特征空間內對這些平均值進行閾值處理，檢測候選區域。另外，作為候選區域的檢測方法，不限于上述說明的方法，只要是例如將R值、G值、B值投影到HIS顏色空間對H值(色相值)進行閾值處理等根據顏色特征量進行檢測的方法即可，可以采用已知的各種方法。構造邊緣區域檢測部17檢測管腔內圖像中包含的構造邊緣區域。在此，管腔內圖像中存在由粘膜之間的槽等引起的、根據攝像對象物的立體形狀而產生的邊緣即構造邊緣以及由吸光特性與粘膜面不同的血管區域等引起的顏色邊緣。構造邊緣區域檢測部17根據每個顏色成分的微分強度的相對關系提取其中的構造邊緣。構造邊緣區域檢測部17具有第I微分強度計算部171，其使用構成管腔內圖像的各個像素的第I顏色成分(例如R成分)計算第I微分強度；第2微分強度計算部172，其使用各個像素的第2顏色成分(例如G成分)計算第2微分強度；歸一化處理部173，其根據第I顏色成分與第2顏色成分的強度比對第2微分強度進行歸一化；以及閾值處理部174，其判別第I微分強度和歸一化后的第2微分強度是否在預定的閾值以上。作為殘渣區域判別部的近似構造邊緣線運算部18以及交叉判定部19根據殘渣候選區域與構造邊緣的相對位置關系判別該殘渣候選區域是否是殘渣區域。近似構造邊緣線運算部18計算檢測到的構造邊緣的近似線(近似構造邊緣線)。近似構造邊緣線運算部18包含標記處理部181，其標記在殘渣候選區域附近( 例如與殘渣候選區域部分交叉或相接的程度)中檢測到的構造邊緣；以及函數近似部182，其對被標記的各個構造邊緣計算近似函數。交叉判定部19判定近似構造邊緣線是否與殘渣候選區域交叉，根據兩者的交叉狀態判別殘渣候選區域是否是殘渣區域?？刂撇?0由CPU等硬件來實現，通過讀入存儲在記錄部14中的各種程序，按照從圖像取得部11輸入的圖像數據和從輸入部12輸入的操作信號等，進行向構成圖像處理裝置I的各部的指示或數據的傳輸等，統一地控制圖像處理裝置I整體的動作。接著，參照圖2和圖3說明圖像處理裝置I的動作。圖2是示出圖像處理裝置I的動作的流程圖。此外，圖3是示出由膠囊內窺鏡拍攝，由圖像處理裝置I處理的管腔內圖像的一例的示意圖。首先，在步驟SlO中，圖像處理裝置I從外部接收管腔內圖像組的輸入，存儲于記錄部14。運算部15從記錄部14讀出取得處理對象的管腔內圖像100。在步驟Sll中，殘渣候選區域檢測部16根據顏色特征量，從管腔內圖像100檢測作為是否是殘渣區域的判別對象的殘渣候選區域。在檢測到殘渣候選區域101的情況下(步驟S12 :是)，構造邊緣區域檢測部17接著檢測管腔內圖像100內的構造邊緣(步驟S13)。另一方面，在沒有檢測到殘渣候選區域的情況下(步驟S12 :否)，判斷為不存在殘渣區域，結束圖像處理裝置I的動作。在步驟S14中，近似構造邊緣線運算部18計算檢測到的構造邊緣102 104中殘渣候選區域101周圍的構造邊緣103、104的近似構造邊緣線。詳細地說，首先，標記處理部181標記殘渣候選區域101附近的構造邊緣103、104。接著，函數近似部182根據構成被標記的構造邊緣103、104的像素(構造邊緣像素)的坐標，采用函數近似法計算近似構造邊緣線。作為函數近似法，例如可采用使用最小平方法的一次函數近似或二次函數近似等已知的各種方法。圖5是圖3所示的殘渣候選區域101附近的放大圖。例如如圖5所示，在計算出與構造邊緣103近似的近似構造邊緣線105的情況下(步驟S15 :是)，交叉判定部19根據殘渣候選區域101與近似構造邊緣線105的位置關系，判別殘渣候選區域101是否是殘渣區域(步驟S16)。詳細地說，交叉判定部19掃描殘渣候選區域101內，檢測在近似構造邊緣線105的坐標上存在的像素。然后，在存在近似構造邊緣線105上的像素的情況下，交叉判定部19判定為近似構造邊緣線105與殘渣候選區域101交叉，判別為該殘渣候選區域101是遮蔽構造邊緣103的殘渣區域。另一方面，在不存在近似構造邊緣線105上的像素的情況下，交叉判定部19判定為近似構造邊緣線105與殘渣候選區域101不交叉，判別為該殘渣候選區域101不是殘渣區域(即是粘膜區域)。此外，在沒有計算出近似構造邊緣線的情況下(步驟S15 :否)，交叉判定部19判別為該殘渣候選區域101不是殘渣區域(步驟S17)。然后，在存在尚未執行判別處理的殘渣候選區域的情況下(步驟S18 :否)，動作轉移到步驟S14，進行針對下一殘渣候選區域的處理。另一方面，在針對從管腔內圖像100檢測到的全部殘渣候選區域的判別處理結束時(步驟S18 :是)，運算部15輸出判別結果使顯示部13顯示,并且,使記錄部14記錄(步驟S19)。
·
接著，參照圖4詳細說明圖2的步驟S13所示的構造邊緣的檢測處理。圖4是示出步驟S13中的構造邊緣區域檢測部17的動作的流程圖。首先，在步驟S131中，第I微分強度計算部171對構成管腔內圖像100的I個像素，通過使用了例如索貝爾(Sobel)濾波器等的一次微分處理，計算R成分的微分強度。此夕卜，在步驟S132中，第2微分強度計算部172對相同的像素同樣地計算G成分的微分強度。在步驟S133中，歸一化處理部173根據R成分與G成分的強度比對R成分與G成分的微分強度進行歸一化。進行這樣的處理的理由在于，一般構成管腔內圖像的各個像素的各個顏色成分(R、G、B)的強度是R值>6值>8值，相應地具有R成分的微分強度比G成分的微分強度高的傾向，因此，使G成分的微分強度與R成分的微分強度相符。在實施方式I中，通過對G成分的微分強度乘以R成分相對于G成分的強度比來進行歸一化。在接下來的步驟S134中，閾值處理部174對歸一化后的微分強度進行閾值處理。例如，在血管區域的邊界那樣的顏色邊緣區域，R成分的微分強度低，G成分的微分強度高，因而按照每個顏色成分產生微分強度的差。另一方面，在構造邊緣區域中，R成分和G成分都按照相同的傾向而變化，因而每個顏色成分的微分強度不怎么存在差異。因此，閾值處理部174提取R成分和G成分的微分強度都在閾值以上的像素作為構造邊緣像素。構造邊緣區域檢測部17對管腔內圖像100內的全部像素反復進行這樣的處理(步驟S135 :否、步驟S131)。當對管腔內圖像100內的全部像素執行了閾值處理時(步驟S135 :是)，構造邊緣區域檢測部17對提取出的構造邊緣像素進行標記，并且，進行細線化處理(參照=CG-ARTS協會、r ^ -7'夕斤畫像処理、p. 185 p. 190)(步驟S136)。由此，檢測出圖3所示的構造邊緣102 104。然后，動作返回主程序。如以上說明的那樣，在實施方式I中，根據顏色特征量檢測殘渣候選區域，根據該殘渣候選區域與構造邊緣的相對位置關系(即該殘渣候選區域是否遮蔽構造邊緣)，判別該殘渣候選區域是否是殘渣區域。因此，能夠以比僅使用顏色特征量確定殘渣區域時高的精度，提取殘渣區域。因此，通過設提取出的殘渣區域為不需要區域從管腔內圖像中預先排除，能夠提高讀影效率。變形例1-1作為構造邊緣的檢測方法，除了上述基于第I顏色成分和第2顏色成分的微分強度的檢測方法以外，還可采用已知的各種方法。例如，還能夠使用至少I個顏色成分的微分強度來檢測構造邊緣。具體地說，使用最遠離管腔內的吸光頻帶的顏色成分(R、G、B內的R成分)即可。這是因為R成分在3個顏色成分內波長最長，被血液(血紅蛋白)吸光的吸光成分少，因而能夠得到最能反映活體組織的表面構造的信息。在該情況下，通過使用索貝爾(Sobel)濾波器等的一次微分處理、使用了拉普拉斯算子(Laplacian)等的二次微分處理等公知的邊緣提取技術，根據各個像素的 R成分計算邊緣強度。變形例1-2作為近似構造邊緣線的計算方法，除了上述基于函數近似的方法以外，還可使用已知的各種方法。作為一例，如圖6A所示，說明根據構成被標記的構造邊緣110的構造邊緣像素111計算近似構造邊緣線的方法。首先，函數近似部182對各個構造邊緣像素111在X方向和y方向應用索貝爾濾波器，取得各個構造邊緣像素111的梯度方向。接著，函數近似部182如圖6B所示，計算與各個構造邊緣像素111的梯度方向正交的向量(正交向量)112。并且，函數近似部182計算這些正交向量112的平均值(平均正交向量)和構成構造邊緣110的全部構造邊緣像素111的重心位置113。然后，函數近似部182如圖6C所示，將具有與平均正交向量相同的斜率且通過重心位置113的一次函數設為近似構造邊緣線 114。變形例1-3說明近似構造邊緣線的計算方法的別的例子。首先，函數近似部182如圖6A所示，在構成被標記的構造邊緣110的各個構造邊緣像素111(坐標(x，y))中，求出海森矩陣(Hessian matrix)。在此,海森矩陣是指將多變量標量函數(本變形例1_3中的像素值f(x,y))的二階偏微分作為元素的正方矩陣。這樣的海森矩陣的第2固有向量朝向為沿著將像素值f(x，y)視為高度時的山谷或山脊的方向(即與圖6B所示的正交向量112相同的方向)。函數近似部182計算各個構造邊緣像素111中的海森矩陣的第2固有向量的平均向量和構造邊緣110的重心位置113，計算具有與平均向量相同的斜率并通過重心位置113的一次函數，將其作為近似構造邊緣線。實施方式2接著，說明本發明的實施方式2的圖像處理裝置。如圖7所示，實施方式2的圖像處理裝置2具有運算部20。其它結構與圖I所示的相同。運算部20具有殘渣候選區域檢測部16、構造邊緣區域檢測部17、作為殘渣區域判別部的近似構造邊緣線運算部18以及交叉判定部21。其中，殘渣候選區域檢測部16、構造邊緣區域檢測部17以及近似構造邊緣線運算部18的結構和動作與在實施方式I中說明的相同。交叉判定部21包含計算近似構造邊緣線與殘渣候選區域的輪廓線的類似度的類似度計算部211，根據計算出的類似度判定近似構造邊緣線與殘渣候選區域的交叉關系，并且，根據其判定結果，判別殘渣候選區域是否是殘渣區域。接著，參照圖2、圖8以及圖9說明圖像處理裝置2的動作。圖像處理裝置2的動作整體上與圖2所示的相同，步驟S16所示的殘渣候選區域的判別處理中的詳細動作與實施方式I不同。圖8是示出圖像處理裝置2執行的殘渣候選區域的判別處理的流程圖。此外，圖9是說明近似構造邊緣線與殘渣候選區域的交叉狀態的判定方法的圖，放大示出從管腔內圖像100檢測出的殘渣候選區域101、構造邊緣103、104以及近似構造邊緣線105。在步驟S21中，交叉判定部21掃描殘渣候選區域101內，檢測在近似構造邊緣線105的坐標上存在的像素(在此稱作“近似線上像素”)。在此，在存在近似線上像素的情況下，可認為構造邊緣103被殘渣候選區域101遮蔽。在該情況下，作為遮蔽構造邊緣103的區域，有可能是殘渣區域，或者是例如白色病變區域那樣盡管是粘膜區域但根據顏色特征量被檢測作殘渣候選區域的區域。這是因為這樣的病變區域有時與周圍的粘膜區域相比隆起，因而由于拍攝的方向而被拍攝得如遮蔽構造邊緣103那樣。但是，由于粘膜區域的隆起而看上去遮蔽構造邊緣的區域有時僅僅略微跨過構造邊緣。因此，這樣的遮蔽區域的輪廓線存在于構造邊緣的附近。因此，在實施方式2中，根據近似構造邊緣線105與殘渣候選區域101的輪廓線106的類似度，判定殘渣候選區域101是殘渣區域，還是由于隆起而看上去遮蔽構造邊緣103的粘膜區域。在步驟S22中檢測到近似線上像素的情況下(步驟S22 :是)，類似度計算部211 計算各個近似線上像素的坐標P處的近似構造邊緣線105的法線方向(步驟S23)。此外，類似度計算部211計算該法線方向上的坐標P與輪廓線106之間的距離(步驟S24)。此時，在法線方向上存在2個方向，因而計算距離dsmKT和距離(Iumj這2個值。類似度計算部211采用其中較短的距離dSHQKT(即靠近輪廓線106 —側的距離)。在步驟S25中，類似度計算部211根據對在步驟S21中檢測出的全部像素計算出的距離dsmKT計算平均值dAVE。在步驟S25中，交叉判定部21判定平均值dAVE是否在預定的閾值以上。在平均值dAVE在閾值以上的情況下(步驟S26 :是)，交叉判定部21判別為近似構造邊緣線105與輪廓線106不類似，該殘渣候選區域101是殘渣區域(步驟S27)。然后，動作返回到主程序。另一方面，在平均值dAVE小于閾值的情況下(步驟S26 :否)，交叉判定部21判別為近似構造邊緣線105與輪廓線106類似，該殘渣候選區域101不是殘渣區域(步驟S28)。 此外，在步驟S22中沒有檢測到存在于近似構造邊緣線105上的像素的情況下(步驟S22 否)，交叉判定部21也判別為該殘渣候選區域101不是殘渣區域(步驟S28)。如以上說明的那樣，根據實施方式2，根據近似構造邊緣線與殘渣候選區域的輪廓線的類似度，判別殘渣候選區域的種類。因此，能夠將根據顏色特征量而被提取為殘渣候選區域并遮蔽構造邊緣的粘膜區域與殘渣區域相區別。因此，能夠從管腔內圖像中更正確地僅提取殘渣區域。實施方式3接著，說明本發明的實施方式3的圖像處理裝置。如圖10所示，實施方式3的圖像處理裝置3具有運算部30。其它結構與圖I所示的相同。運算部30具有殘渣候選區域檢測部16、構造邊緣區域檢測部17、作為殘渣區域判別部的近似構造邊緣線運算部18以及交叉判定部31。其中，殘渣候選區域檢測部16、構造邊緣區域檢測部17以及近似構造邊緣線運算部18的結構和動作與在實施方式I中說明的相同。交叉判定部31包含計算近似構造邊緣線與殘渣候選區域的輪廓線的角度差的角度差計算部311，根據計算出的角度差判定近似構造邊緣線與殘渣候選區域的交叉關系，并且，根據其判定結果，判別殘渣候選區域是否是殘渣區域。
接著，參照圖2、圖11以及圖12說明圖像處理裝置3的動作。圖像處理裝置3的動作整體上與圖2所示的相同，步驟S16所示的殘渣候選區域的判別處理中的詳細動作與實施方式I不同。圖11是示出圖像處理裝置3執行的殘渣候選區域的判別處理的流程圖。此外，圖12是說明近似構造邊緣線與殘渣候選區域的交叉狀態的判定方法的圖，放大示出從管腔內圖像100檢測出的殘渣候選區域101、構造邊緣103、104以及近似構造邊緣線105。在步驟S31中，交叉判定部31通過對殘渣候選區域101進行輪廓跟蹤(參照CG-ARTS協會、〒i '7'夕斤畫像処理、p. 178 p. 179)，檢測坐標與近似構造邊緣線105 —致的輪廓像素(在此稱作“近似線上輪廓像素”)。在檢測到近似線上輪廓像素的情況下(步驟S32 :是)，角度差計算部311計算在近似線上輪廓像素的坐標Q中，殘渣候選區域101的輪廓線106的法線向量V(步驟S33)，并且，計算相同坐標Q處的近似構造邊緣線105的切線向量u (步驟S34)。 并且，在步驟S35中，角度差計算部311計算切線向量u與法線向量V的向量積的值|uXv| = u V sin 0。該向量積的值|uXv|按照切線向量u與法線向量v所成的角度0 (OS 0 < 180° )而變化。換言之，向量積的值IuXvI表示近似構造邊緣線105的方向與輪廓線106的方向的類似關系。即，在向量積的值|uXv|大的情況下(例如sin 0 =1,0 =90° ),近似構造邊緣線105與輪廓線106成為方向類似的交叉關系。另一方面，在向量積的值|uXv|小的情況下(例如sin0 =0, 0 =0° ),近似構造邊緣線105與輪廓線106成為方向不類似的交叉關系。在步驟S36中，交叉判定部31判定計算出的向量積的值|uXv|是否在預定的閾值以下。在向量積的值IuXvI在閾值以下的情況下(步驟S36:是)，交叉判定部31判別為近似構造邊緣線105與輪廓線106不類似，該殘渣候選區域101是殘渣區域(步驟S37)。然后，動作返回主程序。另一方面，在向量積的值IuXvI大于閾值的情況下(步驟S36 :否)，交叉判定部31判別為近似構造邊緣線105與輪廓線106類似，該殘渣候選區域101不是殘渣區域(步驟S38)。此外，在步驟S32中沒有檢測到近似線上輪廓像素的情況下(步驟S32:否)，也判別為該殘渣候選區域101不是殘渣區域(步驟S38)。如以上說明的那樣，根據實施方式3，使用近似線上輪廓像素中的向量，因此，能夠以更少的運算量正確地判定近似構造邊緣線與殘渣候選區域的交叉關系。實施方式4接著，說明本發明的實施方式4的圖像處理裝置。如圖13所示，實施方式4的圖像處理裝置4具有運算部40。其它結構與圖I所示的相同。運算部40具有殘渣候選區域檢測部16、構造邊緣區域檢測部41、作為殘渣區域判別部的近似構造邊緣線運算部42以及交叉判定部19。其中，殘渣候選區域檢測部16和交叉判定部19的動作與在實施方式I中說明的相同。構造邊緣區域檢測部41具有相似曲線計算部411，其在殘渣候選區域周邊(包圍殘渣候選區域的管腔內圖像的部分區域)，針對與殘渣候選區域的輪廓之間的各個距離，計算多個相似曲線(以下稱作周圍相似曲線)，所述相似曲線由與殘渣候選區域的輪廓等距離的像素構成，且具有與殘渣候選區域的輪廓相似的形狀；邊緣位置檢測部412，其提取各個周圍相似曲線與邊緣交叉的位置的坐標即邊緣坐標；以及連續性判定部413，其判定各個周圍相似曲線之間的邊緣坐標的連續性，構造邊緣區域檢測部41檢測殘渣候選區域周邊的構造邊緣區域。近似構造邊緣線運算部42包含通過函數近似法計算近似構造邊緣線的函數近似部421，提取被判定為在各個周圍相似曲線之間連續的邊緣坐標，根據這些邊緣坐標計算近似構造邊緣線。接著，說明圖像處理裝置4的動作。圖14是示出圖像處理裝置4的動作的流程圖。另外，圖14所示的步驟SlO S12以及S19的動作與在實施方式I中說明的相同。此外，圖15是示出由圖像處理裝置4處理的管腔內圖像的一例的示意圖。在圖15所示的管腔內圖像200中示出在步驟Sll中檢測到的殘渣候選區域201。在步驟S41中，構造邊緣區域檢測部41檢測殘渣候選區域201周邊的構造邊緣。
圖16是示出步驟S41中的構造邊緣區域檢測部41的動作的流程圖。首先，在步驟S401中，相似曲線計算部411計算與殘渣候選區域201之間的距離彼此不同的多個周圍相似曲線。圖15所示的周圍相似曲線202 204是與殘渣候選區域201的輪廓的距離分別為dl d3的位置上的周圍相似曲線。這些周圍相似曲線202 204的周長彼此不同。因此，在步驟S402中，相似曲線計算部411將與殘渣候選區域201之間的距離最短的第I周圍相似曲線(在圖15中是周圍相似曲線202)的長度作為基準長度，將與殘渣候選區域201之間的距離比基準長度長的第2個及第2個之后的周圍相似曲線(在圖15中是周圍相似曲線203、204)的周長根據其與基準長度之間的比率進行歸一化。由此，周圍相似曲線202 204的周長得到統一。在步驟S403中，相似曲線計算部411將歸一化后的周圍相似曲線202 204投影到圖17所示的特征空間。圖17所示的特征空間由表示周圍相似曲線上的位置(與預定的基準位置之間的距離)的歸一化坐標、其它周圍相似曲線203、204相對于作為基準的周圍相似曲線202的相對距離以及周圍相似曲線202 204上的像素的像素值這3個軸構成。表示圖17所示的特征空間內的歸一化坐標下的像素值的像素值曲線301 303對應于管腔內圖像200上的周圍相似曲線202 204。在步驟S404中，邊緣位置檢測部412計算各個像素值曲線301 303的微分強度，提取微分強度在預定的閾值以上的歸一化坐標作為邊緣坐標。例如在圖18所示的特征空間的情況下，從第I像素值曲線301提取邊緣坐標al、bl、Cl，從第2像素值曲線302提取邊緣坐標a2、c2，從第3像素值曲線303提取邊緣坐標a3、c3。在步驟S405中，連續性判定部413對檢測出的邊緣坐標al a3、bl、cl c3，判定在相鄰的像素值曲線之間是否具有連續性，提取具有連續性的邊緣坐標。通過對例如像素值曲線301上的坐標al搜索在預定的搜索范圍As內是否存在別的像素值曲線上的坐標來進行該連續性的判定。另外，對于連續性的判定處理將在后面詳細說明。在此，假定提取邊緣坐標al a3以及邊緣坐標cl c3作為具有連續性的邊緣坐標。在步驟S406中，連續性判定部413將提取出的邊緣坐標al a3、cl c3轉換成實際圖像空間上的坐標。由此，如圖19所示,得到對應于邊緣坐標al a3的坐標Al A3、對應于邊緣坐標Cl c3的坐標Cl C3。并且，在步驟S407中，構造邊緣區域檢測部41從這些坐標Al A3、C1 C3中分別提取任意數量的坐標，提取通過提取出的坐標的直線或者曲線作為構造邊緣205、206。然后，動作返回主程序。在進行這樣的處理后結果檢測到構造邊緣時(步驟S42 :是)，近似構造邊緣線計算部42通過例如函數近似法計算與檢測到的構造邊緣205、206近似的近似構造邊緣線(步驟S43)。在步驟S44中，交叉判定部19判定計算出的近似構造邊緣線與殘渣候選區域201是否交叉，根據其判定結果，判別殘渣候選區域201是否是殘渣區域。另外，殘渣候選區域201的判別方法與在實施方式I中說明的相同?；蛘?，交叉判定部19也可以與實施方式2或者3相同地，根據近似構造邊緣線與殘渣候選區域201的輪廓的交叉關系，進行殘渣候選區域201的判別。此外，當在步驟S42中沒有檢測到構造邊緣的情況下(步驟S42 :否)，交叉判定部19判別為該殘渣候選區域201不是殘渣區域(步驟S45)。
然后，在存在尚未執行判別處理的殘渣候選區域的情況下(步驟S46 :否)，動作轉移到步驟S41，進行針對下一個殘渣候選區域的處理。另一方面，在針對從管腔內圖像200檢測到的全部殘渣候選區域的判別處理結束時(步驟S46 :是)，動作轉移到步驟S19。接著，參照圖20詳細說明圖16的步驟S401所示的多個周圍相似曲線的計算處理。圖20是示出步驟S401中的相似曲線計算部411的動作的流程圖。首先，在步驟S411中，相似曲線計算部411將管腔內圖像200內的各個像素的值轉換成表示與殘渣候選區域201之間的距離的值，由此生成距離圖像。作為距離圖像的生成方法，可采用公知的各種方法(例如參照平田富夫、加藤敏洋、「二一々')'y卜''距離変換7 A 3 U < A」(情報処理學會研究報告、T A 3 ^研究會報告第94卷、第82號、第25-31 頁、1994 年 9 月 21 日))。在接下來的步驟S412中，相似曲線計算部411設定從殘渣候選區域201的輪廓到第n個周圍相似曲線的距離dn。在此，n(n= 1、2、3、...)是識別各個周圍相似曲線的編號。此外，距離dn可以采用期望的方法設定。例如也可以通過預先設定相鄰的周圍相似曲線之間的間隔Ad，將編號n和間隔Ad相乘，由此設定距離dn。在步驟S413中，相似曲線計算部411將設定的距離cU乍為閾值對距離圖像進行2值化。然后，對與殘渣候選區域201的輪廓之間的距離在dn以下的區域進行輪廓跟蹤，按照順序取得與該殘渣候選區域201的輪廓之間的距離在閾值(距離dn)以下的區域的輪廓上的像素的像素值。由此，生成周圍相似曲線(步驟S414)。相似曲線計算部411在還生成與殘渣候選區域201的輪廓之間的距離不同的周圍相似曲線的情況下(步驟S415 :是)，將編號n增加l(n = n+1，步驟S416)。然后，動作轉移到步驟S412。此外，在生成了期望數量的周圍相似曲線的情況下(步驟S415:否)，動作返回主程序。接著，參照圖21詳細說明檢測圖16的步驟S405所示的在相鄰的像素值曲線之間具有連續性的邊緣坐標的處理。圖21是示出步驟S405中的連續性判定部413的動作的流程圖。首先，在步驟S421中，連續性判定部413將從第I像素值曲線檢測到的邊緣坐標設定成基點坐標。例如在圖18的情況下，像素值曲線301的邊緣坐標al、bl、cl為基點坐標。接著，連續性判定部413設定進行連續性判定的基點坐標(步驟S422)。以下，從基點坐標(邊緣坐標)al起開始連續性的判定。在步驟S423中，連續性判定部413設定在第n個(n = 2、3、...)像素值曲線上搜索與基點坐標連續的邊緣坐標的搜索范圍。作為該搜索范圍，設定以第I像素值曲線上的基點坐標為中心的任意寬度?；蛘?，作為搜索范圍，也可以設定以在搜索I個內側(第n-1個)像素值曲線時檢測到的邊緣坐標為中心的任意寬度。例如，在n = 3的情況下，可以搜索以基點坐標al為中心的搜索范圍A s，也可以搜索以在搜索像素值曲線302時檢測到的邊緣坐標a2為中心的搜索范圍A s'。在步驟S424中，連續性判定部413判定在第n個像素值曲線的搜索范圍內是否存在邊緣坐標。在其結果是存在邊緣坐標的情況下(步驟S424:是)，如果還存在外側(第n+1個)像素值曲線(步驟S425 :是)，則在將編號n增加l(n = n+1，步驟S426)之后轉移 到步驟S423，進行針對I個外側的像素值曲線的搜索。例如在圖18的情況下，當從第2個像素值曲線302的搜索范圍A s檢測到邊緣坐標a2時，進行針對第3個像素值曲線303的搜索。連續性判定部413在最外側的像素值曲線上的邊緣坐標的搜索結束時(步驟S425 :否)，提取在各個像素值曲線中檢測到的邊緣坐標作為具有連續性的邊緣坐標(步驟S427)。例如,對基點坐標al提取邊緣坐標a2、a3。另一方面，連續性判定部413在針對第n個像素值曲線的搜索結果為在搜索范圍內不存在邊緣坐標的情況下(步驟S424 :否)，提取在第I個 第n-1個像素值曲線中檢測到的邊緣坐標作為連續的邊緣坐標(步驟S428)。然后，在存在尚未進行邊緣坐標的連續性判定的基點坐標的情況下(步驟S429 否)，動作轉移到步驟S422，進行針對別的基點坐標的處理。另一方面，在對全部基點坐標進行了邊緣坐標的連續性判定時(步驟S429 :是)，動作返回主程序。在進行了這樣的搜索處理的結果是在圖18所示的特征空間中，提取邊緣坐標al a3以及邊緣坐標cl c3作為連續的坐標。如以上說明的那樣，在實施方式4中，針對每個殘渣候選區域檢測其周圍的構造邊緣，因此能夠降低用于檢測構造邊緣的運算量，高效地進行殘渣候選區域的判定。變形例4-1作為檢測在像素值曲線之間具有連續性的邊緣坐標時的搜索范圍的設定方法，不限于上述方法。例如，如圖22所示，也可以根據在內側的像素值曲線301、302中判定為連續的邊緣坐標al、a2，計算歸一化坐標-相對距離的二維空間中的近似線L，將該近似線L的周圍作為搜索范圍As。變形例4-2作為檢測在像素值曲線之間具有連續性的邊緣坐標的方法，不限于上述方法。例如，也可以將全部周圍相似曲線圖像化，根據圖像上的邊緣特征量判別邊緣的連續性。詳細地說，生成設周圍相似曲線的編號n為縱軸，設歸一化坐標為橫軸，設周圍相似曲線上的像素值為濃度的圖像。然后，通過對構成該圖像的各個像素的微分強度進行閾值處理而進行2值化，由此生成2值圖像。并且，對該2值圖像進行標記。如果由此得到的標記區域的主軸長度在預定的閾值以上，則判定為屬于該標記區域的邊緣坐標連續。變形例4-3作為檢測殘渣候選區域周圍的局部構造邊緣的方法，不限于上述使用周圍相似曲線的方法。例如，也可以將殘渣候選區域周圍的預定范圍設定成為構造邊緣的檢測對象區域，對該區域內部進行與實施方式I相同的處理，由此檢測構造邊緣。如以上說明的那樣，根據實施方式I 4及其變形例，從管腔內圖像中根據像素值檢測非粘膜區域的候選區域，根據管腔內圖像中包含的構造邊緣與上述候選區域的相對位置關系，判別該候選區域是否是粘膜區域，因此，與僅使用顏色信息的情況相比，能夠以更高的精度判別粘膜區域和非粘膜區域。以上說明的實施方式I 4的圖像處理裝置可通過由個人計算機、工作站等計算機系統執行記錄于記錄介質中的圖像處理程序來實現。此外，也可以經由局域網、廣域網(LAN/WAN)或者互聯網等公眾線路與其它計算機系統或服務器等設備連接來使用這樣的計 算機系統。在該情況下，實施方式I 4的圖像處理裝置也可以經由這些網絡取得管腔內圖像的圖像數據，或者向經由這些網絡連接的各種輸出設備(瀏覽器或打印機等)輸出圖像處理結果，或者向經由這些網絡連接的存儲裝置(記錄介質及其讀取裝置等)存儲圖像處理結果。另外，本發明不限于實施方式I 4及其變形例，通過適當組合各個實施方式或變形例公開的多個構成要素，能夠形成各種發明。例如，可以從各個實施方式或變形例所示的全部構成要素中去除若干構成要素而形成，也可以適當組合不同的實施方式或變形例所示的構成要素而形成。
權利要求
1.ー種圖像處理裝置，其判別管腔內圖像中包含的粘膜區域和非粘膜區域，該圖像處理裝置具有 候選區域檢測部，其根據構成管腔內圖像的各個像素的特征量，檢測作為是否是粘膜區域的判別對象的候選區域； 構造邊緣檢測部，其檢測所述管腔內圖像中包含的構造邊緣；以及區域判別部，其根據所述構造邊緣與所述候選區域的相對位置關系，判別所述候選區域是否是粘膜區域。
2.根據權利要求I所述的圖像處理裝置，其中，所述非粘膜區域是與所述粘膜區域重疊的殘渣區域。
3.根據權利要求I所述的圖像處理裝置，其中，所述候選區域檢測部根據所述各個像素的顔色特征量檢測所述候選區域。
4.根據權利要求I所述的圖像處理裝置，其中，所述構造邊緣檢測部使用構成所述管腔內圖像的多個顏色成分中最遠離管腔內的吸光頻帶的I個顏色成分，來檢測所述構造邊緣。
5.根據權利要求I所述的圖像處理裝置，其中， 所述構造邊緣檢測部具有 第I微分強度計算部，其使用所述各個像素的第I顔色成分計算各個像素的第I微分強度； 第2微分強度計算部，其使用所述各個像素的第2顔色成分計算各個像素的第2微分強度； 歸ー化部，其根據所述第I顔色成分和第2顔色成分的強度比，對所述第2微分強度進行歸ー化；以及 閾值處理部，其在所述第I微分強度和歸ー化后的所述第2微分強度都在預定的閾值以上的情況下，判別為相應像素表示構造邊緣。
6.根據權利要求I所述的圖像處理裝置，其中，所述構造邊緣檢測部在包圍所述候選區域的周圍區域中檢測所述構造邊緣。
7.根據權利要求6所述的圖像處理裝置，其中， 所述構造邊緣檢測部具有 相似曲線計算部，其計算多個相似曲線，所述相似曲線由與所述候選區域的輪廓等距離的像素構成，且具有與所述候選區域的輪廓相似的形狀，并且所述多個相似曲線與所述候選區域的輪廓之間的距離彼此不同； 邊緣位置檢測部，其分別檢測所述多個相似曲線上的邊緣位置；以及 連續性判定部，其判定所述多個相似曲線中的相鄰的相似曲線之間的邊緣位置的連續性。
8.根據權利要求I所述的圖像處理裝置，其中， 所述區域判別部具有 近似構造邊緣線計算部，其計算所述構造邊緣的近似線即近似構造邊緣線；以及 交叉判定部，其判定所述近似構造邊緣線與所述候選區域是否交叉， 所述區域判別部根據所述交叉判定部的判定結果判別所述候選區域是否是粘膜區域。
9.根據權利要求8所述的圖像處理裝置，其中，所述近似構造邊緣線計算部對在所述候選區域附近檢測到的多個所述構造邊緣進行標記，對被標記的所述構造邊緣分別計算近似構造邊緣線。
10.根據權利要求8所述的圖像處理裝置，其中，所述近似構造邊緣線計算部具有對所述構造邊緣進行函數近似的函數近似部。
11.根據權利要求10所述的圖像處理裝置，其中，所述函數近似部計算與位于所述構造邊緣上的像素處的像素值梯度方向正交的向量，根據該向量進行函數近似。
12.根據權利要求10所述的圖像處理裝置，其中，所述函數近似部根據位于所述構造邊緣上的像素的像素值，計算海森矩陣的固有向量，根據該固有向量進行函數近似。
13.根據權利要求10所述的圖像處理裝置，其中，所述函數近似部根據位于所述構造邊緣上的像素的坐標進行函數近似。
14.根據權利要求8所述的圖像處理裝置，其中，所述交叉判定部在所述近似構造邊緣線與所述候選區域的輪廓線的坐標一致的位置上，根據所述輪廓線的法線與所述近似構造邊緣線所成的角度進行判定。
15.根據權利要求8所述的圖像處理裝置，其中，所述區域判別部還具有計算所述候選區域的輪廓線與所述近似構造邊緣線的類似度的類似度計算部，所述區域判別部根據所述類似度判別所述候選區域是否是粘膜區域。
16.ー種圖像處理方法，用于判別管腔內圖像中包含的粘膜區域和非粘膜區域，該圖像處理方法具有 候選區域檢測步驟，根據管腔內圖像中的各個像素的特征量，檢測作為是否是粘膜區域的判別對象的候選區域； 構造邊緣檢測步驟，檢測所述管腔內圖像中包含的構造邊緣；以及 區域判別步驟，根據所述構造邊緣與所述候選區域的相對位置關系，判別所述候選區域是否是粘膜區域。
全文摘要
本發明提供一種圖像處理裝置和圖像處理方法。圖像處理裝置用于判別管腔內圖像中包含的粘膜區域和非粘膜區域，該圖像處理裝置具有殘渣候選區域檢測部，其根據構成管腔內圖像的各個像素的特征量，檢測作為是否是粘膜區域的判別對象的殘渣候選區域；構造邊緣區域檢測部，其檢測管腔內圖像中包含的構造邊緣；以及近似構造邊緣線計算部和交叉判定部，其根據構造邊緣與殘渣候選區域的相對位置關系，判別殘渣候選區域是否是粘膜區域。
文檔編號A61B1/04GK102697446SQ20121000746
公開日2012年10月3日 申請日期2012年1月11日 優先權日2011年1月11日
發明者北村誠, 弘田昌士, 河野隆志, 神田大和 申請人:奧林巴斯株式會社