專利名稱：圖像處理設備和圖像處理方法
技術領域：
本發明涉及一種圖像處理設備和圖像處理方法。
背景技術：
傳統上，為了早期診斷在生活方式相關的疾病和失明原因之前所出現的疾病，已進行眼部檢查。通常，在這種眼部檢查中，使用諸如OCT(光學相干斷層成像儀)等的眼部斷層圖像攝像設備。當使用這種眼部斷層圖像攝像設備時，由于該眼部斷層圖像攝像設備允許三維觀察視網膜層內部的狀態，因此可以給出更加準確的診斷。使用眼部斷層圖像攝像設備拍攝到的斷層圖像通常在計算機中經過圖像處理以檢測視網膜的各個層的邊界和血管，然后測量諸如各層的形狀和血管的形狀等的組織形狀。圖14示出如下的狀態在使用眼部斷層圖像攝像設備拍攝到的各種斷層圖像中，檢測各層的邊界和血管并且測量眼部的組織形狀。圖14的14a的例子示出如下的狀態在檢測到內界膜Bi、內叢狀層邊界B4、光感受器內節和外節之間的邊界B5以及視網膜色素上皮邊界B6之后，測量視網膜厚度Tl和 GCC(Ganglion Cell Complex，神經節細胞復合體)厚度T2。圖14的14c的例子示出如下的狀態在檢測到視網膜血管V之后，測量視網膜血管V的直徑。這樣，通過測量眼部的組織形狀并比較測量結果(視網膜厚度Tl、GCC厚度T2和視網膜血管V的直徑等)是否落入正常值范圍內，可以檢測異常(即，病變部)。在眼部的某些疾病中，彼此的相關性深的病變部(主病變部和關聯病變部)可能分別存在于多個層中。在這種疾病的情況下，在進行診斷或實施治療方案時，識別這些病變部之間的相關性(主病變部和關聯病變部之間的距離、關聯病變部的有無和大小等)也很重要。例如，以下將說明糖尿病視網膜病。圖14的14b示出患有糖尿病視網膜病的患者的眼部斷層圖像。如圖14的14b所示，在糖尿病視網膜病的情況下，視網膜內層中的視網膜血管的毛細血管變得肥大，從而形成微血管瘤MAUi = 1，. . .，nl)。此外，某些微血管瘤 MAi使血漿成分滲出，導致這些血漿成分累積在視網膜外層中。通常，通過使血漿成分塊狀累積所形成的滲出性病變部被稱為囊腫Cj (j = 1，. . .，n2)。在具有這些病變部的糖尿病視網膜病的情況下，在治療時，指定血漿成分已滲出的微血管瘤MAi (主病變部)，并利用激光束照射微血管瘤MAi，由此阻止滲出。此時，在血漿成分已滲出的微血管瘤MAi附近，如圖14的14b所示，常形成關聯囊腫Cj，并且可以通過測量這些關聯囊腫Cj (關聯病變部)的大小來識別血漿成分的滲出量。因此，相鄰位置具有較大的囊腫Cj的微血管瘤MAi是在實施治療方案時、進行激光治療的必要級高的主病變部。然而，利用激光束無法照射對視力的影響大的部位(中央凹Fl)和對視神經的影響大的部位(視神經乳頭)。由于該原因，在設計激光治療時，必須測量這些部位與滲出點之間的距離，從而確認滲出點與這些部位是否充分分離。也就是說，在顯示斷層圖像時，粗略一看就可以識別出囊腫Cj的大小和位置以及囊腫Cj與微血管瘤MAi、中央凹Fl和視神經乳頭之間的距離，由此期望提高執行診斷和治療方案時的便利性。如上所述，期望顯示通過對使用眼部斷層圖像攝像設備所拍攝的斷層圖像執行圖像處理所獲得的處理結果，從而允許操作員針對各疾病容易地識別病變部的相關性。另一方面，傳統上已提出了用于顯示通過對使用眼部斷層圖像攝像設備所拍攝的斷層圖像執行圖像處理所檢測到的病變部的各種方法。例如，美國專利7，505，142的說明書公開了如下結構通過局限于視網膜內的一部分層來生成單個投影圖像，并突出顯示視網膜血管。此外，日本特開2009-89792公開了如下結構在沿著視網膜神經纖維走向方向的多個點處對形狀異常(變薄)進行比較和顯
7J\ ο然而，美國專利7，505，142的說明書所述的結構在一部分層中生成單個投影圖像，并且日本特開2009-89792所述的結構顯示了單個層。即，這些結構并未考慮到分別存在于多個層中的病變部的相關性來顯示這些病變部，并且這些結構的顯示模式并不適合對存在于多個層中的、必須識別出各自之間的相關性的病變部作出診斷或實施治療方案。

發明內容
考慮到以上問題作出了本發明。根據本發明的圖像處理設備包括以下結構。即，一種圖像處理設備，用于對眼部的斷層圖像執行圖像處理，所述圖像處理設備包括眼部特征獲取部件，用于獲取所述斷層圖像的作為解剖學特征的眼部特征；指定部件，用于從所述眼部特征獲取部件獲取到的眼部特征所指定的多個層中，指定至少兩個層，其中，所述至少兩個層是檢測與預定類型的疾病相對應的病變部所需的層；病變部獲取部件，用于從所述指定部件指定的所述至少兩個層中，分別檢測與所述預定類型的疾病相對應的病變部；生成部件，用于通過將所述病變部獲取部件從所述至少兩個層分別檢測到的病變部投影到預定的二維圖像，來生成合成圖像； 以及顯示部件，用于顯示所述生成部件所生成的合成圖像。此外，根據本發明的圖像處理方法包括以下結構。即，一種圖像處理設備的圖像處理方法，用于對眼部的斷層圖像執行圖像處理，所述圖像處理方法包括以下步驟眼部特征獲取步驟，用于控制眼部特征獲取部件，以獲取所述斷層圖像的作為解剖學特征的眼部特征；指定步驟，用于控制指定部件，以從所述眼部特征獲取步驟中獲取到的眼部特征所指定的多個層中，指定至少兩個層，其中，所述至少兩個層是檢測與預定類型的疾病相對應的病變部所需的層；病變部獲取步驟，用于控制病變部獲取部件，以從所述指定步驟中指定的所述至少兩個層中，分別檢測與所述預定類型的疾病相對應的病變部；生成步驟，用于控制生成部件，以通過將所述病變部獲取步驟中從所述至少兩個層分別檢測到的病變部投影到預定的二維圖像，來生成合成圖像；以及顯示步驟，用于控制顯示部件，以顯示所述生成步驟中生成的合成圖像。根據本發明，對斷層圖像執行圖像處理的圖像處理設備允許操作員容易地識別存在于多個層中的病變部之間的相關性。通過以下(參考附圖)對典型實施例的說明，本發明的其它特征將變得明顯。


包含在說明書中并構成說明書一部分的附圖示出了本發明的實施例，并和說明書一起用來解釋本發明的原理。圖1是示出包括根據本發明第一實施例的圖像處理設備100的圖像處理系統的示例的框圖；圖2是示出圖像處理設備100的硬件結構的框圖；圖3是示出圖像處理設備100的功能結構的框圖；圖4示出在執行圖像處理設備100的圖像處理功能時使用的眼部斷層圖像的示例；圖5是示出圖像處理設備100中的圖像處理的序列的流程圖；圖6是示出圖像處理設備100中的病變部獲取處理的序列的流程圖；圖7是示出圖像處理設備100中的合成圖像生成處理的序列的流程圖；圖8示出通過圖像處理設備100中的合成圖像生成處理所生成的合成圖像的示例；圖9是示出根據本發明第二實施例的圖像處理設備900的功能結構的框圖；圖10示出在執行圖像處理設備900的圖像處理功能時使用的眼部斷層圖像的示例；圖11是示出圖像處理設備900中的病變部獲取處理的序列的流程圖；圖12是示出圖像處理設備900中的合成圖像生成處理的序列的流程圖；圖13示出通過圖像處理設備900中的合成圖像生成處理所生成的合成圖像的示例；以及圖14示出在使用眼部斷層圖像攝像設備所拍攝的各種斷層圖像中檢測到各個層的邊界和血管并測量眼部的組織形狀的狀態。
具體實施例方式現在將根據附圖來詳細說明本發明的實施例。第一實施例首先將說明根據本實施例的圖像處理設備的概述。根據本實施例的圖像處理設備的特征在于在患有糖尿病視網膜病的患者的眼部斷層圖像中，指定對與該疾病(糖尿病視網膜病)相對應的病變部進行檢測所需的層(視網膜內層和視網膜外層)。該圖像處理設備的特征還在于從指定層中的視網膜內層檢測到微血管瘤作為主病變部，從視網膜外層檢測到囊腫作為關聯病變部，并將這些病變部連同眼部特征一起投影到預定眼底圖像上，由此將它們顯示為合成圖像。利用該結構，操作員可以容易地識別有無來自微血管瘤的血漿成分的滲出、可否對主病變部進行治療、以及針對主病變部的治療的優先級等。以下將詳細說明具有這些典型特征的本實施例。注意，在解剖學上，將從內界膜Bl到內顆粒層(未示出)的這些層定義為視網膜內層，并且將從外叢狀層(未示出)到視網膜色素上皮層B的這些層定義為視網膜外層。然而，在實際的眼部斷層圖像上，由于可以更加準確地檢測到相對于外叢狀層稍偏內層側的內叢狀層邊界B4，因此在本實施例的視網膜中，將從內界膜Bl到內叢狀層邊界B4的這些層描述為視網膜內層，并且將視網膜外層描述為除視網膜內層以外的其它區域。當然，還可以 (在檢測到外叢狀層邊界(未示出)之后)通過根據解剖學上的定義對視網膜內層和視網膜外層進行定義來實施本實施例。1.圖像處理系統的結構圖1是示出包括根據本實施例的圖像處理設備100的圖像處理系統的示例的框圖。如圖1所示，圖像處理設備100和眼部斷層圖像攝像設備102經由光纖以及諸如 USB或IEEE 1394等的接口相連接。數據服務器ιο 經由諸如以太網(Ethernet )等的 LAN(局域網)103連接至圖像處理設備100和眼部斷層圖像攝像設備102。注意，這些設備可以經由諸如因特網等的外部網絡相連接。眼部斷層圖像攝像設備102是用于拍攝眼部斷層圖像的設備，并且例如是時域或傅立葉域OCT。眼部斷層圖像攝像設備102響應于操作員(未示出)的操作來三維拍攝被檢眼(未示出)的斷層圖像。將所拍攝斷層圖像發送至圖像處理設備100。數據服務器101保持被檢眼的斷層圖像、被檢眼的眼部特征(從眼部斷層圖像獲取到的解剖學特征)以及眼部特征的正常值數據等。數據服務器101保持從眼部斷層圖像攝像設備102輸出的被檢眼的斷層圖像以及從圖像處理設備100輸出的眼部特征。此外， 響應于來自圖像處理設備100的請求，數據服務器101將與被檢眼相關聯的數據(斷層圖像和眼部特征)以及眼部特征的正常值數據發送至圖像處理設備100。2.圖像處理設備100的硬件結構以下將參考圖2來說明圖像處理設備100的硬件結構。參考圖2，附圖標記201 表示中央處理單元(CPU)；附圖標記202表示存儲器(RAM)；附圖標記203表示控制存儲器 (ROM)；附圖標記204表示外部存儲裝置；附圖標記205表示監視器；附圖標記206表示鍵盤；附圖標記207表示鼠標；并且附圖標記208表示接口。外部存儲裝置204存儲實現根據本實施例的圖像處理功能所需的控制程序以及執行該控制程序時所使用的數據。在CPU 201的控制下將該控制程序和數據經由總線209載入RAM 202，并且由CPU 201執行該控制程序和數據。3.圖像處理設備100的功能結構以下將參考圖3和4來說明實現根據本實施例的圖像處理功能所需的圖像處理設備100的功能結構。圖3示出與圖像處理設備100的圖像處理功能相關聯的功能結構，并且圖4示出在執行圖像處理設備100的圖像處理功能時所使用的眼部斷層圖像的示例。如圖3所示，圖像處理設備100包括斷層圖像獲取單元310、存儲單元320、圖像處理單元330、合成顯示單元340和指示獲取單元350。 圖像處理單元330進一步包括眼部特征獲取單元331、層指定單元332和病變部獲取單元333。病變部獲取單元333進一步包括相關性判斷單元333-1、治療可能性判斷單元 333-2和治療優先級判斷單元333-3。合成顯示單元340進一步包括圖像合成單元341、相關性顯示單元342、治療可能性顯示單元343和治療優先級顯示單元344。以下將詳細說明構成圖像處理設備100的各個功能塊。
(1)斷層圖像獲取單元310斷層圖像獲取單元310將斷層圖像獲取請求發送至眼部斷層圖像攝像設備102。 斷層圖像獲取單元310經由LAN 103接收響應于該獲取請求從眼部斷層圖像攝像設備102 發送來的斷層圖像，并將該斷層圖像存儲在存儲單元320中。(2)眼部特征獲取單元331眼部特征獲取單元331從存儲在存儲單元320中的斷層圖像中提取內界膜、視神經纖維層邊界、神經節細胞層邊界、內叢狀層邊界、外叢狀層邊界、光感受器內節和外節之間的邊界、視網膜色素上皮邊界、視神經乳頭和中央凹，作為眼部特征。然后，如圖4所示， 眼部特征獲取單元331從提取出的眼部特征中獲取內界膜Bi、內叢狀層邊界B4、光感受器內節和外節之間的邊界B5、視網膜色素上皮邊界B6和中央凹F1。此外，眼部特征獲取單元 331將獲取到的眼部特征存儲在存儲單元320中。以下將具體說明眼部特征獲取單元331所進行的眼部特征提取序列。首先將說明用于提取層邊界的提取序列。注意，將要處理的三維斷層圖像當作一組二維斷層圖像(B掃描圖像)，并且對各個二維斷層圖像應用以下的處理。關注的二維斷層圖像經過平滑化處理以去除噪聲成分。接著，從該二維斷層圖像檢測邊緣成分，并基于線段的連結性提取一些線段作為層邊界的候選。然后，從提取出的候選，提取最上方的線段作為內界膜Bi，提取從最上方起的第二條線段作為神經纖維層邊界B2，并且提取從最上方起的第三條線段作為內叢狀層邊界B4。 此外，提取位于內界膜Bl的外層側(圖4的如中2坐標較大的一側)且具有最大對比度的線段作為光感受器內節和外節之間的邊界B5。此外，提取層邊界候選中的最下方的線段作為視網膜色素上皮邊界B6。注意，可以通過應用諸如思內克斯(Snakes)或水平集(level-set)方法等的使這些線段作為初始值的可變形模型來精確地提取層邊界。此外，可以通過圖形切割法來檢測層邊界。注意，可以對三維斷層圖像三維執行利用可變形模型或圖形切割法的邊界提取， 或者可以對各個二維斷層圖像二維執行利用可變形模型或圖形切割法的邊界提取。此外， 可以使用任意的層邊界提取方法，只要這些層邊界提取方法可以從眼部斷層圖像中提取層邊界即可。在從眼部斷層圖像提取出層邊界之后，按凹陷深度的降序從提取出的內界膜Bl 的形狀進一步檢測兩個凹陷部，由此提取出視神經乳頭(未示出)和中央凹F1。在這種情況下，提取較淺的凹陷部作為中央凹F1，并且提取較深的凹陷部作為視神經乳頭。(3)層指定單元332層指定單元332對為了從眼部斷層圖像檢測與預定疾病相對應的主病變部和關聯病變部所指定的層的類型進行確定。為了檢測主病變部所指定的層的類型是根據要診斷的疾病的類型而確定的。在本實施例的情況下，由于要診斷的疾病是糖尿病視網膜病，主病變部是微血管瘤且關聯病變部是囊腫，因此將包括視網膜血管V的視網膜內層(圖4的4a 中的Pl)指定為檢測微血管瘤MAi所需的層的類型。此外，作為檢測囊腫Cj所需的層的類型，指定了已累積滲出的血漿成分的視網膜外層(圖4的4b中的P2)。假定包括視網膜內層Pl和視網膜外層P2的層是基于眼部特征獲取單元331獲取到的眼部特征而預先確定的。(4)病變部獲取單元333病變部獲取單元333基于眼部特征獲取單元331獲取到的眼部特征的位置信息以及層指定單元332所指定的層的類型的信息來檢測主病變部和關聯病變部。更具體地，病變部獲取單元333從層指定單元332所指定的視網膜內層檢測視網膜血管V，并將檢測到的視網膜血管V的直徑與正常值進行比較，由此檢測作為主病變部的微血管瘤MAi。此外，病變部獲取單元333從層指定單元332所指定的視網膜外層檢測作為關聯病變部的囊腫Cj。此外，病變部獲取單元333的相關性判斷單元333-1基于檢測到的微血管瘤MAi 和囊腫Cj之間的距離，判斷這些病變部之間的相關性，由此判斷治療必要級。此外，病變部獲取單元333的治療可能性判斷單元333-2基于微血管瘤MAi和中央凹Fl之間的距離，判斷可否對微血管瘤MAi進行治療。此外，病變部獲取單元333的治療優先級判斷單元333-3 基于相對于相應的微血管瘤MAi的距離最短的各囊腫Cj的大小，對各個微血管瘤MAi設置治療優先級值。注意，后面將說明病變部獲取單元333所進行的這些處理的詳細內容。(5)合成顯示單元340合成顯示單元340使用病變部獲取單元333檢測到的視網膜血管V和微血管瘤 MAi的分布、囊腫Cj的分布、治療必要級信息、可否進行治療的信息和治療優先級值，生成針對斷層圖像的合成圖像。注意，后面將說明合成圖像生成處理的詳細內容。(6)指示獲取單元350指示獲取單元350獲取如下指示圖像處理設備100中的圖像處理開始指示；將被檢眼的圖像處理結果保存在數據服務器101中所需的保存指示；以及結束圖像處理設備 100所進行的圖像處理所需的結束指示。操作員經由例如鍵盤206和鼠標207輸入這些指
7J\ ο注意，當發出保存指示時，圖像處理單元330和合成顯示單元340將檢查日期和時間、識別被檢眼所需的信息、斷層圖像、眼部特征和合成圖像彼此相關聯地發送至數據服務器 101。4.圖像處理設備100中的圖像處理的序列以下將參考圖5 7來說明圖像處理設備100中的圖像處理的序列。當指示獲取單元350獲取到圖像處理開始指示時，圖像處理設備100開始圖5所示的圖像處理。(1)整體圖像處理的序列(圖5)在步驟S501中，斷層圖像獲取單元310向眼部斷層圖像攝像設備102發出斷層圖像獲取請求以獲取斷層圖像，并將獲取到的斷層圖像存儲在存儲單元320中。在步驟S502 中，眼部特征獲取單元331從存儲在存儲單元320中的斷層圖像中獲取眼部特征(內界膜 Bi、內叢狀層邊界B4、光感受器內節和外節之間的邊界B5、視網膜色素上皮邊界B6和中央凹Fl)的位置信息。在步驟S503中，層指定單元332指定與要診斷的疾病的類型相對應的層的類型。 在步驟S504中，病變部獲取單元333基于在步驟S502中眼部特征獲取單元331獲取到的眼部特征的位置信息和在步驟S503中層指定單元332所指定的層的類型，來檢測主病變部和關聯病變部。
在步驟S505中，合成顯示單元340使用在步驟S504中檢測到的主病變部和關聯病變部生成和顯示合成圖像。在步驟S506中，指示獲取單元350判斷是否獲取到將圖像處理結果保存在數據服務器101中所需的保存指示。如果判斷為獲取到保存指示，則該處理進入步驟S507。在步驟S507中，圖像處理單元330和合成顯示單元340將圖像處理結果發送至數據服務器101，并且該處理進入步驟S508。另一方面，如果在步驟S506中判斷為沒有獲取到保存指示，則該處理跳至步驟S508。在步驟S508中，指示獲取單元350判斷是否獲取到圖像處理結束指示。如果判斷為沒有獲取到結束指示，則該處理返回至步驟S501以執行針對下一被檢眼的圖像處理(或針對同一被檢眼的再次圖像處理)。另一方面，如果在步驟S508中判斷為獲取到圖像處理結束指示，則該圖像處理結束。(2)病變部獲取處理的序列(圖6)以下將參考圖6來詳細說明病變部獲取單元333所執行的病變部獲取處理(步驟 S504)的詳細內容。在步驟S601中，病變部獲取單元333從層指定單元332所指定的層中的視網膜內層Pl檢測視網膜血管V。更具體地，病變部獲取單元333通過在限定于視網膜內層Pl的情況下沿著深度方向累積像素值來生成投影圖像，并且使用任意已知的線增強濾波器從所生成的投影圖像中檢測視網膜血管V。注意，已說明了從二維投影圖像檢測視網膜血管V的方法。然而，血管檢測方法不限于此。例如，在視網膜內層Pl上設置了關注區域(ROI)之后，可以使用非專利文獻 (K. Lee et al. ；“3-D segmentation of retinal blood Vessels in spectral-domain OCT volumes of the optic nerve head，，,Proceedings of SPIE Medical Imaging 2010, Vol. 7626，76260V，2010)所述的方法，在不生成任何投影圖像的情況下三維檢測視網膜血管V。在步驟S602中，病變部獲取單元333測量在步驟S601中檢測到的視網膜血管的直徑。更具體地，病變部獲取單元333測量如下方向上的距離作為視網膜血管V的直徑，其中所述方向與通過將視網膜血管區域轉換成細線所獲得的血管的中心軸垂直。在步驟S603中，病變部獲取單元333將在步驟S602中測量出的視網膜血管V的直徑與預先從存儲單元320讀出的視網膜血管的直徑的正常值進行比較。如果測量出的各視網膜血管V的直徑比正常值大了 Tvd%以上，則病變部獲取單元333將該視網膜血管判斷為微血管瘤MAUi = 1，2，...，nl)，并將該微血管瘤的生成位置(xi，yi)和視網膜血管V 的直徑Tdi存儲在存儲單元320中。注意，視網膜血管V的直徑測量方法不限于上述方法， 并且可以使用任意已知的測量方法。在步驟S604中，病變部獲取單元333從步驟S503中指定的視網膜外層P2檢測囊腫Cj (j = 1，2，. . .，n2)。更具體地，病變部獲取單元333通過在限定于視網膜外層P2的情況下沿著深度方向累積像素值來生成投影圖像。然后，病變部獲取單元333根據所生成的投影圖像來標記亮度值為Tg以下的像素，并且將面積為Ta以上并且圓形度為Tc以上的低亮度區域檢測為囊腫Cj。在步驟S604中，病變部獲取單元333進一步檢測所檢測到的囊腫Cj的面積Taj，作為表示關聯病變部的大小的信息。注意，囊腫Cj的檢測方法不限于上述方法。例如，在視網膜外層P2上設置了關注區域(ROI)之后，可以在不生成任何投影圖像的情況下標記亮度值為Tg以下的像素，并且可以將體積為Tv以上并且球形度為Ts以上的低亮度區域檢測為囊腫Cj。在這種情況下， 測量出體積Tvj作為表示囊腫Cj的大小的信息。返回參考圖6，在步驟S605中，相關性判斷單元333_1測量步驟S603中獲取到的微血管瘤MAi和步驟S604中檢測到的囊腫Cj之間的距離LDi (病變部之間的距離)。此夕卜，相關性判斷單元333-1將具有等于或小于閾值(閾值=Tmin)的最短距離minLDi的組合(MAi，Cj)判斷為主病變部和關聯病變部的組合。在這種情況下，將不具有相應的關聯病變部的微血管瘤MAi的最短距離設置為0。在步驟S606中，治療可能性判斷單元333-2計算微血管瘤MAi和中央凹Fl之間的距離FDi，并且對距離FDi等于或小于預定距離(閾值=Tf)的微血管瘤MAi的可治療標志Li設置“0”。在這種情況下，當微血管瘤MAi存在于允許進行治療(激光照射)的區域內時，對Li設置“1”;當微血管瘤MAi存在于不允許進行治療(激光照射)的區域內時，對 Li設置“0”。設n3是可治療標志Li設置為“ 1，，的微血管瘤MAi的總數。此外，在步驟S606中，治療優先級判斷單元333-3對可治療標志Li設置為“1”的微血管瘤MAi計算治療優先級Pi (1彡i彡n3)。更具體地，治療優先級判斷單元333-3基于步驟S604中計算出的囊腫Cj的面積Taj (或體積Tvj)對這些囊腫Cj進行排序，從而使得Taj (Tvj)越大，設置的治療優先級Pi越高。(3)合成圖像生成處理的序列(圖7)以下將參考圖7來說明合成顯示單元340所執行的合成圖像生成處理(步驟 S505)的詳細內容。在步驟S701中，合成顯示單元340從圖像處理單元330獲取中央凹Fl的位置、視網膜血管V和微血管瘤MAi的分布、囊腫Cj的分布、以及針對微血管瘤MAi的可治療標記 Li和治療優先級Pi的值。在步驟S702中，圖像合成單元341將步驟S701中獲取到的視網膜血管V、微血管瘤MAi和囊腫Cj的分布、中央凹Fl的位置以及可治療范圍的邊界(以中央凹Fl為中心的直徑為Imm的圓)疊加在根據斷層圖像所生成的預定眼底圖像上。此外，合成顯示單元340 顯示所生成的合成圖像。此外，相關性顯示單元342在可識別各微血管瘤MAi相對于相應的囊腫Cj的相關性的模式下，顯示步驟S605中判斷為具有相關性的主病變部(微血管瘤MAi)和關聯病變部(囊腫Cj)的組合。在本實施例中，在步驟S702中生成的合成圖像上的微血管瘤MAi和囊腫Cj之間顯示箭頭。注意，相關性顯示方法不限于此，并且可以使用任意方法，只要該方法可以識別出病變部具有相關性即可。例如，可以顯示圍繞被判斷為具有相關性的微血管瘤MAi和囊腫 Cj的框。可選地，僅當操作員將鼠標光標移動至微血管瘤MAi附近時，才可以顯示表示相關性的信息。 在步驟S703中，治療可能性顯示單元343基于步驟S606中計算出的微血管瘤MAi 的可治療標記Li，使具有可治療標記Li = 0的微血管瘤MAi在不同于剩余微血管瘤的模式(顏色)下進行顯示。在本實施例中，以紅色顯示視網膜血管V和具有Li = 1的微血管瘤 MAi，并且以灰色顯示具有Li = 0的微血管瘤MAi。注意，治療可能性顯示模式不限于此。例如，可以在具有可治療標記Li = 0的微血管瘤MAi附近顯示X標志。可選地，僅當操作員將鼠標光標移動至微血管瘤MAi附近時， 才可以顯示表示治療可能性的信息。可選地，由于需要對位于可治療范圍的邊界附近的微血管瘤MAi進行認真檢查，因此突出顯示這些微血管瘤MAi，并且可以將相對于中央凹F 1 的距離顯示在這些微血管瘤MAi附近。在步驟S704中，治療優先級顯示單元344將步驟S606中計算出的治療優先級Pi 顯示在合成圖像上。在本實施例中，將治療優先級Pi的值顯示在微血管瘤MAi附近。注意，治療優先級Pi的顯示模式不限于此。例如，可以將治療優先級與色帶相關聯，并且可以以表示治療優先級的顏色來顯示合成圖像中的微血管瘤MAi。可選地，僅當操作員將鼠標光標移動至微血管瘤MAi附近時，才可以顯示表示治療優先級的信息。可選地， 可以僅將高于預定值Tp的治療優先級顯示在合成圖像上作為表示治療優先級的信息。5.合成圖像的例子以下將說明通過圖像處理設備100中的合成圖像生成處理所生成的合成圖像。圖 8示出通過圖像處理設備100中的合成圖像生成處理所生成的合成圖像的示例。如圖8所示，圖像處理設備100所生成的合成圖像合成并顯示了從視網膜內層P 1 檢測到的主病變部以及從視網膜外層P2檢測到的關聯病變部。利用該圖像，操作員可以容易地識別來自微血管瘤的血漿成分的滲出的有無以及針對主病變部的治療的優先級等。此外，由于同時顯示了中央凹Fl的位置，因此操作員可以容易地識別各微血管瘤 MAi是否位于激光可治療范圍內(可否對主病變部進行治療)。如通過以上說明可以看出，本實施例的圖像處理設備100允許操作員容易地識別存在于多個層中的病變部之間的相關性。第二實施例第一實施例已說明了如下的結構當要診斷的疾病是糖尿病視網膜病，主病變部是微血管瘤，并且關聯病變部是囊腫時，針對預定的斷層圖像生成合成圖像。然而，本發明不限于此。例如，當如同青光眼一樣，病變部存在于分布在多個層中的細胞的不同部位(細胞核和軸突)時，允許操作員容易地識別這些病變部之間的相關性很重要。在本實施例中，考慮到諸如青光眼等的疾病的這種特性，顯示對如下圖像進行合成的合成圖像表示包括神經節細胞的細胞核的層的厚度的圖像、表示包括軸突的層的厚度的圖像以及表示神經纖維分布的圖像。利用該配置，操作員可以容易地識別相同的細胞或組織是否生成存在于不同層的病變部。將以青光眼為例進行具體說明。在青光眼的情況下，由于通常神經節細胞的細胞核存在于神經節細胞層L2中并且軸突存在于神經纖維層Ll中，因此在疾病的早期階段，神經節細胞的細胞核的異常先于軸突的異常而發生。由于該原因，例如，當檢測到神經纖維層 Ll的變薄區域時，包括分布在該變薄區域內的神經節細胞的細胞核的區域(神經節細胞層 L2)也發生異常(變薄)。因而，在本實施例中，當通過根據眼部斷層圖像測量諸如層厚度等的組織形狀來檢測異常時，顯示對如下圖像進行疊加的合成圖像表示黃斑區的神經節細胞層厚度分布的圖像、表示視神經乳頭的神經纖維層厚度分布的圖像以及表示眼底內的神經纖維分布的圖像。利用該結構，操作員可以容易地確認分布在存在于神經纖維層Ll中的病變部(層的變薄)的神經纖維是否穿過神經節細胞層L2中的病變部(層的變薄)。結果，操作員可以容易地判斷是否檢測到神經節細胞的細胞核的異常或者是否誤檢測到噪聲成分等，由此提高病變部檢測結果的可靠性。以下將關注于與根據第一實施例的圖像處理設備100的不同之處來說明根據本實施例的圖像處理設備900。注意，以下將說明要診斷的疾病是青光眼的情況。此外，在以下說明中，假定使用神經節細胞層L2的層厚度或者與這些層厚度和正常值之間的差相關聯的統計值(偏差)作為表示神經節細胞的細胞核的異常(變薄病變部)的程度的值。然而，本發明不限于此，并且可以使用GCC(神經節細胞復合體)層厚度或者這些層厚度的偏差。1.圖像處理設備900的功能結構以下將參考圖9和10來說明根據本實施例的圖像處理設備900的功能結構。圖9 是示出根據本實施例的圖像處理設備900的功能結構的框圖。圖10示出在執行圖像處理設備900的圖像處理功能時所使用的眼部斷層圖像的示例。⑴斷層圖像獲取單元310斷層圖像獲取單元310向眼部斷層圖像攝像設備102發送斷層圖像獲取請求。注意，本實施例中要獲取的斷層圖像是包括黃斑區和視神經乳頭的斷層圖像。將獲取到的斷層圖像存儲在存儲單元320中。(2)眼部特征獲取單元931眼部特征獲取單元931從存儲在存儲單元320中的斷層圖像中提取內界膜Bi、神經纖維層邊界B2、神經節細胞層邊界B3、內叢狀層邊界B4、光感受器內節和外節之間的邊界B5、視網膜色素上皮邊界B6和中央凹F1，作為眼部特征(參見圖10)。此外，眼部特征獲取單元931提取視神經乳頭Dl的中心位置和該視神經乳頭中的視網膜色素上皮邊界B6的端部(RPE末端)的位置。注意，針對各個B掃描圖像計算視網膜色素上皮邊界B6的端部的位置。注意，各個層邊界B1、B2和B4 B6、中央凹Fl以及視神經乳頭Dl的提取方法與第一實施例所述的提取方法相同。因而，以下將說明神經節細胞層邊界B3的提取方法。也就是說，在獲取到神經纖維層邊界B2和內叢狀層邊界B4之后，在這些邊界所圍繞的區域內的各個點(X，y)處設置局部區域以計算像素值的方差。然后，判斷為層邊界存在于方差最大的局部區域內，并且將這些邊界位置在χ軸方向和y軸方向上相連接，由此提取出神經節細胞層邊界B3(參見圖10)。注意，將這樣提取出的眼部特征存儲在存儲單元 320 中。此外，眼部特征獲取單元931從存儲單元320中獲取表示神經節細胞在眼底內的分布(投影到圖10中的χ-y平面上的神經節細胞的分布)的信息他&=1，2，...，11)。可以例如從SLO (掃描激光檢眼鏡)的無紅色(red-Free)模式下所拍攝的SLO圖像中獲取神經節細胞在眼底內的分布信息。在本實施例中，假定將表示如下平均神經纖維分布的曲線Nk (k =1,2, ...,η)預先保存在存儲單元320中，其中所述平均神經纖維分布是基于通過在無紅色模式下拍攝多個健康眼睛所獲得的SLO圖像而生成的。注意，神經纖維分布信息獲取方法不限于此。例如，可以將表面圖像獲取單元(未示出)包括在圖像處理設備900中，可以從該表面圖像獲取單元獲取與眼部斷層圖像相同的患者的SLO圖像(無紅色模式)，并且可以將該SLO圖像存儲在存儲單元320中。然后， 可以獲取所存儲的SLO圖像。(3)層指定單元932層指定單元932指定神經纖維層L 1作為第一層并指定神經節細胞層L2作為第二層。注意，通過使神經節細胞層L2的軸突聚攏來形成神經纖維層Li，并且通過使神經節細胞的細胞核聚攏來形成神經節細胞層L2。(4)病變部獲取單元933病變部獲取單元933基于眼部特征獲取單元931獲取到的眼部特征來測量神經纖維層厚度和神經節細胞層厚度。此外，病變部獲取單元933通過將測量出的神經纖維層厚度和神經節細胞層厚度與各自的正常值進行比較來檢測變薄區域。此外，相關性判斷單元933-1判斷檢測到的變薄區域和眼部特征獲取單元931獲取到的組織結構(神經纖維分布)信息之間的相關性。注意，后面將說明病變部獲取單元933所進行的這些處理的詳細內容。(5)合成顯示單元940合成顯示單元940從病變部獲取單元933獲取組織結構(神經纖維分布)信息、 神經纖維層Ll的層厚度分布以及神經節細胞層L2的層厚度分布。此外，合成顯示單元940 獲取作為神經纖維層L 1的病變部的變薄區域NFi、作為神經節細胞層L2的病變部的變薄區域GCj以及各個變薄區域的檢測可靠度DRi。然后，合成顯示單元940使用這些信息，針對SLO圖像生成合成圖像。注意，后面將說明合成圖像生成處理的詳細內容。2.圖像處理設備900中的圖像處理的序列(1)病變部獲取處理的序列(圖11)以下將參考圖11來說明病變部獲取單元933所執行的病變部獲取處理(步驟 S504)的詳細內容。在步驟SllOl中，病變部獲取單元933獲取如下信息由眼部特征獲取單元931獲取到的層邊界、中央凹Fl和視神經乳頭Dl的位置以及組織結構(神經纖維分布)信息；以及存儲在存儲單元320中的與各個層厚度相關聯的正常值。在步驟S1102中，病變部獲取單元933基于步驟SllOl中獲取到的層邊界，在眼底內的各個點(χ，y)處測量神經纖維層厚度和神經節細胞層厚度。在這種情況下，病變部獲取單元933在以中央凹Fl為中心的直徑為Imm的范圍內以及在視神經乳頭的盤邊界的內部，不測量神經纖維層厚度和神經節細胞層厚度。注意，在本實施例中，按照如下設置盤邊界的位置。即，對通過在各個B掃描圖像 (圖像編號i)內連接獲取到的視網膜色素上皮邊界B6的端部所獲得的線Ai進行計算。針對各個B掃描圖像，計算內界膜Bl和在與線Ai垂直的方向上向著內層側移動了閾值Th的線Ai'之間的交點Eli和E2i。在x_y平面內平滑地連接所獲得的交點的集合{Eli，E2i}， 以獲得盤邊界。
返回參考圖11，在步驟Sl 103中，病變部獲取單元933將神經纖維層厚度和神經節細胞層厚度與各自的正常值(具有給定范圍的值)進行比較。當這些厚度小于各自的正常值時，將相應的區域判斷并檢測為神經纖維層Ll的變薄區域NFi和神經節細胞層L2的變薄區域GCj。在步驟S1104中，相關性判斷單元933-1基于眼部特征獲取單元931獲取到的組織結構(神經纖維分布)信息，判斷病變部獲取單元933獲取到的變薄區域NFi和GCj之間的相關性。即，相關性判斷單元933-1判斷神經纖維層Ll的變薄區域NFi以及神經節細胞層L2的變薄區域GCj是否存在于同一神經纖維上(Nk上)。在進行判斷時，按照如下使組織結構(神經纖維分布)信息Nk (X，y)的坐標系與病變部分布NFi(x，y)和GCj(x，y)的坐標系對準。即，由于在各個坐標系上已計算出中央凹Fl的位置和視神經乳頭Dl的位置，因此計算針對合成位置對準的平移(X，y)和轉動參數，以使得這兩個點被設置在相同位置處。注意，在本實施例中，由于在獲取SLO圖像和斷層圖像時采用一致的攝像條件，因此組織結構信息和病變部分布被預先設置得具有相同的像素大小。此外，病變部獲取單元933基于作為位置對準的結果所獲得的位置對準參數值， 疊加組織結構(神經纖維分布)信息和病變部分布。此外，病變部獲取單元933計算存在于各個神經纖維Nk上的神經纖維層L 1的變薄區域NFi。當變薄區域NFi存在于神經纖維Nk上時，病變部獲取單元933檢查變薄區域 GCj是否存在于同一神經纖維Nk上。如果神經纖維層Ll的變薄區域NFi和神經節細胞層 L2的變薄區域GCj存在于同一神經纖維Nk上，則同一神經節細胞受到損害的可能性更高。 由于該原因，病變部獲取單元933向神經纖維層Ll的該變薄區域NFi的檢測可靠度DRi設
置“1”。注意，神經纖維層Ll的各變薄區域NFi的檢測可靠度DRi的設置方法不限于此。 例如，代替如上所述由二值數據(0或1)來定義可靠度DRi，還可以由多值數據來定義可靠度DRi，從而與穿過這兩個變薄區域NFi和GCj的Nk的密度成比例地將可靠度DRi設置得較高。(2)合成圖像生成處理的序列(圖12)以下將參考圖12來說明合成顯示單元940所執行的合成圖像生成處理(步驟 S505)的詳細內容。在步驟S1201中，合成顯示單元940從圖像處理單元930中獲取步驟SllOl中獲取到的組織結構(神經纖維分布)信息以及步驟S1102中獲取到的神經纖維層Ll的層厚度分布和神經節細胞層L2的層厚度分布。此外，合成顯示單元940從圖像處理單元930中獲取步驟S1103中獲取到的神經纖維層Ll的變薄區域NFi和神經節細胞層L2的變薄區域 GCj以及步驟S1104中獲取到的變薄區域NFi的檢測可靠度DRi。在步驟S1202中，組織結構顯示單元943將步驟S1201中獲取到的組織結構(神經纖維分布)信息顯示在監視器205上。在步驟S1203中，圖像合成單元341針對步驟S1202中所顯示的組織結構(神經纖維分布)信息，顯示以下的信息。即，圖像合成單元341將神經纖維層厚度的偏差映射和神經纖維層的變薄區域NFi半透明地合成并顯示在以視神經乳頭Dl作為中心的直徑為Rl的區域上。此外，圖像合成單元341將神經節細胞層厚度的偏差映射和神經節細胞層的變薄區域GCj半透明地合成并顯示在剩余區域上。此外，圖像合成單元341將視神經乳頭的標準神經纖維層厚度測量位置(以視神經乳頭Dl作為中心的直徑為3. 45mm的圓周上的位置Ml)作為參考進行顯示。注意，合成顯示模式不限于此。例如，可以將步驟S1104中獲取到的變薄區域NFi 的檢測可靠度DRi顯示在所顯示的合成圖像上的變薄區域NFi附近。可選地，代替將組織結構(神經纖維分布)信息顯示在合成圖像的整個表面上，可以僅顯示穿過變薄區域NFi 或GCj的神經纖維Nk。可選地，代替總是顯示組織結構信息和檢測可靠度DRi，可以僅在鼠標光標所指定的位置處顯示這兩者。3.合成圖像的例子以下將說明通過圖像處理設備900中的合成圖像生成處理所生成的合成圖像。圖 13示出通過圖像處理設備900中的合成圖像生成處理所生成的合成圖像的示例。如圖13所示，在圖像處理設備900所生成的合成圖像中，將黃斑區的神經節細胞層L2的變薄區域和視神經乳頭的神經纖維層L 1的變薄區域合成并顯示在表示神經纖維分布的信息上。利用該顯示，操作員可以容易地識別作為存在于不同層中的青光眼的病變部的變薄區域是否對應于同一細胞或組織。如通過以上說明可以看出，根據本實施例的圖像處理設備900允許操作員容易地識別存在于多個層中的病變部之間的相關性。其它實施例還可以通過讀出并執行記錄在存儲器裝置上的程序以進行上述實施例的功能的系統或設備的計算機(或者CPU或MPU等裝置)和通過下面的方法來實現本發明的各方面， 其中，系統或設備的計算機通過例如讀出并執行記錄在存儲器裝置上的程序以進行上述實施例的功能來進行上述方法的各步驟。由于該原因，例如經由網絡或者通過用作存儲器裝置的各種類型的記錄介質(例如，計算機可讀介質)將該程序提供給計算機。盡管已經參考典型實施例說明了本發明，但是應該理解，本發明不限于所公開的典型實施例。所附權利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結構和功能。
權利要求
1.一種圖像處理設備，用于對眼部的斷層圖像執行圖像處理，所述圖像處理設備包括眼部特征獲取部件，用于獲取所述斷層圖像的作為解剖學特征的眼部特征；指定部件，用于從所述眼部特征獲取部件獲取到的眼部特征所指定的多個層中，指定至少兩個層，其中，所述至少兩個層是檢測與預定類型的疾病相對應的病變部所需的層；病變部獲取部件，用于從所述指定部件指定的所述至少兩個層中，分別檢測與所述預定類型的疾病相對應的病變部；生成部件，用于通過將所述病變部獲取部件從所述至少兩個層分別檢測到的病變部投影到預定的二維圖像，來生成合成圖像；以及顯示部件，用于顯示所述生成部件所生成的合成圖像。
2.根據權利要求1所述的圖像處理設備，其特征在于，當從所述至少兩個層分別檢測到的病變部之間的距離不大于預定閾值時，所述顯示部件在使得能夠識別出該病變部之間的相關性的模式下顯示該病變部。
3.根據權利要求2所述的圖像處理設備，其特征在于，當從所述至少兩個層中的第一層檢測到的病變部相對于獲取到的眼部特征的距離不大于預定距離時，所述顯示部件在使得能夠識別出該病變部相對于獲取到的眼部特征的距離不大于所述預定距離的模式下顯示該病變部。
4.根據權利要求3所述的圖像處理設備，其特征在于，所述顯示部件在與從所述至少兩個層中的第二層檢測到的病變部的大小相對應的模式下顯示從所述第二層檢測到的該病變部。
5.根據權利要求4所述的圖像處理設備，其特征在于，所述預定類型的疾病是糖尿病視網膜病，并且病變部包括從視網膜內層檢測到的微血管瘤和從視網膜外層檢測到的囊腫。
6.根據權利要求1所述的圖像處理設備，其特征在于，所述二維圖像是表示眼部的神經纖維分布的圖像，并且當從所述至少兩個層分別檢測到的病變部在所述二維圖像上存在于同一神經纖維上時，所述顯示部件在使得能夠識別出該病變部之間的相關性的模式下顯示該病變部。
7.根據權利要求6所述的圖像處理設備，其特征在于，所述預定類型的疾病是青光眼， 并且病變部包括神經纖維層的變薄區域和神經節細胞層的變薄區域。
8.一種圖像處理設備的圖像處理方法，用于對眼部的斷層圖像執行圖像處理，所述圖像處理方法包括以下步驟眼部特征獲取步驟，用于控制眼部特征獲取部件，以獲取所述斷層圖像的作為解剖學特征的眼部特征；指定步驟，用于控制指定部件，以從所述眼部特征獲取步驟中獲取到的眼部特征所指定的多個層中，指定至少兩個層，其中，所述至少兩個層是檢測與預定類型的疾病相對應的病變部所需的層；病變部獲取步驟，用于控制病變部獲取部件，以從所述指定步驟中指定的所述至少兩個層中，分別檢測與所述預定類型的疾病相對應的病變部；生成步驟，用于控制生成部件，以通過將所述病變部獲取步驟中從所述至少兩個層分別檢測到的病變部投影到預定的二維圖像，來生成合成圖像；以及顯示步驟，用于控制顯示部件，以顯示所述生成步驟中生成的合成圖像。
全文摘要
本發明涉及一種圖像處理設備和圖像處理方法。該圖像處理設備允許操作員根據疾病容易地識別存在于多個層中的病變部之間的相關性。根據本發明的圖像處理設備包括眼部特征獲取單元，用于獲取斷層圖像的作為解剖學特征的眼部特征；層指定單元，用于從所述眼部特征指定的多個層中，指定至少兩個層，其中，所述至少兩個層是檢測與預定類型的疾病相對應的病變部所需的層；病變部獲取單元，用于從所述層指定單元指定的所述至少兩個層中，分別檢測與預定類型的所述疾病相對應的病變部；以及合成顯示單元，用于通過將所述病變部獲取單元從所述至少兩個層分別檢測到的病變部投影到預定的二維圖像來生成合成圖像，并顯示所述合成圖像。
文檔編號A61B3/10GK102479385SQ20111037656
公開日2012年5月30日 申請日期2011年11月21日 優先權日2010年11月19日
發明者今村裕之, 宮狹和大 申請人:佳能株式會社