信息處理設備、信息處理方法和信息處理程序的制作方法
【專利摘要】信息處理設備、信息處理方法和信息處理程序。信息處理設備包括：顯示處理單元、設置單元和自動平移單元。顯示處理單元配置為在顯示單元上顯示至少一部分病理圖像作為顯示區域。設置單元配置為至少接收由用戶設置的、關于所述病理圖像中的顯示區域的位置的信息和關于移動所述顯示區域的方法的信息，作為移動所述顯示區域以掃描所述病理圖像所需的信息。自動平移單元配置為基于設置信息順序地移動所述顯示區域。
【專利說明】信息處理設備、信息處理方法和信息處理程序
【技術領域】
[0001]本公開涉及在諸如醫學、病理學、生物學和材料學之類的領域中控制由顯微鏡獲得的圖像的顯示的信息處理設備、信息處理方法和信息處理程序。
【背景技術】
[0002]在諸如醫學和病理學之類的領域中，已經提出如下系統:其中將由光學顯微鏡獲得的活體的細胞、組織、器官等的圖像數字化，并且醫生、病理學家等基于如此獲得的數字圖像來檢查該組織等或診斷病人。
[0003]例如，在日本專利申請特開第2009-037250號中公開的方法中，由在其上安裝了電荷耦合器件(CCD)的攝像機數字化通過顯微鏡光學獲得的圖像，并且將數字信號輸入到控制計算機系統并且在監視器上可視化。病理學家在查看監視器上顯示的圖像的同時進行檢查等(參見，例如，日本專利申請特開第2009-037250的段落[0027]和[0028]，以及圖5)。這樣的系統通常稱為虛擬顯微鏡，并且被檢查的圖像稱為虛擬玻片(slide)。
[0004]應當注意，作為協助圖像診斷的技術，例如，在日本待審查專利申請公開第2000-501184號中，公開了如下設備:以低倍率掃描樣本，基于細胞核的形狀自動提取異常細胞，以高倍率拍攝包括所提取的細胞的區域，存儲圖像，因此病理學家等可以基于該圖像評估所提取的異常細胞。
[0005]此外，在日本待審查專利申請公開第2004-517349號中，公開了如下設備:存儲通過掃描樣本自動提取的異常細胞的X-Y坐標對，并且可以通過在裝備有電子鏡臺的顯微鏡下重現該坐標對來檢查該異常細胞。
【發明內容】
[0006]順便提及，在日本專利申請特開第2009-037250號中公開的現有虛擬顯微鏡中，例如，在用戶移動圖像的顯示范圍或縮放圖像的情況下，用戶需要重復拖動鼠標或旋轉滾輪的操作。
[0007]然而，由虛擬顯微鏡使用的虛擬玻片圖像是例如具有50X50k像素大尺寸的圖像，并且對于用戶充分檢查這樣的圖像而言已經是難以應付的任務了。
[0008]在用戶通過使用現有虛擬顯微鏡進行診斷的情況下，用戶需要操作諸如鼠標和控制器之類的輸入設備，并且充分檢查高分辨率圖像。在此情況下，盡管操作的自由度高，但是需要對每一圖像進行類似操作，而這花費時間和精力。
[0009]特別是，因為病理學家整天進行這樣的操作，所以繁重的操作使得他/她倍感壓力，并且可能錯過期望被發現的病理組織中的改變，而這導致誤診。
[0010]鑒于上述情形，期望提供能夠通過減小在虛擬顯微鏡中移動圖像的顯示范圍所需的用戶操作負擔而使得檢查更有效的信息處理設備、信息處理方法和信息處理程序。
[0011]( I)根據本公開的實施例，提供信息處理設備，包括顯示處理單元，配置為在顯示單元上顯示至少一部分病理圖像作為顯示區域；設置單元，配置為至少接收(由用戶設置的)關于病理圖像中的顯示區域的位置的信息和關于移動顯示區域的方法的信息，作為移動顯示區域以掃描病理圖像所需的信息；以及自動平移單元，配置為基于設置信息順序地移動顯示區域。
[0012]在本公開中，基于由設置單元接收的、在顯示單元上顯示的顯示區域的位置，以及移動顯示區域以掃描病理圖像的方法，自動平移單元自動且順序地移動顯示區域。因而，當用戶檢查病理圖像時，病理圖像自動且順序地顯示在顯示單元上，即使他/她不進行任何操作。其結果是，可以通過減少在虛擬顯微鏡中移動圖像的顯示范圍所需的用戶的操作負擔來使得檢查更有效。
[0013](2)根據本公開的實施例，提供信息處理設備，進一步包括切換單元，配置為響應于來自用戶的指令，在由自動平移單元順序地移動的顯示區域中的病理圖像的顯示和由用戶從整個病理圖像中選擇的顯示區域中的病理圖像的顯示之間切換。
[0014]在本公開中，當恰當地切換時，使用其中自動平移單元自動且順序地移動顯示區域由此顯示病理圖像的自動檢查模式和其中用戶在整個病理圖像中選擇顯示區域的位置由此顯示病理圖像的手動檢查模式。因此，用戶在最優地組合自動檢查模式和手動檢查模式的同時可以檢查病理圖像。
[0015](3)根據本公開的實施例，提供信息處理設備，進一步包括生成單元，配置為從用戶接收與所述顯示區域對應的至少一個病理圖像的選擇，所述顯示區域由所述自動平移單元順序地移動，并且生成顯示所選擇的至少一個病理圖像所需的信息作為場景信息；以及重現單元，配置為基于場景信息在顯示單元上顯示該至少一個病理圖像，該至少一個病理圖像由用戶選擇。
[0016]在本公開中，當用戶對順序地顯示在顯示單元上的病理圖像進行具體操作時，生成再次在顯示單元上顯示在操作時正在顯示的病理圖像所需的信息作為場景信息。重現單元使用場景信息重現圖像顯示，從而用戶使得顯示單元再次顯示已經在操作時顯示的病理圖像。因此，用戶可以使得信息處理設備存儲由自動平移單元自動顯示的圖像，并且稍后讀取圖像從而用戶可以檢查所讀取的圖像。因而，可以使得檢查更有效。
[0017](4)根據本公開的實施例，提供信息處理設備，進一步包括路徑確定單元，配置為確定用于自動平移單元順序地移動顯示區域的路徑。
[0018]在本公開中，因為路徑確定單元計算并確定用于順序地移動顯示區域的路徑，所以可以防止用戶錯失圖像，而這在由用戶選擇移動顯示區域時極可能發生。
[0019](5)根據本公開的實施例，提供信息處理設備，其中，可以通過拍攝放置樣本的載玻片而獲得病理圖像，并且路徑確定單元可以配置為對于通過空間地劃分病理圖像而獲得的各個區域，獲得具有存在樣本的可能性的存在地圖，并且使用存在地圖確定用于移動顯示區域的路徑。
[0020]在本公開中，將放置樣本的載玻片的圖像分割為多個區域，并且具有拍攝(存在)樣本的可能性的、對各個區域通過圖像識別等用數值表示的存在地圖被用來確定用于移動顯示區域的路徑。因此，根據本公開的實施例的信息處理設備能夠自動地僅顯示在病理圖像中拍攝樣本的區域。
[0021](6)根據本公開的實施例，提供信息處理設備，其中，路徑確定單元可以配置為從用戶接收自動平移單元順序地移動顯示區域的范圍的指定，并且確定在該指定范圍內移動顯示區域的路徑。
[0022]在本公開中，確定路徑從而在由用戶明確指定的區域內移動顯示區域。因此，可以通過消除用戶認為不必要的區域的顯示來使得病理圖像的檢查更有效。
[0023](7)根據本公開的實施例，提供信息處理設備，其中，路徑確定單元可以配置為在病理圖像中識別樣本的邊緣，并且沿著邊緣確定路徑。
[0024]在本公開中，因為沿著由圖像識別等識別的樣本的邊緣移動顯示區域，所以可以使得病理圖像的檢查更加有效而不麻煩用戶，即使樣本的邊緣具有復雜形狀。
[0025](8)根據本公開的實施例，提供信息處理方法，包括由顯示處理單元在顯示單元上顯示至少一部分病理圖像作為顯示區域；由設置單元至少接收由用戶設置的、關于病理圖像中的顯示區域的位置的信息和關于移動顯示區域的方法的信息，作為移動顯示區域以掃描病理圖像所需的信息；以及由自動平移單元基于設置信息順序地移動顯示區域。
[0026](9)根據本公開的實施例，提供信息處理程序，其使得計算機用作顯示處理單元，配置為在顯示單元上顯示至少一部分病理圖像作為顯示區域；設置單元，配置為至少接收由用戶設置的、關于病理圖像中的顯示區域的位置的信息和關于移動顯示區域的方法的信息，作為移動顯示區域以掃描病理圖像所需的信息；以及自動平移單元，配置為基于設置信息順序地移動顯示區域。
[0027]如上所述，根據本公開，可以使得虛擬顯微鏡中的圖像的檢查更為有效。
[0028]如附圖所示，考慮本公開的最優實施例的以下詳細描述，其這些及其他目標、特征和優勢將變得更為顯然。
【專利附圖】
【附圖說明】
[0029]圖1是示出基于通過搖攝(panning)操作逐漸且平滑地移動在取景器的顯示區域中顯示的一部分虛擬玻片進行顯示的方法來顯示虛擬玻片并且掃描整個虛擬玻片的示例的示圖；
[0030]圖2是示出基于通過搖攝操作逐漸且平滑地移動在取景器的顯示區域中顯示的一部分虛擬玻片進行顯示的方法來顯示虛擬玻片并且掃描整個虛擬玻片的另一示例的示圖；
[0031]圖3是示出基于通過搖攝操作逐漸且平滑地移動在取景器的顯示區域中顯示的一部分虛擬玻片進行顯示的方法來顯示虛擬玻片并且掃描整個虛擬玻片的再一示例的示圖；
[0032]圖4是示出存在地圖M的示例的示圖；
[0033]圖5是示出僅掃描存在樣本的區域作為取景器的顯示區域的狀態的示圖；
[0034]圖6是示出在開始自動檢查模式之前在表示整個虛擬玻片的地圖上預先在用戶選擇的范圍內進行通過自動檢查的掃描的狀態的示圖；
[0035]圖7是示出在自動檢查模式下僅檢查樣本邊緣的狀態的示圖；
[0036]圖8是示出在取景器從左向右方向進行掃描的同時用戶已經兩次進行指令操作以向下方向移動顯示區域的狀態的示圖；
[0037]圖9是示出當取景器的顯示區域移動到樣本的邊緣并且用戶嘗試進一步向右方向或向下方向移動顯示區域時，取景器已經向左下調節移動方向的狀態的示圖；[0038]圖10是示出根據本公開實施例的取景器500的典型使用環境的示圖；
[0039]圖11是示出根據此實施例的取景器500的硬件配置的框圖；
[0040]圖12是示出數字病理服務器400的功能塊的示圖；
[0041]圖13是示出取景器500的功能塊的示圖；
[0042]圖14是示出由取景器500進行的處理的整個流程的流程圖；
[0043]圖15是示出當選擇特定場景時的處理的流程的流程圖；
[0044]圖16是示出與自動檢查模式有關的處理的流程的流程圖；以及
[0045]圖17是示出與自動檢查模式的范圍的限制有關的處理的流程的流程圖。
【具體實施方式】
[0046]以下，將參考附圖描述本公開的實施例。
[0047]<第一實施例>
[0048][關于本公開的概述]
[0049]當用戶(病理學家)檢查虛擬玻片時，他/她通常主要在取景器上進行搖攝和縮放操作。在本公開中，自動進行部分操作以減小用戶的負擔。
[0050]在本公開中，除了取景器響應于用戶進行的任何操作進行搖攝或縮放操作并且改變虛擬玻片的顯示的手動檢查模式之外，還提供自動檢查模式。在自動檢查模式中，因為取景器自動地切換圖像顯示，所以用戶可以更多地關注診斷而不是操作。此外，在自動檢查模式中，因為完全顯示虛擬玻片中的整個樣本，所以可以防止用戶錯過一部分圖像。
[0051]在以下應當注意，盡管使用術語“自動檢查模式”和“手動檢查模式”，但是它們也可以分別稱為“自動觀看模式”和“手動觀看模式”。
[0052][關于在本公開中的圖像診斷方法]
[0053]在使用顯微鏡的診斷中，例如細胞診斷中，進行診斷如下。首先，檢查者通過使用相對低倍率的物鏡(例如，IOx)篩選整個樣本來搜索惡性細胞或異常細胞。
[0054]這里，在找到了可疑細胞的情況下，為了更詳細地檢查該細胞的結構，以高倍率物鏡(例如，40x)替代，在改變焦點位置的同時詳細地檢查該細胞，因此確定該細胞是否是期望的細胞。
[0055]如上所述，作為圖像診斷方法，存在以低倍率在圖像顯示中檢查整個虛擬玻片之后以高倍率顯示并且詳細檢查期望詳細確認的一部分虛擬玻片的診斷方法。
[0056]本公開支持使得這樣的診斷方法更為有效。具體地，通過在以低倍率的圖像顯示中檢查整個虛擬玻片時使得顯示自動化，減小了進行搖攝操作的用戶的負擔，并且防止圖像的錯過。
[0057][關于自動檢查模式中的顯示方法]
[0058]存在以自動檢查模式顯示虛擬玻片的兩種方法。在第一顯示方法中，通過搖攝操作逐漸且平滑地移動在取景器的顯示區域中顯示的一部分虛擬玻片并掃描整個虛擬玻片來進行顯示。
[0059]圖1是取景器基于該方法顯示虛擬玻片的示例的示圖。圖1示出了顯示區域首先位于虛擬玻片的左上端，然后移動到右端，并且在移動到左端之前當到達右端時略微向下方向移動，由此掃描整個圖像的狀態。[0060]圖2是取景器基于該方法顯示虛擬玻片的示例的示圖。在圖2中，顯示區域首先位于虛擬玻片的中間位置，并且螺旋形地以逆時針方向移動。
[0061]在以自動檢查模式顯示虛擬玻片的第二方法中，具有與用戶選擇的顯示倍率對應的分辨率的虛擬玻片的整個圖像由取景器的顯示區域的大小分割，并且依次切換并且顯示通過分割獲得的各個圖像。
[0062]圖3也是示出取景器基于該方法顯示虛擬玻片的示例的示圖。圖3的左側示出將分割整個虛擬玻片以匹配取景器的顯示區域的大小的狀態。圖3的右側示出了隨著時間的經過，通過分割整個虛擬玻片以匹配取景器的顯示區域的大小而獲得的圖像依次從位于左上端的圖像到在右側方向上的圖像切換并且顯示。
[0063][關于在自動檢查模式和手動檢查模式之間的切換]
[0064]當使用取景器檢查虛擬玻片時，用戶可以在自動檢查模式和手動檢查模式之間隨意切換。例如，當用戶以手動檢查模式檢查虛擬玻片時，通過從下拉菜單選擇自動檢查模式來啟動自動檢查模式。此外，例如，當取景器處于自動檢查模式并且用戶進行縮放操作時，臨時釋放自動檢查模式，并且以手動檢查模式進行縮放操作。在自動檢查模式和手動檢查模式之間的切換在稍后描述的處理的整個流程的描述中詳細描述。
[0065][關于在自動檢查模式中設置的條目]
[0066]用戶需要在啟動自動檢查模式之前設置用于在自動檢查模式中指定由取景器進行的顯示操作的條目。條目如下:
[0067](I)顯示倍率(用于以自動檢查模式在取景器的顯示區域中顯示虛擬玻片的倍率，例如，I到40x倍率的任一個)
[0068](2)顯示開始點(首先要在取景器的顯示區域中顯示的虛擬玻片的位置的指定，例如，玻片的左上、左下、右上和右下以及圖像的中心)
[0069]( 3)掃描方向(例如從玻片的左上向右下、從右上向左下、從左下向右上、從右下向左上、以順時針方向螺旋形地從中心部分以及以逆時針方向螺旋形地從中心部分在虛擬玻片上移動取景器的顯示區域的方向)
[0070](4)顯示切換方法(在自動檢查模式中切換顯示的方法，例如，在掃描方向上逐漸移動顯示范圍的方法以及切換和顯示通過分割而獲得的圖像的方法，如上所述)
[0071](5)顯示的切換速率或顯示的移動速率(例如，以每y秒(s) X mm的速率移動取景器的顯示區域的規定((x[mm]/y[s]),或者每秒顯示z巾貞的規定(z[fps]))
[0072](6)使用存在地圖(稍后描述)(例如，存在地圖用來確定用于在虛擬玻片上移動取景器的顯示區域的路徑)
[0073]應當注意，上述條目可以預先設置，或者可以當用戶啟動自動檢查模式時設置。
[0074]此外，取景器可以配置為學習手動檢查模式中由一個用戶或多個用戶進行的多個操作，以存儲對上述條目頻繁使用的值，或最優值，并且在自動檢查模式中自動設置這些值。
[0075][關于存在地圖]
[0076]最初制作存在地圖，用于當拍攝放置樣本的載玻片以創建虛擬玻片時確定顯微鏡拍攝了載玻片的哪個部分。在存在地圖中，將由放置樣本的載玻片的微距拍攝而獲得的圖像分割為多個區域，并且通過圖像識別等確定是否在各個區域中拍攝了樣本以數字化結果O
[0077]圖4是示出存在地圖M的示例的示圖。在圖4中，將由微距拍攝獲得的圖像等分為25個區域，并且向每一個區域分配O到2的數字。O表示樣本在該區域存在的概率最低，2表示樣本在該區域存在的概率最高，而I表示樣本在該區域存在的概率在這些概率之間。
[0078]因為存在地圖提供與拍攝了樣本的虛擬玻片的圖像的哪個部分有關的信息，所以當在自動檢查模式中顯示虛擬玻片時，可以通過使用存在地圖僅顯示拍攝了樣本的區域，如上所述。
[0079][關于場景的設置]
[0080]在以低倍率檢查整個虛擬玻片之后以高倍率檢查關注的一部分玻片的診斷方法中，自動檢查模式使得以低倍率檢查整個虛擬玻片的操作自動化，如上所述。如果在低倍率檢查期間存在關注部分，則便于存儲該部分，并且在稍后的高倍率檢查期間立即檢查該部分。
[0081]在本公開中，在用戶以自動檢查模式在檢查期間找到關注部分的情況下，可以通過進行特定操作來將該部分存儲為場景并且當稍后切換到手動檢查模式時容易地跳到該場景。作為內部操作，取景器在將該部分存儲為場景時存儲坐標位置和場景的顯示倍率，并且當跳到該場景時基于所存儲的坐標位置和顯示倍率重現該場景。
[0082]應當注意，取景器可以配置為能夠存儲關于一個虛擬玻片的多個場景。因此，用戶可以從多個場景選擇期望的場景并且在切換到手動檢查模式之后跳到該期望的場景。
[0083][關于場景的應用]
[0084]在場景的上述設置中，在自動檢查模式中存儲的場景用在切換到手動檢查模式之后。當從手動檢查模式返回到自動檢查模式時，可以使用類似的想法。
[0085]在自動檢查模式中在檢查期間找到關注部分并且期望立即詳細檢查該部分的情況下，如果用戶進行縮放操作等，則自動檢查模式切換到手動檢查模式，并且取景器在停止自動檢查模式的時候存儲狀態(坐標位置和在自動檢查模式中設置的條目)。如果在用戶以手動檢查模式進行檢查之后進行到自動檢查模式的切換，則取景器基于在自動檢查模式停止時存儲的狀態，重現在自動檢查模式停止時的顯示，并且從停止自動檢查模式的時間起恢復自動檢查模式。
[0086][關于自動檢查模式的有效使用(與存在地圖組合)]
[0087]現在，將描述更有效地使用自動檢查模式的功能的方法。
[0088]首先，將描述與存在地圖組合的自動檢查模式。通過使用存在地圖，如果可以在虛擬玻片的整個圖像中知道存在樣本的區域，則取景器僅需要顯示僅作為顯示區域的區域。因此，可以使得自動檢查更為有效。圖5是示出僅掃描存在樣本的區域作為取景器的顯示區域的狀態。
[0089][關于自動檢查模式的有效使用(用戶的區域指定)]
[0090]在上述配置中，通過存在地圖提供關于虛擬玻片的圖像中存在樣本的區域的信息。然而，取代使用存在地圖，用戶可以指定要由取景器掃描的區域。圖6是示出在開始自動檢查模式之前，在表示整個虛擬玻片的地圖上預先在用戶選擇的范圍內通過自動檢查進行掃描的狀態的示圖。借助此配置，用戶可以明確地從掃描目標中排除明顯不需要檢查的區域。[0091][關于自動檢查模式的有效使用(與另一系統組合)]
[0092]自動檢查模式可以與另一系統組合使用。例如，與在日本未審查專利申請公開第2000-501184號或日本未審查專利申請公開第2004-517349號中公開的醫學診斷支持系統合作，可以由該系統呈現期望被檢查的部分，并且可能可以自動地僅檢查作為目標的該部分。此外，檢查目標不限于該部分，并且可能可以優選地檢查該部分并且在優選檢查之后檢
查另一部分。
[0093]相反，由組合系統呈現的部分可以首先在手動檢查模式中檢查，并且在自動檢查模式中可以僅將尚未檢查的區域作為目標來檢查。
[0094][關于自動檢查模式的有效使用(作為目標的樣本的邊緣的檢查)]
[0095]在虛擬玻片中僅樣本的部分邊緣可以通過圖像識別提取，并且僅該邊緣可以被自動檢查。此外，檢查目標不限于邊緣，可以優選并自動地檢查邊緣，并且之后，可以自動檢查另一區域。圖7是示出在自動檢查模式中僅檢查樣本的邊緣的狀態的示圖。
[0096]應當注意，取決于樣本的部分或情況可以改變通過自動檢查的掃描的方法，例如，在胃癌的情況下優選并自動檢查樣本的邊緣。
[0097][關于自動檢查模式的補充使用(協助用戶操作)]
[0098]自動檢查模式的功能可以用作協助用戶操作。
[0099]在以上描述中，例如，在圖1的情況下，在玻片的橫向上以及之后在玻片的縱向上，交替進行在自動檢查模式中的虛擬玻片上移動取景器的顯示區域的掃描，由此掃描整個玻片。
[0100]然而，這里，因為自動檢查模式用作用戶操作的協助，所以例如在自動檢查模式中可以進行僅在玻片的橫向上的掃描。在此情況下，用戶在垂直方向上進行操作。因為即使在自動檢查模式中也可以接收用戶的操作，所以可以對用戶增加與虛擬玻片的圖像的顯示關聯的自由度。此外，因為取景器進行橫向上的掃描，所以相比于手動檢查模式可以減少用戶的操作負擔。
[0101]圖8是示出在取景器從左向右方向進行掃描的同時用戶已經兩次進行指令操作以移動顯示區域到向下方向的狀態的示圖。
[0102]如圖8所示，用戶進行操作，而這可以生成未顯示的區域。在此情況下，在完成一系列自動檢查之后，僅尚未顯示的區域可以繼續顯示。
[0103][關于自動檢查模式的補充使用(用戶操作的便利性的改進)]
[0104]在以上示例中，類似地，盡管自動檢查模式用作用戶操作中的協助，但是當用戶在手動檢查模式中檢查虛擬玻片時，可以引導用戶的操作以改進對用戶的便利性。
[0105]圖9是示出當取景器的顯示區域被移動到樣本的邊緣并且用戶嘗試進一步向右方向或向下方向移動顯示區域時，取景器已經將移動方向調節到左下的狀態的示圖。
[0106]如圖9所示，在當取景器顯示樣本的邊緣時取景器具有關于存在樣本的區域的信息(例如，從存在地圖獲得)或知道在由用戶操作的方向(向右或向下)上不存在樣本的情況下，取景器限制向該方向的移動。此外，取景器從向下到左下地調節顯示區域的移動方向。取景器支持這樣的用戶操作，而這改進了當使用取景器檢查虛擬玻片的時候的可操作性。
[0107][在自動檢查模式的檢查期間的設置值的動態改變]
[0108]在以上描述中，盡管有關自動檢查模式的各種設置值在啟動自動檢查模式之前設置，但是這些值可以在自動檢查模式的檢查期間動態地改變。借助此配置，可以在自動檢查模式的檢查期間以更高自由度進行檢查。
[0109]例如，如果在自動檢查模式的檢查期間進行具體操作，則顯示的移動或切換速率可以加速或減速。
[0110][通過學習的設置值的生成或改變]
[0111]在上述配置中，當自動檢查模式啟動時或在自動檢查模式啟動之前由用戶明確地設置用于自動檢查模式的設置值，或者在自動檢查模式的檢查期間由用戶明確地改變這些設置值。取代該配置，取景器可以學習手動檢查模式中的用戶操作，并且用于自動檢查模式的設置值可以基于所學而設置或更新。根據該配置，可以減少對自動檢查模式明確設置設置值的用戶負擔。
[0112][關于取景器的使用環境]
[0113]將描述其中病理學家使用通過在病理診斷中用顯微鏡拍攝樣本而獲得的虛擬玻片(病理圖像)進行診斷的環境的整體圖片。病理學家使用取景器檢查虛擬玻片并且進行圖像診斷。圖10是示出根據本公開的實施例的取景器500的典型使用環境的示圖。
[0114]將包括顯微鏡10和掃描儀計算機20的數字病理學掃描儀100安裝在醫院的組織實驗室HL中。顯微鏡10拍攝RAW圖像。掃描儀計算機20處理RAW圖像。圖像處理的示例包括處理過程、描影處理、色彩平衡校正、伽馬校正和8位處理。之后，將處理后的圖像分割為瓦片(tile)。瓦片的尺寸是例如256像素x256像素。將分割為瓦片的圖像轉換為JPEG(聯合圖像專家組)圖像，并且壓縮。之后，將壓縮后的圖像存儲在硬盤HDl中。
[0115]掃描儀計算機20的硬盤HDl存儲JPEG圖像。接著，JPEG圖像通過網絡300上載到硬盤HD2。硬盤HD2在數字病理服務器400中。數字病理服務器400是相同醫院中的數據中心DC。
[0116]作為觀察者的病理學家位于醫院中的病理室PR或醫院之外的建筑EX中。病理學家通過使用取景器500檢查在數字病理服務器400的硬盤HD2中存儲的JPEG圖像。取景器500通過網絡300連接到數字病理服務器400。
[0117]替代地，作為觀察者的病理學家指示取景器500將在取景器的屏幕上顯示的圖像記錄為場景。
[0118][關于取景器500的配置]
[0119]接著，將描述取景器500的硬件配置。
[0120]圖11是示出根據此實施例的取景器500的硬件配置的框圖。
[0121]取景器500包括CPU (中央處理單元)2UR0M (只讀存儲器)22,RAM (隨機存取存儲器)23以及操作輸入單元24。CPU21進行算術控制。RAM23是用于CPU21的工作存儲器。在操作輸入單元24中輸入取決于用戶的操作的指令。取景器500還包括接口單元25、輸出單元26 (顯示單元)、存儲器27、網絡接口單元28和連接它們的總線29。
[0122]用于執行各種處理的程序被存儲在R0M22中。控制器30連接到接口單元25。控制器30裝備有各種按鈕或搖桿，并且可以從用戶接收各種輸入。
[0123]此外，控制器30包括加速度傳感器或傾斜傳感器。當用戶傾斜或搖動控制器30時，控制器30可以從用戶接收指令。
[0124]網絡300連接到網絡接口單元28。液晶顯示器、EL (電致發光)顯示器、等離子顯示器等應用于用于圖像顯示的輸出單元26。由HDD (硬盤驅動器)、半導體存儲器、光盤等代表的磁盤應用于存儲器27。
[0125]在RAM23中，CPU21從在R0M22、存儲器27等中存儲的多個程序中擴展與來自操作輸入單元24的指令對應的程序。CPU21基于展開后的程序任意地控制輸出單元26和存儲器27。
[0126]CPU21實現將在后面描述的功能塊。CPU21執行在R0M22、存儲器27等中存儲的程序。在必要時，CPU21控制上述單元。正因為如此，取景器500能夠實現各種功能塊。取景器500能夠使各個單元用作取景器500。
[0127][關于數字病理服務器400的配置]
[0128]接著，將描述數字病理服務器400的硬件配置。
[0129]除了控制器30不連接到接口單元25之外，數字病理服務器400的硬件配置基本上與取景器500的硬件配置相同。鑒于此，省略數字病理服務器400的硬件配置的詳細描述。
[0130][關于數字病理服務器400的功能塊]
[0131]接著，將描述數字病理服務器400的功能塊。數字病理服務器400的第一主功能是響應于來自取景器500的請求而提供病理學圖像。
[0132]圖12是示出數字病理服務器400的功能塊的示圖。
[0133]數字病理服務器400包括以下功能塊，即，圖像存儲器41和圖像提供單元42。
[0134]圖像存儲器41存儲了被分割為瓦片并且以JPEG格式壓縮的病理學圖像。圖像提供單元42響應于來自取景器500的請求而將所存儲的病理學圖像提供給取景器500。
[0135]圖像提供單元42通過網絡300從圖像存儲器41獲得與從取景器500發送的圖像請求對應的病理學圖像，并且通過該網絡300將所獲得的圖像發送到取景器500。
[0136]應當注意，因為數字病理服務器400和取景器500構成了客戶端-服務器系統，所以確定在客戶端側執行哪個功能而在服務器側執行哪個功能是設計項。因而，在哪里執行各個功能塊不限于數字病理服務器400，并且可以在作為客戶端側的取景器500上執行各個功能塊。
[0137][關于取景器500的功能塊]
[0138]接著，將描述取景器500的功能塊。首先，取景器500的主功能是在手動檢查模式中從作為病理學家的用戶接收操作指令，以獲得與來自數字病理服務器400的指令對應的病理圖像，并且對用戶顯示該圖像。第二，取景器500的主功能是在自動檢查模式中從數字病理服務器400自動接收病理圖像并且對用戶自動顯示圖像。
[0139]第三，取景器500的主功能是將關于由用戶指定的顯示圖像的信息存儲為場景，并且響應于例如來自用戶的指令而重現所存儲的場景。圖13是示出取景器500的功能塊的示圖。
[0140]取景器500包括以下功能塊，即，圖像獲得單元51 (顯示處理單元)、自動檢查模式設置單元52 (設置單元)、自動平移單元53 (自動平移單元)、路徑確定單元54 (路徑確定單元)、模式切換單元55 (切換單元)、場景信息生成單元56 (生成單元)、場景表57和場景重現單元58 (重現單元)。
[0141]圖像獲得單元51通過網絡300從數字病理服務器400獲得與來自作為病理學家的用戶的指令對應的病理圖像，而該指令在手動檢查模式下從操作輸入單元24輸入，并且經由輸出單元26向用戶呈現所獲得的病理圖像。
[0142]此外，圖像獲得單元51在自動檢查模式下通過網絡300從數字病理服務器400獲得與來自自動平移單元53的指令對應的病理圖像，并且經由輸出單元26向用戶呈現所獲得的病理圖像。
[0143]自動檢查模式設置單元52經由操作輸入單元24接收由用戶設置的、用于自動檢查模式的設置值，并且進行設置。應當注意，用于自動檢查模式的設置值可以由用戶設置或由在手動檢查模式下學習了用戶操作的自動檢查模式設置單元52自動設置。自動檢查模式設置單元52向自動平移單元53提供對于自動平移單元53在自動檢查模式下自動顯示病理圖像所需的設置值。
[0144]當取景器500處于自動檢查模式時，自動平移單元53在整個病理圖像中設置在取景器500的屏幕上顯示的顯示區域，并且自動而順序地移動該顯示區域，由此自動顯示病理圖像。作為進行自動顯示的參數的設置值從自動檢查模式設置單元52提供。
[0145]路徑確定單元54對于自動平移單元53確定用以在病理圖像上平移和移動顯示區域的路徑。該路徑取決于諸如使用存在地圖的情況、用戶指定顯示范圍的情況和僅顯示樣本邊緣的情況之類的情況而改變。
[0146]模式切換單元55響應于由用戶進行的取景器的具體操作而在自動檢查模式和自動檢查模式之間切換。
[0147]場景信息生成單元56響應于當向用戶呈現病理圖像時來自用戶輸入的指令而將正在呈現的圖像的坐標和顯示倍率存儲在場景表57中作為場景信息。
[0148]場景表57從場景信息生成單元56接收每一個場景的場景信息并且存儲它。在場景表57中存儲的場景信息由場景重現單元58使用以重現每一個場景。
[0149]場景重現單元58基于在場景表57中存儲的場景信息重現每一個場景。
[0150]以上是取景器500的各功能塊的描述。應當注意，因為數字病理服務器400和取景器500構成了客戶端-服務器系統，所以確定在客戶端側執行哪個功能而在服務器側執行哪個功能是設計項。因而，在哪里執行各個功能塊不限于取景器500，并且可以在作為客戶端側的數字病理服務器400上執行各個功能塊。
[0151][處理的(整個)流程]
[0152]接著，將描述處理的整個流程。應當注意，稍后將詳細描述流程的一部分。圖14是示出由取景器500進行的處理的整個流程的流程圖。
[0153]首先，自動檢查模式設置單元52對自動檢查模式設置各種設置值(步驟SI)。用于設置的值可以直接由用戶輸入，或者可從學習了手動檢查模式中進行的用戶操作的自動檢查模式設置單元52獲得。
[0154]接著，自動檢查模式設置單元52確認對于自動檢查模式設置的值是否期望改變(步驟S2)。在值期望改變的情況下，處理返回到步驟SI，并且改變設置值。
[0155]接著，在不期望改變設置值的情況下(在步驟S2中的“否”)，取景器500選擇特定場景(步驟S3)。選擇特定場景的處理將在后面詳細描述。在選擇特定場景之后，用戶選擇一種模式(步驟S4 )，或取景器500啟動手動檢查模式(步驟S6 )。在用戶選擇了 一種模式(步驟S4)的情況下，模式切換單元55接收用戶明確的操作并且選擇自動檢查模式(步驟S5中的“否”，步驟S8中的“是”)和手動檢查模式(步驟S5中的“是”)中的一種模式。
[0156]在選擇手動檢查模式的情況下，取景器500對于手動檢查而顯示病理圖像直到停止檢查為止(步驟S7 )。此外，在選擇自動檢查模式的情況下，取景器500啟動自動檢查模式(步驟S9)。
[0157]以上是由取景器500進行的處理的整個流程。
[0158][處理的流程(特定場景的選擇)]
[0159]接著，將描述在選擇特定場景時的處理的流程。圖15是示出選擇特定場景時的處理的流程的流程圖。
[0160]首先，場景重現單元58確定是否存儲了將要重現的一個或多個場景或是否跳轉到特定場景(重現特定場景)。
[0161]在沒存儲場景(在步驟S31中的“否”)或不重現特定場景(步驟S32中的“否”)的情況下，處理前進到由用戶選擇模式的步驟(步驟S4 )。
[0162]在重現特定場景的情況下(步驟S31中的“是”和步驟S32中的“是”)，首先，場景重現單元58使用戶選擇要被重現的場景(步驟S33)，并且隨后將要在屏幕上顯示的病理圖像的位置設置為所選擇的場景的坐標(步驟S34)。
[0163]在重現特定場景之后，由取景器500進行的處理前進到啟動手動檢查模式的步驟(步驟S6)。
[0164]以上是有關特定場景的選擇的處理的流程。
[0165][處理的流程(自動檢查模式)]
[0166]接著，將描述與自動檢查模式相關的處理的流程。圖16是示出與自動檢查模式相關的處理的流程的流程圖。
[0167]首先，如果在圖14中所示的步驟S8選擇了切換到自動檢查模式(在步驟S8中的“是”)，則啟動或恢復自動檢查模式中的處理(步驟S91)。
[0168]在重新啟動自動檢查模式的情況下，因為未將上次停止自動檢查模式的時候的狀態存儲為場景(步驟S92中的“否”)，所以，首先，啟動限制自動檢查模式的范圍的處理(步驟S93)。限制自動檢查模式的范圍的處理將在后面詳細描述。
[0169]在將上次停止自動檢查模式的時候的狀態存儲為場景(步驟S92中的“是”)的情況下，基于場景信息重現狀態(步驟S94)。
[0170]在完成新啟動自動檢查模式的情況下和恢復自動檢查模式的情況下的處理之后，自動平移單元53開始自動檢查模式中的自動顯示(步驟S95)。
[0171]如果期望要在自動檢查模式下顯示的全部區域的顯示完成(步驟SlOO中的“是”)，則自動平移單元53終止自動檢查模式(步驟SlOl )。
[0172]此外，在通過用戶進行的特定操作來停止自動檢查模式的情況下(步驟S96中的“是”)，場景信息生成單元56將顯示的當前狀態存儲為一個場景(步驟S97)。
[0173]之后，如果用戶提供指令以返回到手動檢查模式(步驟S98中的“是”)，則取景器500停止自動檢查模式(步驟S99 )。
[0174]如果用戶提供指令以不返回到手動檢查模式(步驟S98中的“否”)，則由取景器500進行的處理返回到步驟S94，并且從所存儲的場景狀態恢復自動檢查模式。該處理表示暫時從自動檢查模式切換到手動檢查模式并且在手動檢查模式結束后返回到自動檢查模式的處理的上述流程。
[0175]以上是與自動檢查模式相關的處理的流程。
[0176][處理的流程](自動檢查模式的限制范圍)]
[0177]接著，將描述與自動檢查模式的范圍限制相關的處理的流程。圖17是示出與自動檢查模式的范圍限制相關的處理的流程的流程圖。
[0178]處理的流程大致分為三種情況，即，使用存在地圖限制顯示范圍的情況(步驟S931中的“是”)、將顯示范圍限制到由用戶指定的范圍的情況(步驟S935中的“是”)以及沒有限制地顯示整個區域的情況(步驟S935中的“否”)。另外，在使用存在地圖的情況下，顯示范圍可以被限制到由用戶指定的范圍(步驟S933中的“是”)。
[0179]在各個情況下，路徑確定單元54將顯示區域限制到與存在地圖或用戶的指定對應的區域，并且設置顯示范圍(步驟S932、S936、S937和S934)。
[0180]接著，路徑確定單元54取決于在每一步驟中設置的范圍而確定移動并顯示區域的路徑(步驟S938)。之后，由取景器500進行的處理前進到進行自動檢查的步驟(步驟S95)。
[0181]以上是與自動檢查模式的范圍限制有關的處理的流程。
[0182][本公開的其他配置]
[0183]應當注意，本公開還可以采用以下配置。
[0184](I) 一種信息處理設備，包括:
[0185]顯示處理單元，配置為在顯示單元上顯示至少一部分病理圖像作為顯示區域；
[0186]設置單元，配置為至少接收由用戶設置的、關于所述病理圖像中的顯示區域的位置的信息和關于移動所述顯示區域的方法的信息，作為移動所述顯示區域以掃描所述病理圖像所需的信息；以及
[0187]自動平移單元，配置為基于設置信息順序地移動所述顯示區域。
[0188](2)根據(I)的所述信息處理設備，進一步包括
[0189]切換單元，配置為響應于來自所述用戶的指令，在由所述自動平移單元順序地移動的顯示區域中的病理圖像的顯示和由所述用戶從整個病理圖像中選擇的顯示區域中的病理圖像的顯示之間切換。
[0190](3)根據(I)或(2)所述的信息處理設備，進一步包括:
[0191]生成單元，配置為
[0192]從所述用戶接收與所述顯示區域對應的至少一個病理圖像的選擇，所述顯示區域由所述自動平移單元順序地移動，并且
[0193]生成顯示所選擇的至少一個病理圖像所需的信息作為場景信息；以及
[0194]重現單元，配置為基于所述場景信息在所述顯示單元上顯示所述至少一個病理圖像，所述至少一個病理圖像由所述用戶選擇。
[0195](4)根據(I)到(3)的任一個所述的信息處理設備，進一步包括
[0196]路徑確定單元，配置為確定用于所述自動平移單元順序地移動所述顯示區域的路徑。
[0197]( 5 )根據(4 )所述的信息處理設備，其中，
[0198]通過拍攝放置樣本的載玻片而獲得所述病理圖像，并且[0199]所述路徑確定單元配置為
[0200]對于通過空間劃分所述病理圖像而獲得的各個區域，獲得具有存在所述樣本的可能性的存在地圖，并且
[0201]使用所述存在地圖確定用于移動所述顯示區域的路徑。
[0202](6)根據(4)所述的信息處理設備，其中，
[0203]所述路徑確定單元配置為
[0204]從所述用戶接收所述自動平移單元順序地移動所述顯示區域的范圍的指定，并且
[0205]確定在所述指定范圍內移動所述顯示區域的路徑。
[0206](7)根據(4)所述的信息處理設備，其中，
[0207]路徑確定單元配置為
[0208]在所述病理圖像中識別樣本的邊緣，并且
[0209]沿著所述邊緣確定路徑。
[0210](8) 一種信息處理方法，包括:
[0211]由顯示處理單元在顯示單元上顯示至少一部分病理圖像作為顯示區域；
[0212]由設置單元至少接收由用戶設置、關于所述病理圖像中的顯示區域的位置的信息和關于移動所述顯示區域的方法的信息，作為所述移動顯示區域以掃描所述病理圖像所需的信息；以及
[0213]由自動平移單元基于設置信息依次移動所述顯示區域。
[0214](9) 一種信息處理程序，使得計算機用作:
[0215]顯示處理單元，配置為在顯示單元上顯示至少一部分病理圖像作為顯示區域；
[0216]設置單元，配置為至少接收由用戶設置的、關于所述病理圖像中的顯示區域的位置的信息和關于移動所述顯示區域的方法的信息，作為移動所述顯示區域以掃描所述病理圖像所需的信息；以及
[0217]自動平移單元，配置為基于設置信息依次移動所述顯示區域。
[0218]本公開包含涉及公開在于2012年8月29日向日本專利局提交的日本優先專利申請JP2012-188749的主題的主題，其整體內容通過引用并入于此。
[0219]本領域的技術人員應當理解，只要在所附權利要求或其等同的范圍之內，取決于設計要求和其他因素可以發生各種變型、組合、部分組合和變更。
【權利要求】
1.一種信息處理設備,包括: 顯示處理單元，配置為在顯示單元上顯示至少一部分病理圖像作為顯示區域； 設置單元，配置為至少接收由用戶設置的、關于所述病理圖像中的顯示區域的位置的信息和關于移動所述顯示區域的方法的信息，作為移動所述顯示區域以掃描所述病理圖像所需的信息；以及 自動平移單元，配置為基于設置信息順序地移動所述顯示區域。
2.根據權利要求1所述的信息處理設備，進一步包括 切換單元，配置為響應于來自所述用戶的指令，在由所述自動平移單元順序地移動的顯示區域中的病理圖像的顯示和由所述用戶從整個病理圖像中選擇的顯示區域中的病理圖像的顯示之間切換。
3.根據權利要求1所述的信息處理設備，進一步包括: 生成單元，配置為 從所述用戶接收與所述顯示區域對應的至少一個病理圖像的選擇，所述顯示區域由所述自動平移單元順序地移動，并且 生成顯示所選擇的至少一個病理圖像所需的信息作為場景信息；以及重現單元，配置為基于所述場景信息在所述顯示單元上顯示所述至少一個病理圖像，所述至少一個病理圖像由所述用戶選擇。
4.根據權利要求1所述的信息處理設備，進一步包括 路徑確定單元，配置為確定用于所述自動平移單元順序地移動所述顯示區域的路徑。
5.根據權利要求4的信息處理設備，其中， 通過拍攝放置樣本的載玻片而獲得所述病理圖像，并且 所述路徑確定單元配置為 對于通過空間地劃分所述病理圖像而獲得的各個區域，獲得具有存在所述樣本的可能性的存在地圖，并且 使用所述存在地圖確定用于移動所述顯示區域的路徑。
6.根據權利要求4所述的信息處理設備，其中， 所述路徑確定單元配置為 從所述用戶接收所述自動平移單元順序地移動所述顯示區域的范圍的指定，并且 確定在所述指定范圍內用于移動所述顯示區域的路徑。
7.根據權利要求4所述的信息處理設備，其中， 所述路徑確定單元配置為 在所述病理圖像中識別樣本的邊緣，并且 沿著所述邊緣確定路徑。
8.—種信息處理方法,包括: 由顯示處理單元在顯示單元上顯示至少一部分病理圖像作為顯示區域； 由設置單元至少接收由用戶設置的、關于所述病理圖像中的顯示區域的位置的信息和關于移動所述顯示區域的方法的信息，作為移動所述顯示區域以掃描所述病理圖像所需的/[目息;以及 由自動平移單元基于設置信息順序地移動所述顯示區域。
9.一種信息處理程序，使得計算機用作: 顯示處理單元，配置為在顯示單元上顯示至少一部分病理圖像作為顯示區域； 設置單元，配置為至少接收由用戶設置的、關于所述病理圖像中的顯示區域的位置的信息和關于移動所述顯示區域的方法的信息，作為移動所述顯示區域以掃描所述病理圖像所需的信息；以及 自動平移單元，配置為 基于設置信息順序地移動所述顯示區域。
【文檔編號】G06F19/00GK103678863SQ201310369560
【公開日】2014年3月26日 申請日期:2013年8月22日 優先權日:2012年8月29日
【發明者】山口浩司, 山根健治, 高橋正弘 申請人:索尼公司