專利名稱：手術機器人系統及其腹腔鏡操作方法以及體感式手術用圖像處理裝置及其方法
技術領域：
本發明涉及手術，更具體地說，涉及一種手術機器人系統及其腹腔鏡操作方法以及體感式手術用圖像處理裝置及其方法。
背景技術：
手術機器人是指具有能夠代替由醫生進行的手術行為的功能的機器人。這種手術機器人具有與人相比能夠進行準確精密動作且能夠進行遠程手術的優點。目前全世界正在開發的手術機器人有骨外科手術機器人、腹腔鏡(laparoscope)手術機器人、立體定向手術機器人等。在此，腹腔鏡手術機器人是利用腹腔鏡和小型手術工具進行微創手術的機器人。腹腔鏡手術機器人是在肚臍部位鉆孔Icm左右之后插入用于觀察腹腔內的作為內窺鏡的腹腔鏡而進行手術的尖端手術技術，是期待將來有很大發展的領域。近來，腹腔鏡發展到，安裝有電腦芯片，從而能夠獲得比肉眼觀察更清晰的放大圖像，而且，若通過監控器看著畫面的同時使用特別設計的腹腔鏡手術工具，則可以進行任何手術。 此外，腹腔鏡手術的其手術范圍與剖腹手術幾乎相同，但與剖腹手術相比并發癥少，而且手術后能夠盡快進行治療，從而具有保持手術患者體力或免疫功能的優點。因此，在美國和歐洲等國家，治療大腸癌等時腹腔鏡手術日益公認為標準手術。手術機器人系統通常包括主機器人和從機器人。若施術者操作主機器人所具有的操縱器(例如手柄)，則結合于從機器人的機器臂或由機器臂把持的手術工具被操作，從而進行手術。主機器人和從機器人通過網絡連接而進行網絡通信。然而，現有的手術機器人系統，施術者為了取得有關手術部位的圖像，用戶需要進行單獨操作，以便將腹腔鏡移動到所需位置，或調節圖像輸入角度。即，施術者在手術過程中利用手或腳單獨輸入用于控制腹腔鏡的操作。但是，這在需要保持注意力高度集中的手術進行過程中，可能成為降低施術者注意力的原因，而注意力下降引起的不完整手術可能導致嚴重的并發癥。現在，進行腹腔鏡手術時，通過腹腔鏡拍攝的手術圖像輸出給用戶，用戶看著該圖像進行手術，但是與直接剖腹進行的手術相比，存在真實感降低的問題。發生這些問題的原因可以是，腹腔鏡在腹腔內移動及旋轉而照射其它部位時，用戶可以看到的圖像輸出到相同位置及大小的監控器上，因此，所述操縱器和圖像之間的相對距離感及運動，與實際腹腔內的手術工具和臟器之間的相對距離感及運動不同。此外，通過腹腔鏡拍攝的手術圖像僅包括手術工具的部分圖像，所以這些手術工具彼此碰撞或重疊時，可能發生用戶難以操作或視野被遮擋無法順利進行手術的情況。上述背景技術是發明人為了導出本發明而保留或導出本發明的過程中所學到的技術信息，不一定是本發明申請之前向公眾公開的公知技術。

發明內容
技術問題本發明的目的在于，提供一種僅通過施術者想看到所需手術部位的行為就能夠控制腹腔鏡的位置及圖像輸入角度的手術機器人系統及其腹腔鏡操作方法。另外，本發明的目的在于，提供一種不需要施術者進行用于操作腹腔鏡的單獨操作從而能夠使施術者完全集中于手術行為的手術機器人系統及其腹腔鏡操作方法。另外，本發明的目的在于，提供一種不需要學習利用面部識別的設備操作方法而能夠直觀了解操作方法的手術機器人系統及其腹腔鏡操作方法。另外，本發明的目的在于，提供一種不必使用胳膊而僅通過在三維空間上的面部運動來能夠以多種方式控制內窺鏡裝置的手術機器人系統及其腹腔鏡操作方法。另外，本發明的目 的在于，提供一種對應于根據手術用內窺鏡的運動而變化的內窺鏡的視點，改變在用戶看的監控器上輸出的內窺鏡圖像的輸出位置，從而能夠使用戶更真實地感受到實際手術狀況的體感式手術用圖像處理裝置及其方法。另外，本發明的目的在于，提供一種在當前時間提取之前輸入存儲的內窺鏡圖像并與當前的內窺鏡圖像一同輸出到畫面顯示部，從而能夠將有關內窺鏡圖像變化的信息通知給用戶的體感式手術用圖像處理裝置及其方法。另外，本發明的目的在于，提供一種將手術時利用內窺鏡實際拍攝的內窺鏡圖像和預先生成并存儲于圖像存儲部的手術工具的建模圖像進行各自或彼此匹配或調節其尺寸等圖像修改后，向用戶可觀察的監控部輸出的體感式手術用圖像處理裝置及其方法。 另外，本發明的目的在于，提供一種體感式手術用圖像處理裝置及其方法，通過與不斷變化的內窺鏡的視點對應地旋轉及移動監控器，從而能夠使用戶更生動地感受到手術真實感。除了本發明提出的之外的其它技術問題可以通過下面的說明容易理解。解決技術問題的方法根據本發明的一實施方式，提供一種手術機器人，利用操作信號控制視覺部的位置及圖像輸入角度中的一個以上，其包括:接面部，向與被接觸的施術者面部的運動方向及大小相對應的方向及大小游動；運動檢測部，輸出對應于接面部游動的方向及大小的傳感信息；操作命令生成部，利用傳感信息生成并輸出有關視覺部的位置及圖像輸入角度中一個以上的操作命令。操作命令為有關視覺部的直線操作及旋轉操作中的至少一個的命令時，可以與其相應地變更操作手術機器人的操作手柄方向。接面部可以形成為，作為手術機器人的控制臺(console)面板的一部分。為了固定施術者面部位置，可以在接面部的一個以上部位突出形成有支承部。在接面部可以穿孔形成有接目部，從而使通過視覺部獲得的圖像以視覺信息方式能夠看到。接面部可以由透光材料形成，從而使通過視覺部獲得的圖像以視覺信息方式能夠看到。手術機器人還可以包括:接觸檢測部，檢測施術者面部是否接觸于接面部或支承部；原狀恢復部，當通過接觸檢測部識別到接觸解除時，接面部恢復到指定為默認(default)的位置及狀態的基準狀態。原狀恢復部可以通過根據傳感信息的接面部游動方向及大小的反向操作，能夠使接面部恢復到基準狀態。手術機器人還可以包括:眼球跟蹤部，將依次生成的圖像數據按時間順序進行比較和判斷，并生成解析瞳孔位置變化、眼睛模樣變化及注視方向中的至少一個的解析信息。此外，手術機器人也還可以包括:攝像部，在手術機器人的內側朝向接面部拍攝而生成圖像數據；存儲部，用于存儲所生成的圖像數據。操作命令生成部判斷解析信息作為任一操作命令是否滿足預定的變化，若滿足時，輸出相應的操作命令。視覺部可以是顯微鏡、內窺鏡中的任一種，內窺鏡可以是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上。接面部以被彈性體支承的方式形成于控制臺面板的前表面，彈性體可以提供恢復力，以便解除接面部運動施加的外力時，使接面部恢復到原位置。根據本發明的另一實施方式，提供一種手術機器人，利用操作信號控制視覺部的位置及圖像輸入角度中的一個以上，其包括:接目部，用于將通過視覺部獲得的圖像作為視覺信息提供；眼球跟蹤部，生成對通過接目部看到的瞳孔位置變化、眼睛模樣變化及注視方向中的至少一個進行解析的解析信息；操作命令生成部，判斷解析信息作為任一操作命令是否滿足預定的變化，若滿足時，輸出用于操作視覺部的操作命令。 眼球跟蹤部可以包括:攝像單元，在手術機器人的內側朝向接目部拍攝而生成圖像數據；存儲單元，用于存儲生成的圖像數據；眼球跟蹤單元，將依次生成的圖像數據按時間順序進行比較判斷，并生成解析瞳孔位置變化、眼睛模樣變化及注視方向中的至少一個的解析信息。接目部可以在作為手術機器人的控制臺(console)面板的一部分的接面部上穿孔形成。根據本發明的另一實施方式，提供一種手術機器人，利用操作信號控制視覺部，其包括:拍攝部，拍攝對象物而生成圖像數據；角度及距離算出部，解析包含于圖像數據中的面部的兩眼中心點的連接線與畫面中心線所形成的內角大小及旋轉方向，并與根據之前拍攝的圖像數據解析出的內角大小及旋轉方向進行比較，以生成有關面部旋轉方向及旋轉角度的位移量信息；操作命令生成部，生成并輸出操作命令以與所述位移量信息相應地操作所述視覺部。角度及距離算出部還可以算出根據之前拍攝的圖像數據解析出的所述面部內的基準點與根據圖像數據解析出的面部內的基準點之間的距離信息，而為了視覺部的平行移動操作，算出的距離信息可包含于位移量信息。角度及距離算出部還可以算出根據之前拍攝的圖像數據解析出的面部內兩眼間距與根據圖像數據解析出的面部內兩眼間距之間的變化量，兩眼間距之間的變化量包含于位移量信息，以用于調節視覺部的圖像倍率。視覺部可以是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上。
視覺部可以是用于獲得三維圖像的裝置，可以根據面部和眼睛的位置調節三維圖像處理所需的左/右圖像重疊程度。手術機器人還可以包括:存儲部，用于存儲認證用戶的照片圖像；判斷部，算出圖像數據中的面部特征要素和照片圖像中的面部特征要素之間的類似度，在算出的類似度大于等于預定值時，控制操作命令生成部生成并輸出操作命令。在此，面部特征要素可以是構成部位的位置及模樣、瞳孔顏色、面部模樣、皮膚顏色、皺紋形狀、紅暈中的一個以上，構成部位可以是眼睛、眉毛、鼻子和嘴中的一個以上。手術機器人還可以包括:存儲部，用于存儲有效用戶信息，該有效用戶信息是面部輪廓所處的區域信息及圖像數據中面部大小的基準值中的一種以上；判斷部，判斷包含于圖像數據中的面部是否滿足有效用戶信息，在滿足時，控制操作命令生成部生成并輸出操作命令。手術機器人還可以包括:判斷部，判斷包含于圖像數據中的面部運動狀態是否保持規定時間以上，在面部運動狀態保持規定時間以上時，控制操作命令生成部生成并輸出操作命令。手術機器人還可以包括:判斷部，判斷包含于圖像數據中的面部運動程度是否超出預定范圍，在超出預定范圍時，控制操作命令生成部生成并輸出操作命令。手術機器人還可以包括:存儲部，存儲對頭部運動及面部表情中一個以上的變化生成的操作命令信息；判斷部，解析多個圖像數據來生成頭部運動及面部表情中一個以上的變化信息，控制所述操作命令生成部生成并輸出與操作命令信息對應的相應操作命令。根據本發明的另一實施方式，提供一種視覺部操作方法，用于手術機器人控制視覺部的位置及圖像輸入角度中的一個以上，其特征在于，包括如下步驟:輸出對應于接面部游動方向及大小的傳感信息的步驟；利用傳感信息，生成并輸出有關視覺部的位置及圖像輸入角度中一個以上的操作命令的步驟；接面部作為手術機器人的控制臺面板的一部分形成，并向與施術者面部的 運動方向及大小相對應的方向及大小游動。視覺部操作方法還可以包括如下步驟:判斷施術者面部是否處于與接面部接觸狀態的步驟；處于接觸狀態時，開始輸出傳感信息的進行控制的步驟。視覺部操作方法還可以包括如下步驟:接觸狀態解除時，判斷接面部是否以作為指定為默認(default)的位置及狀態的基準狀態存在的步驟，未以基準狀態存在時，恢復到基準狀態的進行處理的步驟。恢復到基準狀態，可以通過根據傳感信息的接面部游動方向及大小的反向操作來進行。視覺部操作方法還可以包括如下步驟:生成并存儲在手術機器人的內側朝向接面部拍攝的圖像數據的步驟；將存儲的圖像數據按時間順序進行比較判斷，并生成解析瞳孔位置變化、眼睛模樣變化及注視方向中一種以上的解析信息的步驟。視覺部操作方法還可以包括如下步驟:判斷解析信息作為任一操作命令是否滿足預定的變化的步驟；若滿足時，輸出相應的預定的操作命令的步驟。接面部被彈性體支承地形成在控制臺面板的前表面，彈性體可以提供恢復力，以便解除接面部運動施加的外力時，接面部恢復到原位置。根據本發明的另一實施方式，提供一種手術機器人，利用操作信號控制視覺部的位置及圖像輸入角度中的一個以上，其包括:接面部，用于將通過視覺部獲得的圖像作為視覺信息提供；分析處理部，生成解析通過接面部看到的面部運動的解析信息；操作命令生成部，判斷解析信息作為任一操作命令是否滿足預定的變化，若滿足時，輸出用于操作視覺部的操作命令。分析處理部可以包括:攝像單元，在手術機器人的內側朝向所述接面部拍攝而生成圖像數據；存儲單元，用于存儲生成的圖像數據；分析單元，在依次生成的圖像數據中，按時間順序比較判斷規定特征點的位置變化，并生成有關面部運動的解析信息。接面部可以作為所述手術機器人的控制臺(console)面板的一部分形成，接面部可以由透光材料形成，從而使通過視覺部獲得的圖像以視覺信息方式能夠看到。根據本發明的另一實施方式，提供一種視覺部操作方法，用于手術機器人控制視覺部的位置及圖像輸入角度中的一個以上，其特征在于，包括如下步驟:生成解析通過接目部看到的瞳孔位置變化、眼睛模樣變化及注視方向中一種以上的解析信息的步驟；判斷解析信息作為任一操作命令是否滿足預定的變化的步驟；若滿足時，生成并輸出有關視覺部的位置及圖像輸入角度中一個以上的操作命令的步驟。生成解析信息的步驟可以包括如下步驟:生成并存儲在手術機器人的內側朝向接目部拍攝的圖像數據的步驟；將存儲的圖像數據按時間順序進行比較判斷，并生成解析瞳孔位置變化、眼睛模樣變化及注視方向中一種以上的解析信息的步驟。根據本發明的另一實施方式，提供一種視覺部操作方法，用于手術機器人對視覺部進行操作，其包括如下步驟:拍攝對象物而生成圖像數據的步驟；解析包含于圖像數據中的面部內兩眼中心點的連接線與畫面中心線所形成的內角大小及旋轉方向，并與根據之前拍攝的圖像數據解析出的內角大小及旋轉方向進行比較，以生成有關面部旋轉方向及旋轉角度的位移量信息的步驟；生成并輸出操作命令以與所述位移量信息對應地操作所述視覺部的步驟。生成位移量信息的步 驟可以包括如下步驟:算出根據之前拍攝的圖像數據解析出的面部內的基準點與根據圖像數據解析出的面部內的基準點之間的距離信息的步驟；使所述算出的距離信息包含于所述位移量信息，以用于所述視覺部的平行移動操作的步驟。生成位移量信息的步驟可以包括如下步驟:算出根據之前拍攝的圖像數據解析出的面部內兩眼間距與根據圖像數據解析出的面部內兩眼間距之間的變化量的步驟；使所述兩眼間距之間的變化量包含于所述位移量信息，以用于調節所述視覺部的圖像倍率的步驟。視覺部可以是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上。視覺部可以是用于獲得三維圖像的裝置，可以根據面部和眼睛的位置調節三維圖像處理所需的左/右圖像重疊程度。視覺部操作方法還可以包括如下步驟:算出包含于圖像數據中的面部特征要素和預先存儲于存儲部的認證用戶的照片圖像之間的類似度的步驟；在算出的類似度大于等于預定值時，進行控制以執行所述生成并輸出操作命令的步驟的步驟。在此，面部特征要素可以是構成部位的位置及模樣、瞳孔顏色、面部模樣、皮膚顏色、皺紋形狀、紅暈中的一個以上，構成部位可以是眼睛、眉毛、鼻子和嘴中的一個以上。
視覺部操作方法還可以包括如下步驟:判斷包含于圖像數據中的面部是否滿足預先存儲的有效用戶信息的步驟；在滿足時，進行控制以執行所述生成并輸出操作命令的步驟的步驟。在存儲部可以預先存儲有效用戶信息，該有效用戶信息是在圖像數據中面部輪廓所處的區域信息及包含于圖像數據中的面部大小的基準值中的一種以上。視覺部操作方法還可以包括如下步驟:判斷包含于圖像數據中的面部運動狀態是否保持規定時間以上的步驟；在面部運動狀態保持規定時間以上時，進行控制以執行所述生成并輸出操作命令的步驟的步驟。。視覺部操作方法還可以包括如下步驟:判斷包含于圖像數據中的面部運動程度是否超出預定范圍的步驟；在超出預定范圍時，進行控制以執行生成并輸出操作命令的步驟的步驟。視覺部操作方法還可以包括如下步驟:解析多個圖像數據來生成面部表情及頭部運動中一個以上的變化信息的步驟；根據對應于面部表情及頭部運動中一個以上的變化信息的操作命令信息，生成并輸出相應操作命令的步驟。在存儲部可以預先存儲對頭部運動及面部表情的變化生成的操作命令信息。另外，根據本發明的另一實施方式，提供一種體感式手術用圖像處理裝置，其包括:圖像輸入部，接收從手術用內窺鏡提供的內窺鏡圖像；畫面顯示部，將內窺鏡圖像輸出在特定區域；畫面顯示控制部，變更對應于手術用內窺鏡的視點而輸出內窺鏡圖像的畫面顯示部的特定區域。在此，手術用內窺鏡可以是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上，也可以是立體內窺鏡。在此，畫面顯示控制部可以包括:內窺鏡視點追蹤部，對應于手術用內窺鏡的移動及旋轉，追蹤手術用內窺鏡的視點信息；圖像移動信息提取部，利用手術用內窺鏡的視點信息，提取內窺鏡圖像的移 動信息；圖像位置設定部，利用移動信息，設定在畫面顯示部輸出內窺鏡圖像的特定區域。此外，畫面顯示控制部可以對應于手術用內窺鏡的視點坐標變化值，移動內窺鏡圖像的中心點。根據本發明的另一實施方式，提供一種體感式手術用圖像處理裝置，其包括:圖像輸入部，接收從手術用內窺鏡以彼此不同時間點提供的第一內窺鏡圖像和第二內窺鏡圖像；畫面顯示部，將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出；圖像存儲部，用于存儲第一內窺鏡圖像和第二內窺鏡圖像；畫面顯示控制部，用于控制畫面顯示部，以與手術用內窺鏡的彼此不同視點對應地，將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出。在此，圖像輸入部可以比先于第二內窺鏡圖像接收第一內窺鏡圖像，畫面顯示部可以輸出使彩度、亮度、顏色及畫面圖案中一種以上不同的第一內窺鏡圖像和第二內窺鏡圖像。此外，畫面顯示控制部還可以包括存儲圖像顯示部，畫面顯示部輸出實時輸入的第二內窺鏡圖像的期間，提取存儲于圖像存儲部的第一內窺鏡圖像而輸出給畫面顯示部。根據本發明的另一實施方式，提供一種體感式手術用圖像處理裝置，其包括:圖像輸入部，接收從手術用內窺鏡提供的內窺鏡圖像；畫面顯示部，將內窺鏡圖像輸出在特定區域；圖像存儲部，用于存儲對手術用內窺鏡拍攝的手術對象進行手術的有關手術工具的建模圖像；圖像匹配部，將內窺鏡圖像和建模圖像彼此匹配而生成輸出圖像；畫面顯示控制部，變更對應于手術用內窺鏡的視點而輸出內窺鏡圖像的畫面顯示部的特定區域，并向畫面顯示部輸出匹配的內窺鏡圖像和建模圖像。在此，圖像匹配部可以將包含于內窺鏡圖像中的實際手術工具圖像和包含于建模圖像中的建模手術工具圖像進行彼此匹配，而生成輸出圖像。此外，圖像匹配部還可以包括:特性值運算部，利用內窺鏡圖像及結合于一個以上機器臂的實際手術工具的位置坐標信息中的一個以上來運算特性值；建模圖像實現部，實現對應于特性值運算部運算的特性值的建模圖像。在此，圖像匹配部還可以包括重疊圖像處理部，從建模手術工具圖像去除建模手術工具圖像和實際手術工具圖像的重疊區域，而且，可以利用手術工具的操作信息來設定向建模圖像輸出的建模手術工具圖像的位置。根據本發明的另一實施方式，提供一種體感式手術用圖像處理裝置，其包括:圖像輸入部，接收從手術用內窺鏡提供的內窺鏡圖像；畫面顯示部，輸出內窺鏡圖像；畫面驅動部，使畫面顯示部旋轉及移動；畫面驅動控制部，用于控制畫面驅動部，使得畫面驅動部對應于手術用內窺鏡的視點，旋轉及移動畫面顯示部。在此，畫面驅動控制部可以包括:內窺鏡視點追蹤部，對應于手術用內窺鏡的移動及旋轉，追蹤手術用內窺鏡的視點信息；圖像移動信息提取部，利用手術用內窺鏡的視點信息，提取內窺鏡圖像的移動信息；驅動信息生成部，利用移動信息，生成畫面顯示部的畫面驅動信息。在此，畫面驅動部可以是一端結合于所述畫面顯示部，并使所述畫面顯示部沿著規定的移動槽移動，或者所述畫面驅動部是一端結合于所述畫面顯示部，并使所述畫面顯示部在空間上移動及旋轉的機器臂形式的空間上移動的驅動部。在此，畫面顯示部可以包括拱頂形屏幕和在拱頂形屏幕上投射內窺鏡圖像的投影儀。根據本發明的另一實施方式，提供一種體感式手術用圖像處理方法，用于手術用圖像處理裝置輸出內窺鏡圖像，其包括如下步驟:接收從手術用內窺鏡提供的內窺鏡圖像的步驟；向畫面顯示部的特定區域輸出內窺鏡圖像的步驟；以及變更對應于手術用內窺鏡的視點而輸出內窺鏡圖像的畫面顯示部的特定區域的步驟。在此，手術用內窺鏡可以是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上，也可以是立體內窺鏡。此外，變更畫面顯示部的特定區域的步驟可以包括如下步驟:對應于手術用內窺鏡的移動及旋轉，追蹤手術用內窺鏡的視點信息的步驟；利用手術用內窺鏡的視點信息，提取內窺鏡圖像的移動信息的步驟；以及利用移動信息，設定在畫面顯示部輸出內窺鏡圖像的特定區域的步驟。在此，變更畫面顯示部的特定區域的步驟可以包括如下步驟:對應于手術用內窺鏡的視點坐標變化值，移動內窺鏡圖像的中心點的步驟。根據本發明的另一實施方式，提 供一種體感式手術用圖像處理方法，用于手術用圖像處理裝置輸出內窺鏡圖像，其包括如下步驟:接收從手術用內窺鏡以彼此不同時間點提供的第一內窺鏡圖像和第二內窺鏡圖像的步驟；將第一內窺鏡圖像和第二內窺鏡圖像輸出到畫面顯示部的彼此不同區域的步驟；存儲第一內窺鏡圖像和第二內窺鏡圖像的步驟；以及對應于手術用內窺鏡的彼此不同視點，使第一內窺鏡圖像和第二內窺鏡圖像在彼此不同區域輸出的控制畫面顯示部的步驟。在此，在接收內窺鏡圖像的步驟，可以比先于第二內窺鏡圖像接收第一內窺鏡圖像，在輸出步驟，可以輸出使彩度、亮度、顏色及畫面圖案中一種以上不同的第一內窺鏡圖像和第二內窺鏡圖像。此外，畫面顯示部控制步驟還可以包括如下步驟:畫面顯示部輸出實時輸入的第二內窺鏡圖像的期間，提取存儲于圖像存儲部的第一內窺鏡圖像而輸出給畫面顯示部的步驟。根據本發明的另一實施方式，提供一種體感式手術用圖像處理方法，用于手術用圖像處理裝置輸出內窺鏡圖像，其包括如下步驟:接收從手術用內窺鏡提供的內窺鏡圖像的步驟；將內窺鏡圖像輸出在畫面顯示部的特定區域的步驟；存儲對手術用內窺鏡拍攝的手術對象進行手術的有關手術工具的建模圖像的步驟；將內窺鏡圖像和建模圖像彼此匹配而生成輸出圖像的步驟；以及變更對應于手術用內窺鏡的視點而輸出內窺鏡圖像的畫面顯示部的特定區域，并向畫面顯示部輸出匹配的內窺鏡圖像和建模圖像的步驟。在此，生成輸出圖像的步驟，可以將包含于內窺鏡圖像中的實際手術工具圖像和包含于建模圖像中的建模手術工具圖像彼此匹配，而生成輸出圖像。此外，生成 輸出圖像的步驟還可以包括如下步驟:利用內窺鏡圖像及結合于一個以上機器臂的實際手術工具的位置坐標信息中的一個以上來運算特性值的步驟；以及實現對應于運算的特性值的建模圖像的步驟。在此，生成輸出圖像的步驟還可以包括如下步驟:從建模手術工具圖像去除建模手術工具圖像和實際手術工具圖像的重疊區域的步驟。此外，可以利用手術工具的操作信息來設定向建模圖像輸出的建模手術工具圖像的位置。根據本發明的另一實施方式，提供一種體感式手術用圖像處理方法，用于手術用圖像處理裝置輸出內窺鏡圖像，其包括如下步驟:接收從手術用內窺鏡提供的內窺鏡圖像的步驟；向畫面顯示部輸出內窺鏡圖像的步驟；以及對應于手術用內窺鏡的視點，使畫面顯示部旋轉及移動的步驟。在此，旋轉及移動畫面顯示部的步驟可以包括如下步驟:對應于手術用內窺鏡的移動及旋轉，追蹤手術用內窺鏡的視點信息的步驟；利用手術用內窺鏡的視點信息，提取內窺鏡圖像的移動信息的步驟；利用移動信息，生成畫面顯示部的動作信息的步驟。在此，畫面顯示部可以包括拱頂形屏幕和在拱頂形屏幕上投射內窺鏡圖像的投影儀。根據本發明的另一實施方式，提供一種記錄介質，為了執行所述體感式手術用圖像處理方法，具備可由數字處理裝置執行的指令程序，并記錄有可由數字處理裝置讀取的程序。根據本發明的另一實施方式，提供一種體感式手術用圖像處理裝置，其包括:圖像輸入部，接收從一端旋轉的手術用內窺鏡以彼此不同時間點提供的第一內窺鏡圖像和第二內窺鏡圖像；畫面顯示部，將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出；畫面顯示控制部，用于控制畫面顯示部，以便對應于手術用內窺鏡的彼此不同視點，將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出。在此，手術用內窺鏡可以周期性地進行旋轉，本實施例還可以包括旋轉操作部，該旋轉操作部是設定與手術用內窺鏡的一端旋轉相關的旋轉方向、旋轉角速度、加減速形式、旋轉速度、旋轉時間起始點、旋轉時間結束點、旋轉時間長度及旋轉半徑中一種以上的旋轉相關信息。在此，手術用內窺鏡的一端以形成閉合圖形的方式進行旋轉，可以以圓錐體或多角錐體形狀旋轉，手術用內窺鏡的旋轉軌跡可以是圓形、橢圓形、三角形及矩形中的任一種。此外，畫面顯示控制部可以包括:連續圖像生成部，提取第一內窺鏡圖像和第二內窺鏡圖像的重疊區域，而生成連續圖像；周邊圖像生成部，提取第一內窺鏡圖像和第二內窺鏡圖像的非重疊區域，而生成周邊圖像。根據本發明的另一實施方式，提供一種體感式手術用圖像處理裝置，其包括:第一圖像輸入部，從手術用內窺鏡接收第一內窺鏡圖像；第二圖像輸入部，接收從結合于手術用內窺鏡的一側并以手術用內窺鏡為中心旋轉的輔助內窺鏡以彼此不同時間點提供的多個第二內窺鏡圖像；畫面顯示部，將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出；畫面顯示控制部，用于控制畫面顯示部，以便對應于手術用內窺鏡和輔助內窺鏡的彼此不同視點，將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出。在此，輔助內窺鏡可以周期性地進行旋轉，本實施例還可以包括旋轉操作部，該旋轉操作部是設定與輔助內窺鏡的一端旋轉相關的旋轉方向、旋轉角速度、加減速形式、旋轉速度、旋轉時間起始點、旋轉時間結束點、旋轉時間長度及旋轉半徑中一種以上的旋轉相關信息。此外，畫面顯示控制部可以包括:連續圖像生成部，提取第一內窺鏡圖像和第二內窺鏡圖像的重疊區域，而生成連續圖像；周邊圖像生成部，提取第一內窺鏡圖像和第二內窺鏡圖像的非重疊區域，而生成周邊圖像。此外，畫面顯示控制部可以包括:連續圖像生成部，從第一內窺鏡圖像生成連續圖像；周邊圖像生成部，提取第二內窺鏡圖像而生成連續圖像的周邊圖像。此外，輔助內窺鏡可拆裝地結合于手術用內窺鏡。根據本發明的另一實施方式，提供一種體感式手術用圖像處理方法，是手術用圖像處理裝置輸出內窺鏡圖像的方法，其包括`如下步驟:接收從一端旋轉的手術用內窺鏡以彼此不同時間點提供的第一內窺鏡圖像和第二內窺鏡圖像的步驟；將第一內窺鏡圖像和第二內窺鏡圖像輸出到畫面顯示部的彼此不同區域的步驟；控制畫面顯示部，以與手術用內窺鏡的彼此不同視點對應地，將第一內窺鏡圖像和第二內窺鏡圖像輸出到彼此不同區域的步驟。在此，手術用內窺鏡可以周期性地進行旋轉，本實施例還可以包括如下步驟:設定與手術用內窺鏡的一端旋轉相關的旋轉方向、旋轉角速度、加減速形式、旋轉速度、旋轉時間起始點、旋轉時間結束點、旋轉時間長度及旋轉半徑中一種以上的旋轉相關信息的步驟。在此，手術用內窺鏡的一端以形成閉合圖形的方式進行旋轉，可以以圓錐體或多角錐體形狀旋轉，手術用內窺鏡的旋轉軌跡可以是圓形、橢圓形、三角形及矩形中的任一種。此外，控制畫面顯示部的步驟可以包括如下步驟:提取第一內窺鏡圖像和第二內窺鏡圖像的重疊區域，而生成連續圖像的步驟；以及提取第一內窺鏡圖像和第二內窺鏡圖像的非重疊區域，而生成周邊圖像的步驟。根據本發明的另一實施方式，提供一種體感式手術用圖像處理方法，其包括如下步驟:從手術用內窺鏡接收第一內窺鏡圖像的步驟；接收結合于手術用內窺鏡的一側并以手術用內窺鏡為中心旋轉的輔助內窺鏡以彼此不同時間點提供的多個第二內窺鏡圖像的步驟；將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出的步驟；控制畫面顯示部，以與手術用內窺鏡和輔助內窺鏡的彼此不同視點對應地將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出的步驟。在此，輔助內窺鏡可以周期性地進行旋轉，本實施例還可以包括如下步驟:設定與輔助內窺鏡的一端旋轉相關的旋轉方向、旋轉角速度、加減速形式、旋轉速度、旋轉時間起始點、旋轉時間結束點、旋轉時間長度及旋轉半徑中一種以上的旋轉相關信息的步驟。此外，控制畫面顯示部的步驟可以包括如下步驟:提取第一內窺鏡圖像和第二內窺鏡圖像的重疊區域，而生成連續圖像的步驟；提取第一內窺鏡圖像和第二內窺鏡圖像的非重疊區域，而生成周邊圖像的步驟。此外，控制畫面顯示部的步驟可以包括如下步驟:從第一內窺鏡圖像生成連續圖像的步驟；提取第二內窺鏡圖像而生成連續圖像的周邊圖像的步驟。此外，本實施例還可以包括如下步驟:將輔助內窺鏡可拆裝地結合在手術用內窺鏡的步驟。在此，畫面顯示部可以包括拱頂形屏幕和在拱頂形屏幕上投射內窺鏡圖像的投影儀。 此外，根據本實施例的另一實施方式，提供一種記錄介質，為了執行所述體感式手術用圖像處理方法，具備可由數字處理裝置執行的指令程序，并記錄有可由數字處理裝置讀取的程序。除了上述之外的其它實施方式、特征、優點，可以通過下面的附圖、權利要求的范圍及發明的詳細說明會更明確。發明效果根據本發明的實施例，具有僅通過施術者想看到所需手術部位的行為就能夠控制腹腔鏡的位置及圖像輸入角度的效果。此外，不需要施術者進行用于操作腹腔鏡的單獨操作，從而還具有能夠使施術者完全集中于手術行為的效果。此外，不需要學習利用面部識別的設備操作方法，從而還具有能夠直觀了解操作方法的效果。此外，還具有不必使用胳膊而僅通過在三維空間上的面部運動來以多種方式控制內窺鏡裝置的效果。此外，本發明涉及的體感式手術用圖像處理裝置及其方法，對應于根據手術用內窺鏡的運動而變化的內窺鏡的視點，改變在用戶看的監控器上輸出的內窺鏡圖像的輸出位置，從而具有能夠使用戶更真實地感受到實際手術狀況的效果。此外，本發明涉及的體感式手術用圖像處理裝置及其方法，在當前時間提取之前輸入存儲的內窺鏡圖像并與當前的內窺鏡圖像一同輸出到畫面顯示部，從而具有能夠將有關內窺鏡圖像變化的信息通知給用戶的效果。此外，本發明涉及的體感式手術用圖像處理裝置及其方法，具有能夠將手術時利用內窺鏡實際拍攝的內窺鏡圖像和預先生成并存儲于圖像存儲部的手術工具的建模圖像各自或彼此匹配，或調節其尺寸等進行圖像修改后，向用戶可觀察的監控部輸出的效果。此外，本發明涉及的體感式手術用圖像處理裝置及其方法，對應于不斷變化的內窺鏡的視點旋轉及移動監控器，從而具有能夠使用戶更生動地感受到手術真實感的效果。


圖1是示出本發明的一實施例涉及的手術機器人的整個結構的俯視圖。
·
圖2是示出本發明的一實施例涉及的手術機器人的主界面的概念圖。圖3至圖6是例示出本發明的一實施例涉及的接面部的運動形態的示意圖。圖7是概略示出本發明的一實施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構成的框圖。圖8是示出本發明的一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖9是概略示出本發明的另一實施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構成的框圖。圖10是示出本發明的另一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖11是概略示出本發明的另一實施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構成的框圖。圖12是示出本發明的另一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖13是示出本發明的另一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖14是例示出本發明的實施例涉及的腹腔鏡顯示部的圖像顯示形式的示意圖。圖15是示出本發明的另一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。圖16是示出本發明的另一實施例涉及的手術機器人的主界面的概念圖。圖17是概略示出本發明的另一實施例涉及的腹腔鏡操作單元的構成的框圖。圖18是示出本發明的另一實施例涉及的腹腔鏡操作單元的動作概念的示意圖。圖19和圖20是分別例示出為了操作本發明的另一實施例涉及的腹腔鏡而面部運動的示意圖。圖21是示出本發明的另一實施例涉及的腹腔鏡操作單元的動作過程的流程圖。圖22是具體示出本發明的另一實施例涉及的圖21的步驟1610的流程圖。圖23是示出本發明的實施例涉及的手術機器人的整個結構的俯視圖。圖24是示出本發明的第一實施例涉及的手術機器人的主界面的概念圖。圖25是示出本發明的第一實施例涉及的手術機器人的框圖。圖26是示出本發明的第一實施例涉及的體感式手術用圖像處理裝置的框圖。圖27是示出本發明的第一實施例涉及的體感式手術用圖像處理裝置的流程圖。圖28是示出根據本發明的第一實施例涉及的體感式手術用圖像處理方法輸出圖像的構成圖。圖29是示出本發明的第二實施例涉及的手術機器人的框圖。圖30是示出本發明的第二實施例涉及的體感式手術用圖像處理裝置的框圖。圖31是示出本發明的第二實施例涉及的體感式手術用圖像處理方法的流程圖。圖32是示出根據本發明的第二實施例涉及的體感式手術用圖像處理方法輸出圖像的構成圖。圖33是示出本發明的第三實施例涉及的手術機器人的框圖。圖34是示出本發明的第三實施例涉及的體感式手術用圖像處理裝置的框圖。圖35是示出本發明的第三實施例涉及的體感式手術用圖像處理方法的流程圖。圖36是示出根據本發明的第三實施例涉及的體感式手術用圖像處理方法輸出圖像的構成圖。圖37是示出本發明的第四實施例涉及的手術機器人的主界面的概念圖。圖38是示出本發明的第四實施例涉及的手術機器人的框圖。圖39是示出本發明的第四實施例涉及的體感式手術用圖像處理裝置的框圖。圖40是示出本發明的第四實施例涉及的體感式手術用圖像處理方法的流程圖。圖41是示出本發明的第五實施例涉及的手術機器人的主界面的概念圖。圖42是示出本發明的第六實施例涉及的體感式手術用圖像處理裝置的框圖。圖43是示出本發明的第六實施例涉及的體感式手術用圖像處理方法的流程圖。圖44是示出本發明的第六實施例涉及的手術用內窺鏡的旋轉動作的示意圖。圖45是示出本發明的第六實施例涉及的手術用內窺鏡的旋轉動作的示意圖。圖46和圖47是示出本發明的第六實施例涉及的內窺鏡圖像的示意圖。圖48是示出本發明的第七實施例涉及的輔助內窺鏡的旋轉動作的示意圖。圖49是示出本發明的第八實施例涉及的手術機器人的主界面的概念圖。
具體實施例方式本發明可以進行多種變化，也可以具有多種實施例，在此例示具體實施例進行詳細說明。但是，本發明并不限于具體實施方式
，應當理解為，包括屬于本發明的思想及技術范圍內的所有變化、均等物至代替物。認為在對本發明的說明中有關已知技術的詳細說明可能混淆本發明的旨意的情況下，省略該詳細說明。可以使用諸如“第一”和“第二”的術語來描述各種構成要素，但是所述構成要素不受所述術語限制。所述術語僅用于將一個構成要素與另一構成要素區分開來。在本申請中使用的術語僅用于說明具體的實施例，并不意在限制本發明。單數表示包括復數表示，只要可以清晰地區別理解。在本申請中，諸如“包括”或“具有”等術語表示存在于說明書的描述中采 用的特征、序號、步驟、操作、構成要素、組件或其組合，而不排除存在或增加一個或多個不同的特征、序號、步驟、操作、構成要素、組件或其組合的可能性。另外，可能在說明書中記載的“…部”、“…器”、“模塊”等術語表示至少處理一種功能或動作的單位，其可以通過硬件或軟件或者硬件及軟件的結合實現。下面，參照附圖詳細說明本發明的實施例，在參照附圖進行說明時，相同或相應的構成要素賦予相同附圖標記，省略對其的重復說明。
此外，說明本發明的不同實施例時，不應該獨立解釋或實施各實施例，應當理解為，在各實施例中說明的特征要素和/或技術思想可以與個別說明的其它實施例組合解釋或實施。此外，根據下面的說明可明確本發明是能夠廣泛應用于內窺鏡、顯微鏡等利用視覺部的手術或試驗等的技術思想。而且，內窺鏡也可以是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡等多種。下面，為了便于說明和理解，視覺部為一種內窺鏡、即腹腔鏡的情況為例進行說明。圖1是示出本發明的一實施例涉及的手術機器人的整個結構的俯視圖，圖2是示出本發明的一實施例涉及的手術機器人的主界面的概念圖，圖3至圖6是例示出本發明的一實施例涉及的接面部的運動形態的示意圖。參照圖1和圖2，手術機器人系統包括:從機器人2，對躺在手術臺上的患者進行手術；主機器人1，用于施術者遠程操作從機器人2。主機器人I和從機器人2不必是物理上獨立的單獨裝置，可以集成為一體式，在這種情況下，主界面4可相當于例如一體式機器人的界面部分。主機器人I的主界面4包括監控部6、腹腔鏡顯示部20和主操縱器，從機器人2包括機器臂3和腹腔鏡5。主界面4的監控部6可以由一個以上的監控器構成，以便能夠在各監控器上單獨顯示手術時所需的信息。在圖1和圖2中例示出了以腹腔鏡顯示部20為基準在兩側各包括一個監控器6，監控器的數量可以根據需要顯示信息的類型或種類等設定為不同。監控部6例如可以輸出有關患 者的一種以上的生物信息。此時，可以通過監控部6的一個以上的監控器輸出顯示患者狀態的指標、例如體溫、脈搏、呼吸及血壓等生物信息中的一個以上，輸出多個信息的情況，也可以按區域劃分而輸出各信息。為了將這些生物信息提供給主機器人1，從機器人2可以包括生物信息測量單元，該生物信息測量單元包括體溫測量模塊、脈搏測量模塊、呼吸測量模量、血壓測量模塊、心電圖測量模塊等中的一個以上。通過各模塊測量的生物信息也可以以模擬信號或數字信號的形式自從機器人2傳送給主機器人1，而主機器人I可以通過監控部6顯示接收到的生物信息。主截面4的腹腔鏡顯示部(Telescopic) 20向施術者提供通過腹腔鏡5輸入的手術部位的圖像。施術者通過在腹腔鏡顯示部20的接面部210形成的接目部220觀看圖像，并通過操縱主操縱器來操作機器臂3和末端執行器(effector)，從而對手術部位進行手術。在圖2中作為接面部210的一例例示出了以面板(panel)形式構成的情況，然而，接面部210也可以形成為向主界面4的內側凹陷。此外，在圖2中例示出了在接面部210形成有施術者用于觀看由腹腔鏡5獲得的圖像的接目部220的情況，但是，接面部210由透視其后面的圖像的材料形成時，也可以省略形成接目部220。施術者能夠透視接面部210后面的圖像的接面部210，例如由透明材料形成，或者也可以涂有偏振模或由用于觀看3D IMAX電影的墨鏡等透光性材料形成。腹腔鏡顯示部20可以構成為，不僅具有作為用于施術者通過接目部220確認來自腹腔鏡5圖像的顯示裝置的功能，同時具有作為用于控制腹腔鏡5位置和圖像輸入角度的控制命令輸入部的功能。在腹腔鏡顯示部20的接面部210突出形成有多個支承部230、240，以便施術者的面部接觸或接近該支承部230、240，從而能夠識別施術者的面部運動。例如，在上部形成的支承部230與施術者的額頭接觸，以能夠用于固定額頭位置，而在側部形成的支承部240與施術者的眼睛下方部位(例如顴骨部位)接觸，以能夠用于固定面部位置。在圖2中例示出的支承部的位置及數量是例示的，支承部的位置或形狀可以有多種，例如下顎固定用托架、面部左右托架290等，支承部的數量也可以不同。面部左右托架的情況，例如可以以條狀或板狀等形狀形成，面部向左側或右側運動時，進行支承以使接面部210向對應方向運動。通過如此形成的支承部230、240，施術者的面部位置被固定，若施術者在通過接目部220觀看來自腹腔鏡5的圖像的過程中向任一方向轉動面部，則能夠檢測到該面部運動而將其作為用于調節腹腔鏡5的位置及/或圖像輸入角度的輸入信息利用。例如，當施術者想要確認當前以圖像顯示的手術部位的左側部位(即，位于顯示畫面左側的部位)時，只要面部朝向左側的相對轉動頭部，就能夠控制腹腔鏡5進行與其相應操作而輸出該部位的圖像。S卩，腹腔鏡顯示部20的接面部210與主界面4結合構成，以便隨著施術者的面部運動，其位置和/或角度變更。為此，主界面4和腹腔鏡顯示部20的接面部210可以通過游動部250彼此結合。游動部250例如可以由彈性體形成，以便于改變腹腔鏡顯示部20的位置及/或角度，而且解除施術者面部運動施加的外力的情況下能夠恢復到原狀態。此外，游動部250由非彈性體形成的情況，也可以通過腹腔鏡顯示部20控制原狀恢復部(參照圖9)來使腹腔鏡顯示部20恢復到原狀態。通過游動部250接面部210可以操作成，在由XYZ軸形成的三維空間中，以虛擬中心點和坐標為基準，向直線方向移動，或向任一方向(例如順時針方向、逆時針方向等中的一種以上)旋轉移動。在此，虛擬中心點可以是接面部210內的任一點或軸，例如可以是接面部210的中心點。在圖3至圖6中例示出接面部210的運動形態。施術者的面部運動 方向與X、Y或Z軸平行時，如圖3所示，接面部210向面部運動施加力的方向平行移動。施術者的面部運動方向為在X-Y平面上旋轉的情況，如圖5所例示，接面部210以基準軸為中心向面部運動施加力的方向旋轉移動。此時，根據施加力的方向，接面部210可以向順時針或逆時針方向旋轉移動。根據施術者面部運動的力向Χ、Υ和Z軸中的兩個軸施加時，如圖6所例示，接面部210以虛擬中心點和施加力的兩個軸為基準進行旋轉移動。如此，接面部210以垂直/水平方向移動及旋轉移動，根據面部移動施加的力的方向來決定，也可以如上所述的一種以上的運動形態組合來表示。在下面參照相關附圖詳細說明腹腔鏡顯示部20檢測施術者面部運動而生成相應的操作命令的方法及構成。如圖1和圖2所例示，主界面4具有主操縱器，以便施術者用雙手分別把持進行操作。主操縱器可以具有兩個手柄10，或其以上數量的手柄10，隨著施術者操作手柄10，相應操作信號傳送到從機器人2，從而控制機器臂3。可以通過施術者操作手柄10來進行機器臂3的位置移動、旋轉、切割作業等手術動作。例如，手柄10可以包括主手柄(main handle)和副手柄(sub handle)。施術者可以僅通過主手柄操作從機器臂3或腹腔鏡5等，或者也可以操作副手柄同時使多個手術設備進行實時操作。主手柄及副手柄根據其操作方式可以具有多種機械結構，例如，可以使用操縱桿形式、鍵盤、跟蹤球、觸摸屏等用于使從機器人2的機器臂3及/或其它手術設備動作的多種輸入單元。主操縱器并不限定于手柄10形狀，只要是通過網絡能夠控制機器臂3動作的形式，均可不受限制地適用。主機器人I和從機器人2可以通過有線通信網或無線通信網相連接，從而將操作信號、通過腹腔鏡5輸入的腹腔鏡圖像等傳送給對方。如果，需要在相同及/或相近時間傳送通過主界面4上所具有的多個手柄10的多個操作信號及/或用于調節腹腔鏡5的操作信號時，各操作信號可以彼此獨立地傳送到從機器人2。在此，各操作信號"!蟲立’傳送是表示，操作信號之間彼此不干擾，一個操作信號不會影響另一個操作信號。這樣的，為了彼此獨立地傳送多個操作信號，可以利用如下不同方式，在生成各操作信號的階段對各操作信號賦予標題信息進行傳送，或者使各操作信息根據其生成順序進行傳送，或者關于各操作信息的傳送順序預定優先順序并根據其順序進行傳送等。此時，可以獨立地具有傳送各操作信息的傳送路徑，從而從本質上防止各操作信號之間干擾。從機器人2的機器臂3可以具有多自由度地驅動。機器臂3例如可以包括:手術工具，插入在患者的手術部位；偏轉驅動部，根據手術位置以使手術工具向偏轉(yaw)方向旋轉；俯仰驅動部，向與偏轉驅動部的旋轉驅動正交的俯仰(Pitch)方向旋轉手術工具；移送驅動部，向長度方向移動手術工具；旋轉驅動部，用于旋轉手術工具；手術工具驅動部，設在手術工具的末端，用于切開或切割手術病灶。但是，機器臂3的結構并不限定于此，應該理解為，本發 明的保護范圍并不限定于這些例示。此外，施術者通過操作手柄10使機器臂3向對應方向旋轉、移動等實際控制過程，與本發明的要旨有一定距離，故省略對其的詳細說明。為了對患者進行手術，可以利用一個以上的從機器人2，而用于將手術部位以便能夠通過接面部220確認的圖像(即畫面圖像)顯示的腹腔鏡5也可以由獨立的從機器人2來實現。此外，如上所述，本發明的實施例可以廣泛應用于利用除腹腔鏡之外的各種手術用內窺鏡(例如胸腔鏡、關節鏡、鼻鏡等)的手術中。圖7是概略示出本發明的一實施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構成的框圖，圖8是示出本發明的一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。參照圖7，腹腔鏡顯示部20包括運動檢測部310、操作命令生成部320和傳送部330。除此之外，腹腔鏡顯示部20還可以包括施術者通過接目部220能夠視覺識別由腹腔鏡5輸入的手術部位圖像的構成要素，但這些與本發明的要旨有一定距離，故省略對其的說明。運動檢測部310，通過檢測施術者將面部接觸于接面部210的支承部230 (及/或240)的狀態下向某方向移動面部，來輸出傳感信息。運動檢測部310可以包括用于檢測面部運動方向及大小(例如距離)的傳感單元。傳感單元只要是能夠檢測接面部210向某方向運動多少的傳感單元即可，例如，可以是用于檢測支承接面部210的具有彈性的游動部250向某方向拉伸多少的傳感器，或者設在主機器人I的內側，以用于檢測在接面部210內側表面形成的特定點接近或/及旋轉多少的傳感器等。操作命令生成部320利用從運動檢測部310接收的傳感信息來解析施術者的面部運動方向及大小，并根據解析結果生成用于控制腹腔鏡5位置及圖像輸入角度的操作命令。傳送部330將通過操作命令生成部320生成的操作命令傳送給從機器人2，以便操作腹腔鏡5的位置及圖像輸入角度，以提供相應的圖像。為了傳送用于操作機器臂3的操作命令，傳送部330也可以是主機器人I所具有的傳送部。圖8中示出了本 發明的一實施例涉及的腹腔鏡操作命令傳送方法。參照圖8，在步驟410中，腹腔鏡顯示部20檢測到施術者的面部運動，則轉到步驟420，利用通過檢測面部運動所生成的傳感信息來生成用于操作腹腔鏡5的操作命令。接著，在步驟430中，將在步驟420中生成的用于操作腹腔鏡5的操作命令傳送給從機器人2。在此，通過操作腹腔鏡5所生成的操作命令，也可以對主機器人I執行特定動作的作用。例如，通過檢測面部旋轉來旋轉腹腔鏡5時，有關旋轉的操作命令傳送給從機器人2的同時，使主機器人I的操作手柄方向也與其相應地變更，從而能夠保持施術者的直觀性和手術便利性。例如，若檢測到接面部210的旋轉信號，則腹腔鏡5根據生成的操作信號進行旋轉，此時，屏幕上顯示的圖像及其圖像上看到的手術用工具的位置可能與當前操作手柄的手的位置不一致，所以可以執行移動操作手柄位置的動作，以使與屏幕上顯示的手術用工具的位置一致。如此控制操作手柄方向，不僅可以是接面部210旋轉運動時適用，只要是屏幕上顯示的手術用工具的位置/方向與實際操作手柄的位置/方向不一致的情況，直線運動時也同樣可以適用。圖9是概略示出本發明的另一實施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構成的框圖，圖10是示出本發明的另一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。參照圖9，腹腔鏡顯示部20可以包括運動檢測部310、操作命令生成部320、傳送部330、接觸檢測部510、原狀恢復部520。示出的運動檢測部310、操作命令生成部320和傳送部330在前面參照圖7進行了說明，故省略對其的說明。但是，運動檢測部310作為接觸檢測部510的傳感信息識別到施術者面部接觸于支承部230 (或/及240)的期間能夠執行動作。接觸檢測部510通過檢測施術者的面部是否接觸于支承部230 (或/及240)來輸出傳感信息。為此，例如，在支承部的端部可以具有接觸檢測傳感器，除此之外，也可以適用能夠檢測面部是否接觸的各種檢測方式。原狀恢復部520作為接觸檢測部的傳感信息識別到施術者的面部與支承部230(或/及240)的接觸結束了時，通過控制電機驅動部530來使接面部210恢復到原狀態。原狀恢復部520可以包括在下面說明的電機驅動部530。在圖9中例示出，作為使接面部210恢復到原狀態的動作單元利用電機的電機驅動部530，但用于實現相同目的的動作單元并不限定于此。例如，也可以通過氣壓或液壓等各種方法使接面部210恢復到原狀態的進行處理。原狀恢復部520，例如可以利用有關接面部210基準狀態(即位置及/或角度)的信息來控制電機驅動部530，或者利用根據操作命令生成部320解析的面部運動方向及大小來控制電機驅動部530向其反方向及大小操作，從而使接面部210恢復到原位置。例如，施術者為了確認與當前以圖像顯示的手術部位不同的部位或對該部位采取措施而向該方向轉動面部(接面部210也相應移動或旋轉)以使腹腔鏡5被相應操作的狀態下，若檢測到面部對接面部210的接觸結束時，原狀恢復部520可以控制電機驅動部530，使接面部210恢復到指定為默認(default)的基準狀態。電機驅動部530可以包括通過控制原狀恢復部520而旋轉的電機，電機驅動部530和接面部210彼此結合，以便通過電機的旋轉能夠調節接面部210的狀態(即位置及/或角度)。電機驅動部530可以收納在主界面4的內側。電機驅動部530所包括的電機，例如可以是用于能夠進行多自由度(degree of freedom)運動的球形電機,為了消除傾斜角度的極限，球形電機的支承結構由球形軸承和圓形轉子構成，或者也可以構成為具有用于支承圓形轉子的三個自由度的框架結構。即使接面部210通過上述各構成要素的動作恢復到原狀態，操作命令生成部320不會生成及傳送對于其的操作命令，所以通過腹腔鏡5輸入并輸出的圖像不會改變。因此，能夠保持之后施術者通過接目部220確認腹腔鏡5圖像同時進行手術的一致性。至此，參照圖9說明了通過操作電機驅動部530來實現腹腔鏡顯示部20的接目部210恢復原狀態的情況，但解除施術者面部運動施加的外力時，也可以通過具有彈力的彈性體材料的游動部250來恢復到原狀態。接面部210通過彈力恢復到原狀態時，用于操作腹腔鏡5的操作信號也不會生成。在圖10中示出了本發明的另一實施例涉及的腹腔鏡操作命令傳送方法。參照圖10，在步驟410中，腹腔鏡顯示部20檢測到施術者的面部運動，則轉到步驟420，利用通過檢測面部運動所生成的傳感信息來生成用于操作腹腔鏡5的操作命令。之后，在步驟430中，將在步驟420中生成的用于操作腹腔鏡5的操作命令傳送給從機器人2。接著，在步驟610中，腹腔鏡顯示部20判斷施術者對接面部210的接觸是否解除。若保持接觸狀態時，再次轉到步驟410，若接觸狀態解除時，轉到步驟620，以控制接面部210恢復到原位置。圖11是概略示出本發明的另一實施例涉及的用于生成腹腔鏡操作命令的腹腔鏡顯示部的構成的框圖。參照圖11，腹腔鏡顯示部20可以包括接觸檢測部510、攝像部710、存儲部720、眼球跟蹤部730、操作命令生成部320、傳送部330和控制部740。接觸檢測部510通過檢測施術者的面部是否接觸于在接面部210突出形成的支承部230 (或/及240)來輸出傳感信息。攝像部710根據接觸檢測部510的傳感信息檢測到施術者的面部與接面部210接觸了時實時拍攝施術者眼睛的圖像。攝像部710可以配置成，在主界面4的內側能夠拍攝通過接目部220看到的施術者眼睛。通過攝像部710拍攝到的有關施術者眼睛的圖像存儲在存儲部720，以便眼球跟蹤部730進行眼球跟蹤(eye tracking)處理。
通過攝像部710拍攝的圖像只要是眼球跟蹤部730能夠進行眼球跟蹤(eyetracking)處理的即可，也可以執行用于處理眼球跟蹤部730的所需預處理之后存儲在存儲部720。用于眼球跟蹤處理的圖像生成方法及生成的圖像類型，對于本領域的技術人員來說是顯而易見的，故省略對其的說明。眼球跟蹤部730將以實時或規定周期存儲在存儲部720的圖像按時間順序進行比較分析，并解析施術者瞳孔位置變化及其注視方向來輸出解析信息。此外，眼球跟蹤部730也可以解析瞳孔模樣(例如，眨眼等)來輸出對其的解析信息。操作命令生成部320參照眼球跟蹤部730的解析信息來生成操作命令，該操作命令用于控制腹腔鏡5的位置及/或圖像輸入角度，以便施術者的注視方向變化時與其相對應。此外，若瞳孔模樣變化是用于輸入預定命令的，則操作命令生成部320也可以生成對于此的操作命令。例如，根據瞳孔模樣變化的指定命令，可以預定為例如連續眨兩次右眼時腹腔鏡5接近手術部位，連續眨兩次左眼時向順時針方向旋轉等。傳送部330將由操作命令生成部320生成的操作命令傳送給從機器人2，以便操作腹腔鏡5的位置和圖像輸入角度，以提供相應圖像。為了傳送用于操作機器臂3的操作命令，傳送部330也可以是已經設在主機器人I的傳送部。控制部740控制所述各構成要素執行指定動作。至此，參照圖11說 明了利用眼球跟蹤技術識別及處理瞳孔運動的腹腔鏡顯示部20。但是，并不限定于此，腹腔鏡顯示部20也可以以檢測施術者面部自身的運動來進行識別及處理的方式實現。作為一例，也可以由攝像部710拍攝面部圖像，若由分析處理部代替眼球跟蹤部730解析拍攝圖像中的特定點(例如，兩眼位置、鼻子位置、人中位置等中一個以上)的位置及變化，則操作命令生成部320生成與其相應的操作命令。圖12是示出本發明的另一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。參照圖12，在步驟810中，若腹腔鏡顯示部20通過接觸檢測部510檢測到施術者面部接觸，則激活攝像部710生成有關通過接目部220看到的施術者眼睛的數字圖像數據，并存儲在存儲部720。在步驟820中，腹腔鏡顯示部20通過比較判斷以實時或規定周期存儲在存儲部720的數字圖像數據來生成有關施術者瞳孔位置及注視方向變化的解析信息。比較判斷時，腹腔鏡顯示部20允許有一定誤差，所以在規定范圍內的位置信息變化，也可以識別為瞳孔位置未發生變化。在步驟830中，腹腔鏡顯示部20判斷施術者變更的注視方向是否維持了預定臨界時間以上。若變更的注視方向維持了臨界時間以上，則在步驟840中，腹腔鏡顯示部20生成用于操作腹腔鏡5能夠接收該位置圖像的操作命令，而傳送給從機器人2。在此，臨界時間可以設定為，根據施術者的瞳孔顫動或用于綜合確認手術部位整體等的瞳孔運動，腹腔鏡5不會被操作的時間，該時間值也可以根據試驗、統計設定，或根據施術者等設定。但是，變更的注視方向沒有維持臨界時間以上，則再次轉到步驟810。圖13是示出本發明的另一實施例涉及的腹腔鏡操作命令傳送方法的流程圖，圖14是例示出本發明的實施例涉及的腹腔鏡顯示部的圖像顯示形式的示意圖。參照圖13，在步驟810中，若腹腔鏡顯示部20通過接觸檢測部510檢測到施術者面部接觸，則激活攝像部710生成有關通過接目部220看到的施術者眼睛的數字圖像數據，并存儲在存儲部720。在步驟820中，腹腔鏡顯示部20通過比較判斷以實時或規定周期存儲在存儲部720的數字圖像數據來生成有關施術者瞳孔位置及注視方向變化的解析信息。在步驟910中，腹腔鏡顯示部20判斷施術者的注視方向是否為預定的設定。在圖14中例示出腹腔鏡顯示部20的圖像顯示形式。如圖14所例示，施術者可以通過接目部220確認通過腹腔鏡5提供的影像圖像1010，該影像圖像可以包括手術部位和器械1020。此外，腹腔鏡顯示部20的圖像，可以重疊顯示施術者的注視位置1030，也可以一同顯示設定位置。作為設定位置可以包括外輪廓邊1040、第一旋轉指示位置1050和第二旋轉指示位置1060等中的一個以上。例如，施術者注視位于外輪廓邊1040中任一方向的邊臨界時間以上時，能夠控制腹腔鏡5向該方向移動。即，若注視外輪廓邊1040中的左側邊臨界時間以上時，為了拍攝比當前顯示位置位于左側的部位，能夠控制腹腔鏡5向左側移動。此夕卜，若施術者注視第一旋轉指示位置1050臨界時間以上時，也可以控制腹腔鏡向逆時針方向旋轉，若施術者注視第二旋轉指示位置1060臨界時間以上時，控制腹腔鏡向順時針方向旋轉。再次參照圖13，施術者注視位置不是上述設定的位置時，再次轉到步驟810。但是，再次參照圖13，施術者注視位置為上述設定的位置時，轉到步驟920，判斷施術者注視是否維持了預定的臨界時間以上。如果施術者對設定位置的注視維持了臨界時間以上時，在步驟930中，腹腔鏡顯示部20使腹腔鏡5根據指定命令對該設定位置進行操作的生成操作命令，而傳送給從機器人2。但是，如果施術者 對該設定位置的注視沒有維持臨界時間以上時，再次轉到步驟810。圖15是示出本發明的另一實施例涉及的腹腔鏡操作命令傳送方法的流程圖。參照圖15，在步驟810中，若腹腔鏡顯示部20通過接觸檢測部510檢測到施術者面部接觸，則激活攝像部710生成有關通過接目部220看到的施術者眼睛的數字圖像數據，并存儲在存儲部720。在步驟1110中，腹腔鏡顯示部20通過比較判斷以實時或規定周期存儲在存儲部720的圖像信息來生成有關運行者眼睛模樣變化的解析信息。例如，解析信息可以是有關在規定時間內施術者眼睛眨了幾次，若眨眼時哪只眼睛眨眼等的信息。在步驟1120中，腹腔鏡顯示部20判斷有關眼睛模樣變化的解析信息是否滿足預定的指定條件。例如，根據眼睛模樣變化的指定條件可以預先設定，例如，在規定時間內右眼是否連續眨眼二次，在規定時間內左眼是否連續眨眼二次等。如果有關眼睛模樣變化的解析信息滿足預定條件時，轉到步驟1130，用滿足該條件時的指定命令生成用于操作腹腔鏡5的操作命令，并傳送給從機器人2。例如，根據眼睛模樣變化的指定命令可以預先指定為，例如，右眼連續眨眼二次時，腹腔鏡5接近手術部位，左眼連續眨眼二次時，向順時針方向旋轉等。但是，如果有關眼睛模樣變化的解析信息不滿足預定條件時，轉到步驟910。圖16是示出本發明的另一實施例涉及的手術機器人的主界面的概念圖。參照圖16，主機器人I的主界面4包括監控部6、主操縱器和拍攝單元1210。雖然未圖示，如上所述的從機器人2可以包括機器臂3和腹腔鏡5。
如圖所示，主界面4的監控部6可以由一個以上的監控器構成，可以在各監控器上單獨顯示手術時所需的信息(例如由腹腔鏡5拍攝的圖像、患者的生物信息等)。當然，監控器的數量可以根據需要顯示的信息類型或種類等設定為不同。通過監控部6顯示的患者的生物信息(例如脈搏、呼吸、血壓、體溫等)也可以按區域劃分輸出，這些生物信息可以通過從機器人2所具有的生物信息測量單元測量后提供給主機器人I。拍攝單元1210是以非接觸式拍攝施術者模樣(例如面部區域)的單元。拍攝單元1210例如可以由包括圖像傳感器的攝像機裝置來實現。由拍攝單元1210拍攝的圖像提供給腹腔鏡操作單元1200 (參照圖17)，腹腔鏡操作單元1200利用解析該圖像獲得的有關對象物變化量的信息來控制腹腔鏡5執行旋轉、移動操作或執行圖像的放大/縮小操作。此外，主界面4可以具有主操縱器，以便施術者用雙手分別把持進行操作。主操縱器可以具有兩個以上手柄10，隨著施術者操作手柄10，相應的操作信號傳送到從機器人2，從而控制機器臂3。施術者可以通過操作手柄10來進行機器臂3的位置移動、旋轉、切割作業等手術動作。例如，手柄10可以包括主手柄和副手柄，施術者可以僅通過主手柄操作具有多自由度地驅動的從機器人2的機器臂3或腹腔鏡5等，或者也可以操作副手柄同時使多個手術設備進行實時操作。當然，主操縱器并不限定于手柄形狀，只要是通過網絡能夠控制機器臂3動作的形式，均可不受限制地適用。從機器人2可以利用一個以上，以便對患者進行手術，用于通過顯示部6以能夠確認的圖像(即畫面圖像)顯示手術部位的腹腔鏡5也可以由獨立的從機器人2實現。如上所述，本發明的實施例可以廣泛應用于利用除腹腔鏡之外的各種手術用內窺鏡(例如胸腔鏡、關節鏡、鼻鏡等)的手術中。圖17是概略示出本發明的另一實施例涉及的腹腔鏡操作單元的構成的框圖，圖18是示出本發明的另一實施例涉及的腹腔鏡操作單元的動作概念的示意圖，圖19和圖20是分別例示出為了操作本發明的另一實施例涉及的腹腔鏡而面部運動的示意圖。參照圖13，腹腔鏡操作單元1200包括存儲部1220、角度及距離算出部1230、操作命令生成部1240和傳送部1250。在圖示的構成要素中的一個以上，可以通過軟件程序實現，或者可以由硬件和軟件程序的組合構成。另外，可以省略圖示的一個以上的構成要素。存儲部1220用于存儲通過拍攝單元1210拍攝的影像圖像、通過角度及距離算出部1230算出的位移量信息。位移量信息可以包括利用算出周期中連續的兩張影像圖像算出的兩眼的延長線與畫面中心線(即經過影像圖像的橫向和豎向中心點的水平線)之間的內角和有關旋轉方向的信息、面部內的基準點之間的移動距離信息、兩眼的中心點之間的間距變化量信息等。當然，為了算出位移量信息等，并不僅限利用連續的兩張影像圖像，也可以利用當前影像圖像和之前任何時候拍攝的影像圖像。例如，存在第n-3次拍攝的影像圖像、第n-2次拍攝的影像圖像、第n-1次拍攝的影像圖像、當前時間的第η次拍攝的影像圖像時，解析時利用的影像圖像的拍攝周期為3的情況， 可以利用第n-3次拍攝的影像圖像和第η次拍攝的影像圖像來算出位移量信息等。雖然省略另行說明，但這些原則不僅可以適用于位移量信息，也可以同樣適用于算出角度和距離等。但是，本說明書中為了便于說明和理解，解析用于生成特定信息的影像圖像時，利用當前拍攝的影像圖像和之前拍攝的影像圖像的情況為例進行說明。角度及距離算出部1230在由拍攝單元1210拍攝且存儲于存儲部1220的影像圖像中利用算出周期中連續的兩張影像圖像(即當前拍攝的影像圖像和之前拍攝的影像圖像)來生成影像圖像之間的位移量信息，并存儲在存儲部1220。在此，角度及距離算出部1230可以生成利用連續的兩張影像圖像算出的有關兩眼的延長線與畫面中心線之間的內角和旋轉方向的信息、面部內的基準點之間的移動距離信息、兩眼的中心點之間的間距變化量信息等。下面，說明角度及距離算出部1230生成位移量信息的方法。但是，通過解析影像圖像來識別面部區域、眼睛位置及基準點(例如鼻子中心點)位置的影像解析技術，對于本領域的技術人員來說是顯而易見的，故省略對其的詳細說明。首先，為了生成有關面部轉動的信息，如圖19所示，角度及距離算出部1230在由拍攝單元1210拍攝且存儲于存儲部1220的影像圖像中算出雙目(兩眼)的延長線與畫面中心線之間的內角大小，并與解析之前影像圖像的內角大小進行比較，從而生成有關旋轉方向和旋轉角度的信息。S卩，如圖19的(b)和(C)所例示，例如通過邊緣檢測技術等圖像處理技術識別在由拍攝單元1210拍攝并生成的影像圖像中雙目的位置和形狀，因此，取得各眼的中心點之后，算出連接各眼中心點的虛擬直線與畫面中心線所形成的內角大小和面部旋轉方向。即，若之前生成的影像圖像是(a)的原始影像圖像，而當前生成的影像圖像是與(b)相同的影像圖像，則可以通過相互比較在各影像圖像連接畫面中心線和兩眼中心點的直線所形成的交點在面部的哪個位置形成及相應的內角大小，來識別面部向哪個方向旋轉了多少角度。其次，為了生成有 關面部平行移動的信息，角度及距離算出部1230在由拍攝單元1210拍攝且存儲于存儲部1220的影像圖像中，檢測面部內預定的基準點(例如鼻子中心點)從影像圖像的橫向和豎向中心點移動了多少。S卩，如圖19的(d)所例示，在用虛線表示的原始影像圖像中，基準點與影像圖像的中心點一致，但在當前的影像圖像中，可以識別到基準點從影像圖像的中心點向右側平行移動了任意距離。當然，平行移動方向可以是上下左右等多種。其次，為了生成有關畫面放大和縮小的信息，角度及距離算出部1230在由拍攝單元1210拍攝且存儲于存儲部1220的影像圖像中算出雙目間距(圖20的dl、d2或d3)，并運算出算出的距離比之前拍攝存儲的影像圖像中的雙目距離增加(即施術者的面部向接近拍攝單元1210的方向移動)還是減少(即施術者的面部向遠離拍攝單元1210的方向移動)。雙目距離可以指定及適用多種，例如、各眼的中心點之間的距離，或各眼的外輪廓線之間的最短距尚等。操作命令生成部1240利用通過角度及距離算出部1230算出的位移量信息，來生成用于控制腹腔鏡5位置(例如移動、旋轉等)及圖像倍率(例如放大、縮小等)的操作命令。若識別到施術者的面部向任一方向旋轉了時，操作命令生成部1240生成用于使腹腔鏡5旋轉的操作命令；若識別到施術者的面部向任一方向平行移動了時，操作命令生成部1240生成用于使腹腔鏡5向相應方向及相應距離移動的操作命令；若識別到施術者的面部接近或遠離拍攝單元1240方向時，操作命令生成部1240生成使由腹腔鏡5拍攝生成的影像圖像的倍率放大或縮小的操作命令。傳送部1250將由操作命令生成部1240生成的操作命令傳送給從機器人2，以便操作腹腔鏡5位置等，以提供相應圖像。為了傳送用于操作機器臂3的操作命令，傳送部1250也可以是已經設在主機器人I的傳送部。此外，雖然在圖17中未圖示，也還可以包括判斷部，該判斷部用于判斷當前通過拍攝單元1210拍攝的影像圖像中的用戶是否為被認證用戶。S卩，判斷部判斷當前拍攝的影像圖像中的面部模樣是否與作為被認證用戶預先存儲在存儲部1220的影像圖像中的面部模樣在誤差范圍內一致，只有在一致的情況下，能夠進行根據上述方式的腹腔鏡操作。當然，判斷部判斷是否為被認證用戶時，不僅可以利用面部模樣這一特征要素，也可以利用眼睛/眉毛/鼻子/嘴的位置和形狀、瞳孔顏色、皮膚顏色、皺紋、紅暈等特征要素中的一個以上。如此，增設有判斷部，所以，即使通過拍攝單元1210拍攝的影像圖像中拍攝到多人，腹腔鏡僅對施術者面部模樣的變化聯動操作。此外，判斷部可以通過判斷影像圖像中的面部模樣是否位于預定的區域或面部大小是否大于等于影像圖像中預定的尺寸，來進一步判斷是否使上述腹腔鏡操作單元1200作用。當然，判斷部也可以由判斷面部大小是否符合預定的尺寸標準來代替判斷面部大小是否大于等于預定的尺寸。這是施術者面部貼的太近時也有可能導致誤動作的原因。
`
例如，如圖18所例示，判斷部可以通過判斷面部是否位于在顯示出由拍攝單元1210拍攝的影像圖像的顯示區域1310內的預定區域1320，來決定腹腔鏡操作單元1200是否作用。當然，并不限制面部包含于整個預定區域1320，也可以預先設定為，只要面部的一部分包含于預定區域1320即可。如果，面部位于預定區域1320內時，可以使腹腔鏡操作單元1200進行動作，否則，使腹腔鏡操作單元1200不進行動作。此外，如圖18所例示，判斷部可以通過判斷包含于影像圖像內的面部大小是否大于預定區域1320的大小，來決定腹腔鏡操作單元1200是否作用。面部大小是否大于預定區域1320的大小，例如，可以通過判斷檢測面部外輪廓線而計算的面積和預定區域1320的大小有什么關系來進行。此時，還可以判斷面部大小是否小于指定閾值。如果，如(a)所示，面部大小小于預定區域的尺寸時，可能是位于遠離主界面4的第三人，或者即便是施術者，也位于遠離主界面4而不進行手術動作，所以可以使腹腔鏡操作單元1200不起作用。如此，判斷部只有在預定區域1320內顯示規定尺寸以上的面部時，使腹腔鏡操作單元1200作用，因此，能夠防止腹腔鏡5根據非施術者的第三人的面部運動或與手術動作無關地運動而誤操作。此外，判斷部也可以只有在由拍攝單元1210拍攝的影像圖像中面部運動保持一定時間時，使上述腹腔鏡操作單元1200作用的進行處理。例如，可以預先設定為，只有在識別到施術者注視前方的正常狀態下將頭向右側傾斜規定角度之后保持規定時間(例如兩秒)時，腹腔鏡操作單元1200生成并傳送操作命令，以使腹腔鏡向右側旋轉或/及移動相應角度。當然，判斷部不僅是面部運動保持規定時間時，也可以是面部運動超出預定范圍時，使腹腔鏡操作單元1200作用的進行處理。由此，能夠防止施術者有意識或無意思地進行回頭或移動等行動時，插入于患者腹部的腹腔鏡5隨著施術者的運動突然被操作的危險。這方面可以與前面描述的方法類似的處理，即，面部脫離接觸式結構時，切斷施術者運動傳遞給從機器人2，從而確保患者安全。此外，判斷部也還可以執行請求功能，在由拍攝單元1210拍攝的影像圖像中識別到面部內的特征部位變化(例如眨眼)時，請求由操作命令生成部1240生成相應的操作命令并傳送給從機器人2。存儲部1220可以預先存儲特征部位變化時應生成何種操作命令的信息。例如，在手術過程中，由拍攝單元1210拍攝的影像圖像被霧氣變模糊而無法看清對象物時等，若施術者只眨左眼，則操作命令生成部1240可以生成用于向腹腔內排出二氧化碳而打開閥門的操作命令，并傳送給從機器人2。作為另一例，在手術過程中，施術者只眨右眼，則可以生成并輸出使當前手術中部位的之前圖像作為增強現實顯示或消失在主界面4的監控器6上的操作命令。當然，判斷部除了識別影像圖像中的面部內的特征部位變化來指示生成操作命令的方法之外，也可以利用圖像解析技術識別上下點頭或左右搖頭動作來指示生成相應操作命令。例如，若識別到施術者點頭動作時，識別為肯定反應，若識別到施術者搖頭動作時，識別為否定反應。利用這些，當在特定情況下手術機器人要求施術者對某些動作的執行進行是/否的選擇時，施術者不必按下設在控制臺或操作手柄上的按鈕，僅通過點頭或搖頭行為，也可以應答手術機器人。此外，本實施例涉及的非接觸式腹腔鏡控制方法，使用三維腹腔鏡時，也可以根據面部和眼睛的位置調節三維圖像處理所需的左/右圖像重疊程度。圖21是示出本發明的另一實施例涉及的腹腔鏡操作單元的動作過程的流程圖。參照圖21，在步驟1610中，腹腔鏡操作單元1200通過解析拍攝有施術者面部的影像圖像來檢測面部區域、眼睛位置及基準點(例如鼻子中心點)位置。接著，在步驟1620中，腹腔鏡操作單元1200對該影像圖像算出兩眼延長線與畫面中心線之間的內角和旋轉方向，并利用與對之前拍攝的影像圖像算出的內角和旋轉方向的差，來算出當前施術者的面部旋轉方向和旋轉角度。此外，在步驟1630中，腹腔鏡操作單元1200對該影像圖像算出面部內的基準點與之前拍攝的影像圖像中的面部基準點之間的距離變化量。此外，在步驟1640中，腹腔鏡操作單元1200對該影像圖像算出兩眼中心點之間的距離，并參照對之前拍攝的影像圖像算出的兩眼中心點之間的距離，來算出兩眼之間的距
離變化量。上述步驟1620至步驟1640，可以按順序或不按順序執行，或者也可以同時執行。在步驟1650中，腹腔鏡操作單元1200生成與在步驟1620至步驟1640中算出的位移量信息相應的操作命令并提供給從機器人2，以便操作腹腔鏡5。圖22是具體示出本發明的另一實施例涉及的圖21的步驟1610的流程圖。上述圖21的步驟1610是關于腹腔鏡操作單元1200通過解析拍攝有施術者面部的影像圖像來檢測面部區域、眼睛位置及基準點(例如鼻子中心點)位置的步驟。參照具體例示出步驟1610的圖22，腹腔鏡操作單元1200在步驟1710中接收拍攝有施術者面部的影像圖像，之后轉到步驟1720通過解析該影像圖像來檢測面部區域、眼睛位置及基準點(例如鼻子中心點)位置。接著，在步驟1730中，腹腔鏡操作單元1200判斷施術者的該運動狀態是否維持了規定時間。如果該運動狀態維持了規定時間，則識別為需要操作腹腔鏡5，從而轉到步驟1620至步驟1640。但是，如果該運動狀態沒有維持規定時間，則識別為與腹腔鏡5操作無關的運動，從而再次轉到步驟1710。如此，為了保證是否操作腹腔鏡5的準確性，步驟1610可以具體化為多個步驟。除此之外，步驟1610可以具體化為多種方式。作為一例，判斷接收的影像圖像中的面部模樣作為被認證用戶與預先存儲在存儲部1220的面部模樣在誤差范圍內是否一致，只有在誤差范圍內一致時，可以轉到步驟1620至步驟1640的進行具體化。作為另一例，判斷接收的影像圖像中的面部模樣是否位于預定區域或者面部大小是否大于等于預定尺寸 或者小于等于預定尺寸，只有在面部大小大于等于指定尺寸且位于符合指定區域時，才轉到步驟1620至步驟1640的進行具體化。此外，步驟1610可以用不同方式進行具體化，也可以綜合包括一個以上的實施例而進行具體化。所述的腹腔鏡操作方法也可以通過軟件程序等實現。構成程序的代碼及代碼段，可由該領域的計算機編成人員容易推理出。而且，程序存儲在計算機可讀介質(computerreadable media)上,被計算機讀取執行,從而實現所述方法。計算機可讀介質包括磁記錄媒體、光記錄媒體及載波媒體。圖23是示出本發明的實施例涉及的手術機器人的整個結構的俯視圖，圖24是示出本發明的第一實施例涉及的手術機器人的主界面的概念圖。本實施例特征在于，對應于根據手術用內窺鏡的運動而變化的內窺鏡視點，來改變向用戶看到的監控器輸出的內窺鏡圖像的輸出位置，從而能夠使用戶更真實地感受到實際手術狀況。即，內窺鏡視點可以與進行手術的用戶視點一致，所以本實施例具有如下特征，使腹腔內的內窺鏡視點與在外部手術現場輸出內窺鏡圖像的監控器的位置及輸出方向一致，從而位于外部手術現場的系統動作反映出實際在患者內部運動的內窺鏡動作，更加有真實感。本實施例涉及的手術用內窺鏡不僅可以是腹腔鏡，也可以是胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡等手術時作為拍攝工具使用的不同種類的工具。此外，本實施例涉及的手術用內窺鏡可以是立體內窺鏡。即，本實施例涉及的手術用內窺鏡可以是生成立體圖像信息的立體內窺鏡，這種生成立體圖像信息的方式可以由不同技術來實現。例如，本實施例涉及的手術用內窺鏡為了獲得具有立體信息的多個圖像可以具有多個攝像機，或者可以采用利用一個攝像機獲得多個圖像等不同方式獲得立體圖像。除了這些方式之外，本實施例涉及的手術用內窺鏡可以通過其它不同方式生成立體圖像。
此外，本實施例涉及的體感式手術用圖像處理裝置，并不僅限于如圖所示的手術機器人系統來實現，只要是手術時輸出內窺鏡圖像9并利用手術工具進行手術的系統均可適用。下面，以在手術機器人系統上適用本實施例涉及的手術用圖像處理裝置的情況為中心進行說明。參照圖23和24，手術機器人系統包括:從機器人2，對躺在手術臺上的患者進行手術；主機器人1，用于施術者遠程操作從機器人2。主機器人I和從機器人2不必是物理上獨立的單獨裝置，可以集成為一體式，在這種情況，主界面4可相當于例如一體式機器人的界面部分。主機器人I的主界面4包括監控部6和主操縱器，從機器人2包括機器臂3和器械5a。器械5a是如腹腔鏡等內窺鏡，對患者直接進行操作的手術器械等手術工具。主界面4具有主操縱器，以便施術者用雙手分別把持進行操作。如圖23和24所例示，主操縱器可以具有兩個手柄10，隨著施術者操作手柄10，相應的操作信號傳送到從機器人2，從而控制機器臂3。可以通過施術者操作手柄10來進行機器臂3及/或器械5a的位置移動、旋轉、切割作業等。例如，手柄10可以包括主手柄(main handle)和副手柄(sub handle)。也可以僅通過一個手柄操作從機器臂3或器械5a等，或者也可以增加副手柄同時使多個手術設備進行實時操作。主手柄及副手柄根據其操作方式可以具有多種機械結構，例如，可以使用操縱桿形式、鍵盤、跟蹤球、觸摸屏等用于使從機器人2的機器臂3及/或其它手術設備動作的多種輸入單元。主操縱器并不限定于手柄10形狀，只要是通過網絡能夠控制機器臂3動作的形式，均可不受限制地適用。在主界面4的 監控部6以畫面圖像顯示由器械5a輸入的內窺鏡圖像9、攝像機圖像及建模圖像。此外，顯示在監控部6的信息，根據被選擇的圖像種類可以是多種多樣的。監控部6可以由一個以上的監控器構成，以便能夠在各監控器上單獨顯示手術時所需的信息。在圖23和圖24中例示出了監控部6包括三個監控器，監控器的數量可以根據需要顯示信息的類型或種類等設定為不同。此外，監控部6包括多個監控器時，畫面可以彼此聯動擴展。即，內窺鏡圖像9如在一個監控器上顯示的窗口(window)那樣，可以自由移動于各監控器，在各監控器上輸出彼此連接的部分圖像，所以也可以輸出整個圖像。從機器人2和主機器人I可以通過有線或無線相連接，從而主機器人I可以向從機器人2傳送操作信號,從機器人2向主機器人I傳送由器械5a輸入的內窺鏡圖像9。如果，需要在相同及/或相近時間傳送通過主界面4上所具有的兩個手柄10的兩個操作信號及/或用于調節器械5a位置的操作信號時，各操作信號可以彼此獨立地傳送到從機器人2。在此，各操作信號‘獨立’傳送是表示，操作信號之間彼此不干擾，一個操作信號不會影響另一個操作信號。這樣的，為了彼此獨立地傳送多個操作信號，可以利用如下不同方式，在生成各操作信號的階段對各操作信號賦予標題信息進行傳送，或者使各操作信息根據其生成順序進行傳送，或者關于各操作信息的傳送順序預先設定優先順序并根據其順序進行傳送等。此時，可以獨立地具有傳送各操作信息的傳送路徑，從而從本質上防止各操作信號之間干擾。從機器人2的機器臂3可以具有多自由度地驅動。機器臂3例如可以包括:手術工具，插入在患者的手術部位；偏轉驅動部，根據手術位置以使手術工具向偏轉(yaw)方向旋轉；俯仰驅動部，向與偏轉驅動部的旋轉驅動正交的俯仰(pitch)方向旋轉手術工具；移送驅動部，向長度方向移動手術工具；旋轉驅動部，用于旋轉手術工具；手術工具驅動部，設在手術工具的末端，用于切開或切割手術病灶。但是，機器臂3的結構并不限定于此，應該理解為，本發明的保護范圍并不限定于這些例示。此外，施術者通過操作手柄10使機器臂3向對應方向旋轉、移動等實際控制過程，與本發明的要旨有一定距離，故省略對其的詳細說明。為了對患者進行手術，可以利用一個以上的從機器人2，而用于通過監控部6以畫面圖像顯示手術部位的器械5a，也可以由獨立的從機器人2來實現，主機器人I也可以與從機器人2 —體化。圖25是示出本發明的第一實施例涉及的手術機器人的框圖。參照圖25，示出了包括圖像輸入部2310、畫面顯示部2320、臂操作部2330、操作信號生成部340、畫面顯示控制部2350、控制部370的主機器人1，和包括機器臂3、內窺鏡8的從機器人2。本實施例涉及的體感式手術用圖像處理裝置可以由包括圖像輸入部2310、畫面顯示部2320、畫面顯示控制部2350的模塊實現，當然，這種模塊也可以包括臂操作部2330、操作信號生成部340、控制部370。圖像輸入部2310通過有線或無線傳送接收由從機器人2的內窺鏡8輸入的圖像。內窺鏡8也可以作為本實施例涉及的手術工具的一種，其數量可以是一個以上。

畫面顯示部2320將對應于通過圖像輸入部2310接收的圖像的畫面圖像作為視覺Ih息出。畫面顯不部2320將內規圖像以原來大小或放大(Zoom In)/縮小(Zoom Out)輸出，或者將內窺鏡圖像和后述建模圖像相匹配或以單獨圖像輸出。此外，畫面顯示部2320也可以將內窺鏡圖像和反映整個手術狀況的圖像、例如攝像機拍攝手術對象外部生成的攝像機圖像同時及/或相匹配輸出，以便容易掌握手術狀況。此外，畫面顯示部2320也可以執行如下功能，輸出輸出圖像的一部分或在單獨畫面上生成的窗口(window)上輸出縮小整個圖像(內窺鏡圖像、建模圖像及攝像機圖像等)的圖像，施術者利用上述主操縱器從輸出的縮小圖像選擇或旋轉特定點時，整個輸出圖像移動或旋轉，所謂CAD程序的鳥瞰圖(bird's eye view)功能。如上所述的對輸出到畫面顯示部2320的圖像進行放大/縮小、移動、旋轉等的功能，可以由控制部370對應主操縱器操作來進行控制。畫面顯示部2320可以以監控部6等形式實現，用于將接收圖像通過畫面顯示部2320以畫面圖像輸出的圖像處理程序，可以通過控制部370、畫面顯示控制部2350或單獨的圖像處理部(未圖示)執行。本實施例涉及的畫面顯示部2320可以是實現各種技術的顯示器，例如，多視覺顯示器、UHDTV (7380X4320)等超高分辨率的監控器。此外，本實施例涉及的畫面顯示部2320可以是3D顯示器。例如，本實施例涉及的畫面顯示部2320可以利用雙目視差原理使用戶分析左眼用和右眼用圖像來識別。這種3D圖像實現方式可以以眼鏡式(例如紅藍眼鏡方式(Anaglyph)、偏光眼鏡方式(被動式眼鏡)、快門眼鏡方式(主動式眼鏡)等)、雙凸透鏡方式、障礙法等不同方式來實現。畫面顯示部2320將輸入的內窺鏡圖像輸出到特定區域。在此，特定區域可以是在畫面上具有規定大小及位置的區域。如上所述的這些特定區域可以對應于內窺鏡8的視覺變化來決定。畫面顯示控制部2350可以對應于內窺鏡8的視覺設定這些特定區域。S卩，畫面顯示控制部2350對應于內窺鏡8旋轉、移動等動作追蹤其視點，并反映這些,在畫面顯示部2320設定輸出內窺鏡圖像的特定區域。臂操作部2330是使施術者能夠操作從機器人2的機器臂3的位置及功能的單元。如圖24所例示，臂操作部2330可以形成為手柄10形狀，但并不限定于該形狀，可以變更為用于實現相同目的的不同形狀來實現。例如，也可以部分形成為手柄形狀，其他部分形成為離合器按鈕等不同形狀，也還可以形成手指插入管或插入環，施術者手指能夠插入于該插入管或插入環并進行固定，以便容易操作手術工具。施術者為了移動機器臂3及/或內窺鏡8的位置或進行手術操作而操作臂操作部2330時，操作信號生成部340生成與其相應的操作信號，并傳送給從機器人2。操作信號可以通過有線或無線通信網傳送。操作信號生成部340利用根據施術者操作臂操作部340的相應操作信息生成操作信號，生成的操作信號傳送給從機器人2，結果使得實際手術工具進行對應于操作信號的操作。而且，根據操作信號操作的實際手術工具的位置及操作形狀，施術者可以通過內窺鏡8輸入的圖像來確認。圖26是示出本發明的第一實施例涉及的體感式手術用圖像處理裝置的框圖。參照圖26，畫面顯示控制部2350可以包括內窺鏡視點追蹤部351、圖像移動信息提取部353、圖像位置設定部355。內窺鏡視點追蹤部351對應于內窺鏡8的移動及旋轉，追蹤內窺鏡8的視點信息。在此，視覺信息表示內窺鏡所視的視點(view point)，這些視點信息可以從所述手術機器人系統操作內窺鏡8的信號 提取。即，視點信息可以由操作內窺鏡8移動及旋轉運動的信號來特定。這些內窺鏡8操作信號在手術機器人系統生成并傳送到操作內窺鏡8的機器臂3，所以利用這些信號，可以追蹤內窺鏡8的所視方向。圖像移動信息提取部353利用內窺鏡8的視點信息，來提取內窺鏡圖像的移動信息。即，內窺鏡8的視點信息可以包括有關被取得的內窺鏡圖像的拍攝對象的位置變化量信息，從這些信息可以提取內窺鏡圖像的移動信息。圖像位置設定部355利用提取的移動信息來設定輸出內窺鏡圖像的畫面顯示部2320的特定區域。例如，若內窺鏡8的視點信息變化為規定向量A，則有關患者內部臟器的內窺鏡圖像，對應于該向量，來特定其移動信息，并利用該移動信息設定畫面顯示部2320的特定區域。若內窺鏡圖像變化為規定向量B，則可以利用這些信息和畫面顯示部2320的尺寸、形狀、分辨率，來設定在畫面顯示部2320實際輸出內窺鏡圖像的特定區域。圖27是示出本發明的第一實施例涉及的體感式手術用圖像處理裝置的流程圖。下面所要執行的各步驟可以以畫面顯示控制部2350為主體進行，但各步驟不必以描述順序的時間序列執行。在步驟S511中，對應于內窺鏡8的移動及旋轉，追蹤作為有關內窺鏡8所視視點的信息的內窺鏡8的視點信息。視點信息根據操作內窺鏡8移動及旋轉運動的信號來特定，所以能夠追蹤內窺鏡8的所視方向。
在步驟S513中，利用內窺鏡8的視點信息，提取內窺鏡圖像的移動信息，該內窺鏡圖像的移動信息對應于內窺鏡圖像的拍攝對象的位置變化量。在步驟S515中，利用提取的移動信息，設定在畫面顯示部2320輸出內窺鏡圖像的特定區域。即，若如上所述的特定內窺鏡8的視點信息及內窺鏡圖像的移動信息，則利用這些移動信息，設定在畫面顯示部2320輸出內窺鏡圖像的特定區域。在步驟S517中，在畫面顯示部2320設定的特定區域輸出內窺鏡圖像。圖28是示出根據本發明的第一實施例涉及的體感式手術用圖像處理方法輸出圖像的構成圖。畫面顯示部2320可以是整個畫面，通過內窺鏡8取得的內窺鏡圖像2620可以輸出到畫面顯示部2320的特定位置，例如，內窺鏡圖像2620的中心點位于坐標X、Y。坐標X、Y可對應于內窺鏡8視點的變化量來設定。例如，內窺鏡8的視點信息及內窺鏡圖像的移動量向左+1、向豎向-1的變化時，內窺鏡圖像2620的中心點可以向坐標X+l、Y-1的位置移動。圖29是示出本發明的第二··實施例涉及的手術機器人的框圖。參照圖29，示出了包括圖像輸入部2310、畫面顯示部2320、臂操作部2330、操作信號生成部340、畫面顯示控制部2350、圖像存儲部360、控制部370的主機器人1，和包括機器臂3、內窺鏡8的從機器人
2。下面，主要說明與上述的區別。本實施例特征在于，在當前時間，提取之前輸入存儲的內窺鏡圖像并與當前內窺鏡圖像一同輸出到畫面顯示部2320，從而能夠向用戶通知有關內窺鏡圖像變化的信息。圖像輸入部2310接收從手術用內窺鏡以彼此不同時間點提供的第一內窺鏡圖像和第二內窺鏡圖像。在此，第一、第二等序數可以是用于區分彼此不同內窺鏡圖像的識別號，第一內窺鏡圖像和第二內窺鏡圖像可以是內窺鏡8在彼此不同時間點及視點拍攝的圖像。此外，圖像輸入部2310可以比先于第二內窺鏡圖像接收第一內窺鏡圖像。圖像存儲部360存儲該第一內窺鏡圖像和第二內窺鏡圖像。圖像存儲部360不僅存儲第一內窺鏡圖像和第二內窺鏡圖像的實際圖像內容的圖像信息，也存儲有關輸出到畫面顯示部2320的特定區域的信息。畫面顯示部2320向彼此不同區域輸出第一內窺鏡圖像和第二內窺鏡圖像，而畫面顯示控制部2350可以控制畫面顯示部2320，以便對應于內窺鏡8的彼此不同視點，將第一內窺鏡圖像和第二內窺鏡圖像向彼此不同區域輸出。在此，畫面顯示部2320可以輸出使彩度、亮度、顏色及畫面圖案中一種以上不同的第一內窺鏡圖像和第二內窺鏡圖像。例如，畫面顯示部2320將當前輸入的第二內窺鏡圖像以彩色圖像輸出，而過去圖像的第一內窺鏡圖像以黑白圖像等輸出，從而能夠使用戶區分圖像。參照圖32，例示出了作為當前輸入圖像的第二內窺鏡圖像622以彩色圖像輸出于坐標Χ1、Υ1，而作為過去輸入圖像的第一內窺鏡圖像621形成有畫面圖案、即斜杠圖案而輸出于坐標Χ2、Υ2。此外，作為之前圖像的第一內窺鏡圖像可以繼續或僅在預定時間內輸出。后者的情況，過去圖像僅在規定時間內向畫面顯示部2320輸出，所以畫面顯示部2320可以持續更新為新的內窺鏡圖像。圖30是示出本發明的第二實施例涉及的體感式手術用圖像處理裝置的框圖。參照圖30，畫面顯示控制部2350可以包括內窺鏡視點追蹤部351、圖像移動信息提取部353、圖像位置設定部355、存儲圖像顯示部357。內窺鏡視點追蹤部351對應于內窺鏡8的移動及旋轉來追蹤內窺鏡8的視點信息，圖像移動信息提取部353利用內窺鏡8的視點信息來提取上述內窺鏡圖像的移動信息。圖像位置設定部355利用提取的移動信息來設定在畫面顯示部2320輸出內窺鏡圖像的特定區域。在畫面顯示部2320輸出實時輸入的第二內窺鏡圖像的期間，存儲圖像顯示部357提取存儲于存儲部360的第一內窺鏡圖像向畫面顯不部2320輸出。由于第一內窺鏡圖像和第二內窺鏡圖像的其輸出區域及圖像信息彼此不同，所以，存儲圖像顯示部357向畫面顯示部2320輸出作為過去圖像的第一內窺鏡圖像，過去圖像是從圖像存儲部360提取這些信息而存儲的。圖31是示出本發明的第二實施例涉及的體感式手術用圖像處理方法的流程圖。下面描述的各步驟可以以畫面顯示控制部2350為主體進行，大致可以區分為輸出第一內窺鏡圖像的步驟和輸出第二內窺鏡圖像的步驟，但如上所述的第一內窺鏡圖像和第二內窺鏡圖像可以同時輸出。在步驟S511中，對應于內窺鏡8的第一移動及旋轉信息,追蹤作為有關內窺鏡8所視視點的信息的內窺鏡8的視點信息。在步驟S513中，提取第一內窺鏡圖像的移動信息，在步驟S515中，利用提取的移動信息，設定在畫面顯示部2320輸出內窺鏡圖像的特定區域，在步驟S517中，在設定位置輸出第一內窺鏡圖像。在步驟S519中，在圖像存儲部360存儲有關輸出的第一內窺鏡圖像的信息及第一畫面位置。

在步驟S521中，對應于內窺鏡8的第二移動及旋轉信息,追蹤作為有關內窺鏡8所視視點的信息的內窺鏡8的視點信息。在步驟S522中，提取第二內窺鏡圖像的移動信息，在步驟S523中，利用提取的移動信息，設定在畫面顯示部2320輸出內窺鏡圖像的特定區域，在步驟S524中，在設定位置輸出第二內窺鏡圖像。在步驟S525中，在圖像存儲部360存儲有關輸出的第二內窺鏡圖像的信息及第一畫面位置。在步驟S526中，與第二內窺鏡圖像一同向第一畫面位置輸出存儲于圖像存儲部360的第一內窺鏡圖像。在此，第一內窺鏡圖像可以與第二內窺鏡圖像的彩度、亮度、顏色及畫面圖案中一種以上不同的輸出。圖33是示出本發明的第三實施例涉及的手術機器人的框圖。參照圖33，示出了包括圖像輸入部2310、畫面顯示部2320、臂操作部2330、操作信號生成部340、畫面顯示控制部2350、控制部370、圖像匹配部450的主機器人1，和包括機器臂3、內窺鏡8的從機器人
2。下面，主要說明與上述的區別。本實施例的特征在于，能夠將手術時利用內窺鏡實際拍攝的內窺鏡圖像和預先生成并存儲于圖像存儲部360的手術工具的建模圖像各自或彼此匹配，或調節其尺寸等進行圖像修改后，向用戶可觀察的畫面顯示部2320輸出。圖像匹配部450將通過圖像輸入部2320接收的內窺鏡圖像和存儲于所述圖像存儲部360的有關手術工具的建模圖像進行彼此匹配，并生成輸出圖像，且將其輸出到畫面顯示部2320。內窺鏡圖像是利用內窺鏡拍攝患者身體內部的圖像，僅拍攝限定區域而獲得的圖像，所以包括手術工具的部分模樣的圖像。建模圖像是將整個手術工具的形狀以2D或3D圖像實施而生成的圖像。建模圖像可以是手術開始時間之前的特定時間、例如在初期設定狀態拍攝的手術工具圖像。建模圖像是通過計算機模擬手術技術生成的圖像，所以圖像匹配部450可以在實際內窺鏡圖像上匹配示出的手術工具和建模圖像輸出。建模實際物體而獲得圖像的技術，與本發明的要旨有一定距離，故省略對其的詳細說明。此外，圖像匹配部450的具體功能、不同細節結構等，在下面參照相關附圖進行詳細說明。控制部370控制各構成要素的動作，以便能夠執行所述功能。控制部370也可以執行將通過圖像輸入部2310輸入的圖像轉換成通過畫面顯示部2320顯示的影像圖像。此夕卜，控制部360控制圖像匹配部450，以便根據臂操作部2330的操作而輸入相應操作信息時，與其相應的通過畫面顯示部2320輸出建模圖像。包含于內窺鏡圖像中的實際手術工具是包含于通過內窺鏡8輸入而傳送到主機器人I的圖像中的手術工具，是直接對患者身體實施手術行為的手術工具。與此相比，包含于建模圖像中的建模手術工具預先數學建模手術工具而以2D或3D圖像存儲于圖像存儲部360。內窺鏡圖像的手術工具和建模圖像的建模手術工具，可以由根據施術者操作臂操作部2330而被主機器人I識別的操作信息(即有關手術工具移動、旋轉等的信息)控制。可以通過操作信息決定實際手術工具和建模手術工具的其位置及操作形狀。參照圖36，內窺鏡圖像2620與建模圖像2610相匹配而輸出在畫面顯示部2320的坐標X、Y。建模圖像不僅包括手術工具圖像，也可以包括建模患者臟器而再構成的圖像。即建模圖像包括參照從計算機斷層攝影檢查(CT、Computer Tomography)、磁共振(MR、Magnetic Resonance)、正電子發身寸斷層掃描(PET、Positron Emission Tomography)、單光子發射計算機斷層掃描(SPECT、Single Photon Emission Computed Tomography)、超聲波掃描(US、Ultrasonography)等圖像設備獲取的圖像再構成的患者臟器表面的2D或3D圖像，此時，若將實際內窺鏡圖像和計算機建模圖像進行匹配，則可以向施術者進一步提供包含手術部位的整個圖像。圖34是示出本發明的第三實施例涉及的體感式手術用圖像處理裝置的框圖。參照圖34，圖像匹配部450可以包括特性值運算部451、建模圖像實現部453、重疊圖像處理部455。
特性值運算部451利用由從機器人2的腹腔鏡8輸入提供的圖像及/或結合于機器臂3的實際手術工具的位置的坐標信息等運算特性值。實際手術工具的位置可以參照從機器人2的機器臂3的位置值來識別，有關該位置的信息，也可以自從機器人2提供給主機器人I。特性值運算部451例如可以利用通過腹腔鏡8的圖像等運算出腹腔鏡8的視角(F0V、Field of View)、放大率、視點(例如所視方向)、所視深度等，和實際手術工具的種類、方向、深度、彎曲程度等特性值。利用腹腔鏡8的圖像運算特性值時，也可以利用提取包含于該圖像中的對象物的外輪廓線、形狀識別、用于識別傾斜角度等的圖像識別技術。此外，實際手術工具的種類等，也可以在機器臂3上結合該手術工具的過程等中預先輸入。建模圖像實現部453實現對應于由特性值運算部451運算的特性值的建模圖像。有關建模圖像的數據可以從圖像存儲部360提取。即，建模圖像實現部453提取對應于腹腔鏡8的特性值(視角(FOV、Field of View)、放大率、視點、所視深度等，和實際手術工具的種類、方向、深度、彎曲程度等)的有關手術工具等的建模圖像數據來實現建模圖像，以便與內窺鏡圖像的手術工具等匹配。建模圖像實現部453提取對應于由特性值運算部451運算的特性值的圖像的方法可以有多種。例如，建模圖像實現部453可以直接利用腹腔鏡8的特性值提取與其對應的建模圖像。即，建模圖像實現部453可以參照所屬腹腔鏡8的視角、放大率等數據提取與其對應的2D或3D建模手術工具圖像，并將其與內窺鏡圖像進行匹配。在此，如視角、放大率等特性值可以通過與根據最初設定值的基準圖像進行比較算出，或將依次生成的腹腔鏡8圖像彼此進行比較運算。此外，根據其它實施例，建模圖像實現部453可以利用用于決定腹腔鏡8及機器臂3位置及操作形狀的操作信息提取建模圖像。即，如上所述的內窺鏡圖像的手術工具可以由根據施術者操作臂操作部2330而被主機器人I識別的操作信息控制，對應于內窺鏡圖像的特性值的建模手術工具的位置及操作形狀可以根據操作信息決定。該操作信息可以按時間序列存儲在單獨的數據庫，建模圖像實現部453可以參照該數據庫識別實際手術工具的特性值，并與其對應地提取有關建模圖像的信息。即，輸出到建模圖像中的手術工具的位置，可以利用手術工具的位置變更信號的累積數據來設定。例如，若有關作為手術工具中的一個手術器械的操作信息包括順時針方向旋轉90度及向延伸方向移動Icm的信息時,建模圖像實現部453對應于該操作信息改變包含于建模圖像中的手術器械的形狀并進行提取。在此，手術器械安裝在具有致動器的手術機器臂的前端部，驅動部(未圖示)所具有的驅動輪(未圖示)從致動器接收驅動力而動作，而與驅動輪連接的插入于手術患者體內的操作物進行規定動作，從而進行手術。驅動輪形成為圓盤形，結合于致動器從而能夠接收驅動力。此外，驅動輪的數量可以對應控制對象的數量來決定，這些驅動輪的技術，對于手術器械相關的技術人員來說是顯而 易見的，故省略詳細說明。重疊圖像處理部455為了防止實際拍攝的內窺鏡圖像和建模圖像重疊而輸出建模圖像的部分圖像。即，內窺鏡圖像包括手術工具的部分形狀，而建模圖像實現部453輸出與其對應的建模手術工具時，重疊圖像處理部455確認內窺鏡圖像的實際手術工具圖像和建模手術工具圖像的重疊區域，并從建模手術工具圖像中刪除重疊部分，從而使兩個圖像彼此一致。重疊圖像處理部455從建模手術工具圖像中刪除建模手術工具圖像與實際手術工具圖像的重疊區域，從而處理重疊區域。例如，實際手術工具的全長為20cm，考慮特性值(視角(F0V、Field of View)、放大率、視點、所視深度等，和實際手術工具的種類、方向、深度、彎曲程度等)時內窺鏡圖像的實際手術工具圖像的長度為3cm時，重疊圖像處理部455利用特性值，使建模圖像包含未輸出到內窺鏡圖像中的建模手術工具圖像輸出。圖35是示出本發明的第三實施例涉及的體感式手術用圖像處理方法的流程圖。下面，主要說明與上述的區別。在步驟S131中，對手術對象及/或手術工具預先生成建模形狀并存儲。建模圖像可以通過計算機模擬技術建模，本實施例也可以利用單獨的建模圖像生成裝置生成建模圖像。在步驟S132中，特性值運算部351運算出內窺鏡圖像的特性值。如上所述，特性值運算部351利用由從機器人2的腹腔鏡8輸入提供的圖像及/或結合于機器臂3的實際手術工具的位置的坐標信息等運算特性值，特性值可以是腹腔鏡8的視角(FOV、Field ofView)、放大率、視點例如所視方向)、所視深度等，和實際手術工具的種類、方向、深度、彎曲
程度等。在步驟S133中，圖像匹配部450對應于內窺鏡圖像提取建模圖像，并處理重疊部分使兩個圖像彼此匹配之后向畫面顯示部2320輸出。在此，其輸出時間可以設定為多種多樣，內窺鏡圖像和建模圖像最初在彼此相同時間輸出，或內窺鏡圖像輸出之后建模圖像一同輸出等。圖37是示出本發 明的第四實施例涉及的手術機器人的主界面的概念圖。參照圖37，主界面4可以包括監控部6、手柄10、監控器驅動單元12、移動槽13。下面，主要說明與上述的區別。本實施例的特征在于，對應于如上所述的不斷變化的內窺鏡8的視點，使主界面4的監控部6旋轉及移動，從而能夠使用戶更生動地感受到手術的真實感。監控器驅動單元12的一端與監控部6結合，另一端與主界面4的本體部結合，通過對監控部6施加驅動力，使驅動部6旋轉及移動。在此,旋轉是不同軸(X、Y、Z)中心的旋轉，即，可以包括俯仰(pitch)、翻滾(roll)、偏轉(yaw)軸的旋轉。參照圖37,示出了通過偏轉軸的旋轉。此外，監控器驅動單元12沿著位于監控部6下端的主界面4本體部形成的移動槽13移動(B方向)，從而能夠使監控部6根據內窺鏡8的視點移動。移動槽13面向用戶的方向凹陷形成，從而監控部6沿著移動槽13移動時能夠使監控部6的前面始終面向用戶。圖38是示出本發明的第四實施例涉及的手術機器人的框圖。參照圖38，示出了包括圖像輸入部2310、畫面顯示部2320、臂操作部2330、操作信號生成部340、控制部370、畫面驅動控制部380、畫面驅動部390的主機器人1，和包括機器臂3、內窺鏡8的從機器人2。下面，主要說明與上述的區別。畫面驅動部390是使如上述監控部6的畫面顯示部2320旋轉及移動的單元，例如，可以包括電機、監控部6支承單元等。畫面驅動控制部380可以控制畫面驅動部390，以便畫面驅動部390使畫面顯示部2320對應于內窺鏡8的視點旋轉及移動。畫面驅動部390可以包括所述電機驅動單元12，使監控部6沿著移動槽13移動。參照圖39，畫面驅動控制部380可以包括:內窺鏡視點追蹤部381，對應于內窺鏡8的移動及旋轉，追蹤內窺鏡8的視點信息；圖像移動信息提取部383，利用內窺鏡8的視點信息，提取內窺鏡圖像的移動信息；驅動信息生成部385，利用移動信息，生成畫面顯示部2320的建模信息(畫面驅動信息)。利用在驅動信息生成部385生成的畫面顯示部2320的建模信息，畫面驅動部390如上所述的驅動畫面顯示部2320。此外，根據另一實施例，畫面驅動部390也可以根據用戶命令驅動。例如，畫面驅動控制部380可以由用戶界面、例如由用戶可操作的開關(ex.腳踏板開關)代替，此時，也可以根據用戶操作，控制畫面驅動部30的旋轉及移動。該畫面驅動部390的動作，也可以通過觸摸屏進行控制。例如，畫面顯示部2320由觸摸屏實現，若用戶利用手指等觸摸畫面顯示部2320的狀態下向規定方向拖動，則畫面顯示部2320也可以相應地旋轉及移動。此外，也可以追蹤用戶眼睛，或者利用根據接面部的移動方向生成的旋轉/移動信號或根據語音命令生成的旋轉/移動信號等，控制畫面顯示部2320的建模。圖40是示出本發明的第四實施例涉及的體感式手術用圖像處理方法的流程圖。下面所要執行的各步驟可以以畫面驅動控制部380為主體進行。在步驟S181中，對應于內窺鏡8的移動及旋轉，追蹤作為有關內窺鏡8所視視點的信息的內窺鏡8的視點信息。在步驟S182中，利用內窺鏡8的視點信息，提取內窺鏡圖像的移動信息，該內窺鏡圖像的移動信息對應于內窺鏡圖像的拍攝對象的位置變化量。在步驟S183中，利用內窺鏡8的視點信息及/或提取的移動信息，生成所述畫面驅動信息。即，若如上所述的特定內窺鏡8的視點信息及內窺鏡圖像的移動信息，則利用該移動信息生成使畫面顯示部2320移動及旋轉的信息。在步驟S814中，使畫面顯示部2320對應畫面驅動信息移動及旋轉。圖41是示出本發明的第五實施例涉及的手術機器人的主界面的概念圖。參照圖41，示出了拱頂屏幕191、投影儀192、工作臺193、第一內窺鏡圖像621、第二內窺鏡圖像622。本實施例的特征在于，利用拱頂屏幕191和投影儀192實現如上所述的在畫面顯示部2320的特性區域輸出內窺鏡圖像的功能，從而用戶通過寬屏幕能夠更快更方便地確認手術狀況。投影儀192將內窺鏡圖像投射到拱頂屏幕191。在此，內窺鏡圖像可以是被投射的圖像前端部的形狀為球形的球形圖像。在此，球形并不僅表示嚴格數學意義上的球形，可以包括橢圓形、截面為曲線形狀、部分球形等各種形態。拱頂屏幕191包括:開放的前面端部；內部拱頂面，呈半球形狀，以反射投影儀12投射的圖像。拱頂屏幕191尺寸可以是用戶便于觀看的尺寸，例如，其直徑為Im 2m左右。拱頂屏幕191的內部拱頂面可以分別按區域進行表面處理，或具有半球形狀。此外，拱頂屏眷191可以形成為，以其中心軸為中心軸對稱，用戶視線位于拱頂屏眷191的中心軸。投影儀192可位于進行手術的用戶和拱頂屏幕191之間，以防止用戶遮擋投射的圖像。此外，為了防止用戶遮擋工作時投射的圖像，且確保工作臺空間，投影儀192可以安裝在工作臺530的底面。內部拱頂面可以由反射率高的物質形成或涂敷該物質。利用這些拱頂屏幕191和投影儀192時，如上所述的可以對應于內窺鏡8的不同視點，向拱頂屏幕191的特定區域投射第一內窺鏡圖像621和第二內窺鏡圖像622。圖42是示出本發明的第六實施例涉及的體感式手術用圖像處理裝置的框圖。參照圖42，畫面顯示控制部2350可以包括內窺鏡視點追蹤部351、圖像移動信息提取部353、圖像位置設定部355、存儲圖像顯示部357、連續圖像生成部352和周邊圖像生成部354。下面，主要說明與上述的區別。本實施例具有如下特征，使手 術用內窺鏡的一端旋轉，從而能夠獲得多個圖像，以確保用戶寬視角。即，本實施例的特征在于，使手術用內窺鏡的一端旋轉以形成規定軌跡，從而不僅可以獲得手術部位圖像，還可以獲得周邊圖像，能夠使用戶觀看更寬部位。
連續圖像生成部352提取從手術用內窺鏡獲取的第一內窺鏡圖像和第二內窺鏡圖像的重疊區域，而生成連續圖像。第一內窺鏡圖像和第二內窺鏡圖像可以是從旋轉的手術用內窺鏡以彼此不同時間點提供的圖像。參照圖44，手術用內窺鏡221以旋轉軸A為中心傾斜旋轉，從而能夠獲取多個內窺鏡圖像。手術用內窺鏡221的一端以形成不同軌跡的旋轉，例如，作為以規定長度延伸的手術用內窺鏡221的一端的光入射部(鏡頭部分)形成旋轉軌跡，另一端位于旋轉軸上，所以整體以圓錐體或多角錐體形狀旋轉，一端的旋轉軌跡可以為圓形、橢圓形、三角形、矩形、其它多邊形、閉合圖形(closed figure)等各種形狀。在此，閉合圖形也可以理解為包括閉合曲線的概念。此外，手術用內規鏡221旋轉速度及時間可以根據需要決定。例如，手術用內規鏡221的一端可以周期性地進行旋轉，或根據用戶操作的任意方式相應地旋轉。在此，‘周期性’的意思是，可以包括手術用內窺鏡221以恒速進行圓形運動的情況。此外，‘周期性’的意思是，也可以包括旋轉狀態和非旋轉狀態周期性重復的情況。此外，根據圖45所示的實施例，手術用內窺鏡221具有彎曲形狀，以旋轉軸A為中心旋轉時，手術用內窺鏡221的一端可以形成規定軌跡的旋轉。此時，手術用內窺鏡221可以包括:第一軸222,以與旋轉軸A重疊狀態延伸；第二軸223,—端結合有光入射部，以與第一軸222隔開狀態向旋轉軸A方向延伸；軸連接部224，與旋轉軸A方向不平行延伸，用于連接第一軸222的一端和第二軸223的另一端。此外，光入射部的旋轉軌跡可以為圓形、橢圓形、三角形、矩形、其它多邊形、閉合圖形(closed figure)等各種形狀。

在此，手術用內窺鏡221的旋轉方向、旋轉程度、旋轉軌跡形狀、旋轉軌跡大小、旋轉速度等旋轉相關屬性，可以預先程序化而存儲在存儲部(未圖示)。畫面顯示控制部2350可以參照預先存儲的旋轉相關屬性，提取多個圖像的重疊區域，并將這些區域以連續圖像生成。例如，提取手術用內窺鏡221的視角為70度、旋轉軌跡為圓形、旋轉軌跡為半徑2cm時拍攝的圖像的重疊部分，被提取的重疊圖像可以是可持續看到的連續圖像。周邊圖像生成部354提取第一內窺鏡圖像和第二內窺鏡圖像的非重疊區域而生成周邊圖像。非重疊區域可以是所述第一內窺鏡圖像和第二內窺鏡圖像彼此不重疊的區域。而且，該區域可以是預定的區域。例如，可以將圖46中除了預定的連續圖像232之外的區域的圖像設定為非重疊區域的周邊圖像231。參照圖46，示出了重疊被連續拍攝而持續看到的連續圖像232，和不重疊而作為周邊圖像處理的圖像231。各圓形表示彼此不同的內窺鏡圖像，為了區分彼此，可以稱為第一內窺鏡圖像或第二內窺鏡圖像。連續圖像232是在畫面上連續地持續看到的圖像，周邊圖像232是僅在非連續拍攝時看到的圖像。為了區分顯示這些，連續圖像232顯示為明亮清晰，周邊圖像231顯示為與此不同。即，連續圖像232和周邊圖像231的亮度、彩度和顏色等可以彼此不同的顯示。參照圖47，連續圖像232可以是預定區域的圖像。即，如圖46所示，若只將所有周邊圖像232重疊的區域的圖像設定為連續圖像232時，主要看到的連續圖像232的尺寸可能變小，所以也可以將多個周邊圖像232、例如2 3個左右周邊圖像231重疊的區域的圖像設定為連續圖像232。此時，連續圖像232包括與周邊圖像232相比相對連續圖像的信息，拍攝區域的尺寸可以比所有周邊圖像231重疊的區域的尺寸大。圖43是示出本發明的第六實施例涉及的體感式手術用圖像處理方法的流程圖。下面所要執行的各步驟可以以畫面顯示控制部2350為主體進行。在步驟S211中，圖像輸入部2310從旋轉的手術用內窺鏡221接收以彼此不同時間點提供的第一內窺鏡圖像和第二內窺鏡圖像。在此，畫面顯示控制部2350如上所述的對應于手術用內窺鏡221 —端的移動及旋轉，追蹤作為手術用內窺鏡221所視視點的信息的手術用內窺鏡221的視點信息。在步驟S212中，利用手術用內窺鏡221的視點信息，提取內窺鏡圖像的移動信息，該內窺鏡圖像的移動信息對應于內窺鏡圖像的拍攝對象的位置變化量。在步驟S213中 ，利用手術用內窺鏡221的視點信息及/或提取的移動信息，設定輸出第一內窺鏡圖像和第二內窺鏡圖像的畫面位置。即，若如上所述的特定手術用內窺鏡221的視點信息及內窺鏡圖像的移動信息，則利用這些移動信息，設定在畫面顯示部2320輸出第一內窺鏡圖像和第二內窺鏡圖像的畫面位置。在步驟S214中，在作為畫面顯示部2320的設定位置的彼此不同區域輸出第一內窺鏡圖像和第二內窺鏡圖像。圖48是示出本發明的第七實施例涉及的輔助內窺鏡的旋轉動作的示意圖。參照圖48，不出了手術用內規鏡241、輔助內規鏡242、結合部243。本實施例還設置在手術用內窺鏡241周圍旋轉的輔助內窺鏡242，以取得多個內窺鏡圖像，從而如上所述的可以生成連續圖像和周邊圖像。即，輔助內窺鏡242在手術用內窺鏡241周圍旋轉的同時獲取內窺鏡圖像，從而從重疊圖像和非重疊圖像獲取連續圖像和周邊圖像。輔助內窺鏡242可旋轉的結合于手術用內窺鏡241的一側、例如側面。輔助內窺鏡242也可以適用通過鏡頭接收光而犾取圖像的普通內 見鏡結構。在此，可以將由手術用內窺鏡241獲取的圖像稱為第一內窺鏡圖像，由輔助內窺鏡242獲取的圖像稱為第二內窺鏡圖像。此外，輔助內窺鏡242以中心軸A為中心與手術用內窺鏡241可拆裝地結合，或與手術用內窺鏡241 —體結合。前者的情況具有如下優點，輔助內窺鏡242可以在患者體外與手術用內窺鏡241結合，或獨立于手術用內窺鏡241插入到患者體內之后在其內與手術用內窺鏡241結合,從而獲取所述第一內窺鏡圖像和第二內窺鏡圖像。此外，根據另一實施例，可以將手術用內窺鏡241的第一內窺鏡圖像設定為連續圖像，輔助內窺鏡242的第二內窺鏡圖像設定為周邊圖像。即，本實施例具有如下優點，不必提取重疊區域，而生成連續圖像和周邊圖像，從而縮短圖像處理時間。圖49是示出本發明的第八實施例涉及的手術機器人的主界面的概念圖。參照圖49，所述主界面4可以包括監控部6、手柄10、空間移動驅動部25。下面，主要說明與上述的區別。本實施例具有如下特征，為了使監控部6在空間上自由旋轉及移動的，監控部6結合于在空間上可自由運動的空間移動驅動部25。在此，監控部6可以是所述畫面顯示部2320。
空間移動驅動部25的一端結合于監控部6，另一端結合于主界面4的本體部，通過向監控部6施加驅動力，使監控部6在空間上旋轉及移動。在此，旋轉可以包括對應于空間移動驅動部25所具有的多個關節數量以不同軸(X、Y、Z)中心的旋轉、即，俯仰(pitch)、翻滾(roll)、偏轉(yaw)軸的旋轉。空間移動驅動部25可以以機器臂形式實現，具有如下特征，通過手柄10操作，或對應于如上所述的不斷變化的手術用內窺鏡的視點旋轉及移動主界面4的監控部6，從而使用戶更生動地感受到手術的真實感。此外，本發明的另一實施例還可以包括旋轉操作部(未圖示)，該旋轉操作部使所述手術用內窺鏡221及/或輔助內窺鏡242旋轉。旋轉操作部可以是用戶決定有關內窺鏡旋轉的信息，例如旋轉方向、旋轉角速度、加減速形式、旋轉速度、旋轉時間起始點、旋轉時間結束點、旋轉時間長度、旋轉方向、旋轉半徑等旋轉相關信息。在此，旋轉方向是內窺鏡旋轉的方向，如順時針方向或逆時針方向，加減速形式表示直線、S轉彎、指數函數形式等內窺鏡以各種形式旋轉的形態。此外，旋轉角速度和旋轉速度是手術用內窺鏡221或輔助內窺鏡242的一端旋轉的速度，旋轉時間起始點是開始旋轉的時間信息，旋轉時間結束點是結束旋轉的時間信息。此外，旋轉半徑是手術用內窺鏡221以圓錐形旋轉時旋轉軸與手術用內窺鏡221的一端之間的距離，彎曲內窺鏡時，軸連接部224的長度，輔助內窺鏡242與手術用內窺鏡241的隔開距離。旋轉操作部可以包括用戶能夠操作的界面，例如，界面可以由操縱桿形式、按鈕形式、鍵盤、跟蹤球、觸摸屏等用于操作機器臂及/或其它手術設備的各種形式實現。用戶利用該界面設定旋轉相關信息并輸入該信息時，手術用內窺鏡221以圓錐形狀旋轉或以第一軸222為中心旋轉,從而使其一端旋轉,而且輔助內窺鏡242也可以以手術用內窺鏡241為中心軸進行旋轉。除此之外，本發明的實施例涉及的體感式手術用圖像處理裝置的有關具體規格、嵌入式系統、Ο/S等共同平臺技術和通信協議、I/O界面等界面標準化技術及致動器、電池、攝像機、傳感器等零件標準化技術等的詳細說明，對于本發明所屬技術領域的技術人員來說是顯而易見的，故省略詳細說明。本發明涉及的體感式手術用圖像處理方法，可以由通過各種計算機單元執行的程序命令形式實現，并存儲在計算機可讀介質中。即，記錄介質可以是記錄用于在計算機上執行所述各步驟的程序的計算機可讀記錄介質。所述計算機可讀介質可以單獨或組合形式包括程序命令、數據文件、數據結構等。記錄在所述介質的程序命令可以是為本發明而特別設計構成的，或者也可以是對于計算機軟件技術人員來說公知的。作為計算機可讀記錄介質的例，包括如硬盤、軟盤及磁帶的磁介質(Magnetic Media)、如CD-ROM、DVD的光學介質(Optical Media)、如軟式光盤(Floptical Disk)的磁光介質(Magneto-Optical Media)及如只讀存儲器(ROM)、隨機存取存儲器(RAM)、閃存等存儲并執行程序命`令的特別構成的硬件裝置。所述介質也可以是包括傳送用于指定程序命令、數據結構等信號的搬送波的光或金屬線、波導管等傳送介質。作為程序命令的例，不僅包括由編譯器生成的機械語言代碼，還包括使用解析程序等通過計算機執行的高級語言代碼。所述硬件裝置為了執行本發明的動作可以作為一個以上的軟件模塊動作的構成。
在上述參照本發明的優選實施例進行了說明，但對于該技術領域的普通技術人員來說，在不超出權利要求書記載的本發明的思想及區域的范圍內，本發明可以進行多種修改和變 更。
權利要求
1.一種手術機器人，利用操作信號控制視覺部，其包括: 拍攝部，拍攝對象物而生成圖像數據； 角度及距離算出部，解析在包含于所述圖像數據中的面部中兩眼中心點的連接線與畫面中心線所形成的內角大小及旋轉方向，并與根據之前拍攝的圖像數據解析出的內角大小及旋轉方向進行比較，從而生成所述面部旋轉方向及旋轉角度的位移量信息；以及 操作命令生成部，生成并輸出操作命令以與所述位移量信息相應地操作所述視覺部。
2.如權利要求1所述的手術機器人，其特征在于， 所述角度及距離算出部還算出根據之前拍攝的圖像數據解析出的所述面部內的基準點與根據所述圖像數據解析出的面部內的基準點之間的距離信息， 算出的所述距離信息包含于所述位移量信息，以用于所述視覺部的平行移動操作。
3.如權利要求1所述的手術機器人，其特征在于， 所述角度及距離算出部還算出根據之前拍攝的圖像數據解析出的所述面部內的兩眼間距與根據所述圖像數據解析出的所述面部內的兩眼間距之間的變化量， 所述兩眼間距之間的變化量包含于所述位移量信息，以用于調節所述視覺部的圖像倍率。
4.如權利要求1所述的手術機器人，其特征在于， 所述視覺部是腹腔鏡、胸腔鏡、關節鏡、鼻鏡、膀胱鏡、直腸鏡、十二指腸鏡、縱隔鏡、心臟鏡中的一種以上。
5.如權利要求4所述的手術機器人，其特征在于， 所述視覺部是用于獲得三維圖像的裝置。
6.如權利要求5所述的手術機器人，其特征在于， 當所述視覺部為用于獲得三維圖像的裝置時，其根據面部和眼睛的位置調節三維圖像處理所需的左/右圖像重疊程度。
7.如權利要求1所述的手術機器人，還包括: 存儲部，用于存儲認證用戶的照片圖像；以及 判斷部，算出包含于所述圖像數據中的面部特征要素和包含于所述照片圖像中的面部特征要素之間的類似度，并在算出的類似度大于等于預定值時，控制所述操作命令生成部生成并輸出所述操作命令。
8.如權利要求7所述的手術機器人，其特征在于， 所述面部特征要素是構成部位的位置及模樣、瞳孔顏色、面部模樣、皮膚顏色、皺紋形狀、紅暈中的一個以上， 所述構成部位是眼睛、眉毛、鼻子和嘴中的一個以上。
9.如權利要求1所述的手術機器人，其特征在于，還包括: 存儲部，用于存儲有效用戶信息，該有效用戶信息是面部輪廓所處的區域信息及包含于圖像數據中的面部大小的基準值中的一種以上； 判斷部，判斷包含于所述圖像數據中的面部是否滿足所述有效用戶信息，在滿足時，控制所述操作命令生成部生成并輸出所述操作命令。
10.如權利要求1所述的手術機器人，其特征在于，還包括: 判斷部，判斷包含于所述圖像數據中的面部運動狀態是否保持規定時間以上，當所述面部運動狀態保持規定時間以上 時，控制所述操作命令生成部生成并輸出所述操作命令。
全文摘要
公開了一種手術機器人系統及其腹腔鏡操作方法。手術機器人系統包括接面部，向與接觸的施術者面部的運動方向及大小相對應的方向及大小游動；運動檢測部，輸出對應于接面部游動方向及大小的傳感信息；操作命令生成部，利用傳感信息生成并輸出有關視覺部的位置及圖像輸入角度中的一個以上的操作命令。該手術機器人僅通過施術者想看到所需手術部位的行為就能夠控制腹腔鏡的位置及圖像輸入角度。
文檔編號A61B1/313GK103188987SQ201180052600
公開日2013年7月3日 申請日期2011年10月28日 優先權日2010年11月2日
發明者崔勝旭, 閔東明, 李珉奎 申請人:伊頓株式會社