專利名稱：用于觸覺表達的裝置和方法
技術領域：
本發明涉及機器人系統中的表達，更具體地，涉及觸覺系統中的表達。
相關申請
本發明為2006年2月21日提交、2006年6月29日公開的序列 號為11/357,197的美國專利申請的部分繼續申請(申請11/357,197為 2003年3月6日提交、2004年2月5日公開的序列號為10/384,072 的美國專利申請的部分繼續申請)；2003年3月6日提交、2004年2 月19日公開的序列號為10/384,077的美國專利申請的部分繼續申請； 以及2003年3月6日提交、2004年2月19日公開的序列號為 10/384,194的美國專利申請的部分繼續申請；它們中的每一個要求 2002年3月6日提交的美國臨時專利申請No. 60/362， 368的優先權。 申請11/357,197還是2003年7月16日提交、2004年6月3日公開的 序列號為10/621,119的美國專利申請的部分繼續申請，申請 10/621,119為2003年3月6日提交、2004年2月19日公開的序列號 為10/384,078的美國專利申請的部分繼續申請，申請10/384,078要求 2002年3月6日提交的美國臨時專利申請No. 60/362， 368的優先權。 申請11/357,197還要求2005年2月22日提交的美國臨時專利申請 No. 60/655,642以及2006年1月17日提交的美國臨時專利申請No. 60/759,186的優先權。以上提到的各個已>^開申請在此通過引用全體 并入。
背景技術：
觸覺接口允許用戶在虛擬或觸覺環境中體驗觸感，這種接口正在虛擬現實游戲和進行虛擬成像的任務中被接受。使用虛擬圖像幫助用 戶完成任務的一個領域為計算機輔助手術。
在計算機輔助手術中，可利用觸覺接口為手術師提供觸覺指導。 例如，當手術師在實際空間中移動手術器械時，可通過觸覺接口向手 術師施加限制其操作手術器械的能力的約束。該約束可基于，例如虛 擬空間中的虛擬器械與觸覺對象之間的理想關系。在手術中，手術師 利用觸覺接口自動化地操作手術器械。通過觸覺接口向手術師提供約 束反饋，其向手術師施加一個足以保持虛擬器械與觸覺對象之間理想 關系的力。
例如，觸覺對象可以是用于人體結構的虛擬保護邊界。虛擬邊界
與患者的人體(anatomy)對應(或關聯)，而虛擬器械與實際手術 器械對應(或關聯)。為使手術師能夠經由觸覺接口與虛擬環境交互， 使用觸覺表達算法。觸覺表達為計算并施加響應于用戶與虛擬對象的 相互作用的力的處理。利用觸覺表達算法，可將觸覺接口設置為當虛 擬器械靠近虛擬邊界時，手術師體驗到的力增大。這種增大的力向手 術師提供警告，即他接近感興趣的結構，因此應當謹慎進行以避免對 結構不希望的進入以及破壞(例如避免鉆頭進入骨骼太深)。 本發明針對這種對于改進的觸覺表達處理的需求。

發明內容
一方面，本發明涉及一種用于生成觸覺障礙(penalty)力的方 法。在一個實施例中，方法包括以下步驟定義初級替身位置；定義 次級替身位置；定義HIP位置；當HIP處在距離初級替身位置小于 或等于預定值的進入深度時，生成響應初級替身位置與HIP位置的第 一力；以及當次級替身位置處在距離初級替身位置大于預定值的進入 深度時，生成響應次級替身位置與HIP位置的第二力.在一個實施例 中，預定值為理想的觸覺偏置。在另一個實施例中，第一力為零。在 又一個實施例中，第二力為次級替身位置與HIP位置之間距離的函 數。在又一個實施例中，第一力為初級替身位置與HIP位置之間距離的函數。在另一個實施例中，第二替身位置是至少部分地響應HIP與 虛擬觸覺對象之間的相互作用來決定的。在另一個實施例中，進入深 度為初級替身位置與HIP位置之間的距離。
另一方面，本發明涉及一種用于生成觸力的裝置。在一個實施例 中，裝置包括用于定義初級替身位置的初級替身位置定位器；用于 定義次級替身位置的次級替身位置定位器；用于定義HIP位置的HIP 位置定位器；以及力發生器，用于當HIP處在距離初級替身位置小于 或等于預定值的進入深度時，生成響應初級替身位置與HIP位置的第 一力，以及當次級替身位置處在距離初級替身位置大于預定值的進入 深度時，生成響應次級替身位置與HIP位置的第二力。在另一個實施 例中，第二力為次級替身位置與HIP位置之間距離的函數。在又一個 實施例中，第一力為初級替身位置與HIP位置之間距離的函數。在再 一個實施例中，第二替身位置是至少部分地響應HIP與虛擬觸覺對象 之間的相互作用來決定的。
本發明的又一方面為一種用于映射觸覺空間中的位置的方法。在 一個實施例中，方法包括以下步驟a)定義包括多個立體像素元素 的立體像素空間；b)定義包括多個多邊形表達元素的多邊形空間；c) 生成各個立體像素元素及其各自的多邊形表達元素的數據結構；d) 定位觸覺空間中的點；e)將該點映射到相應的立體像素元素；以及f) 在數據結構中選擇至少一個多邊形表達元素。
在一個實施例中，多邊形表達元素為三角形。在另 一個實施例中， 各立體像素元素為軸對齊盒。在又一個實施例中，數據結構為查找表。
再一方面，本發明涉及一種用于提高具有多個傳動機構和多個接 點的系統中的觸覺穩定性的方法。在一個實施例中，方法包括以下步 驟計算響應于替身位置與HIP位置之間距離的彈力；計算響應于彈 力的接點空間彈力矩；計算響應于接點速度的接點空間阻尼力矩；以 及將接點空間阻尼力矩與接點空間彈力矩相加。
在另 一個實施例中，以笛卡爾坐標計算彈力。在又一個實施例中， 彈力為替身位置與HIP位置之間的差的函數。在再一個實施例中，由彈力的雅可比變換計算接點空間彈力矩。在另一個實施例中，接點空 間阻尼力矩為接點速度的函數。在又一個實施例中，接點空間阻尼力 矩線性正比于接點速度，并且響應接點空間阻尼增益矩陣的對角元計 算比例常數。本發明的又一發明涉及一種形成單相觸覺墻的方法，包
括確定HIP從什么位置接近邊界，以及允許HIP從第一方向經過邊 界但不允許從第二方向經過邊界的步驟。


在此對附圖的參照旨在提供對本發明的方法和裝置的更好的理 解，而不是想要將本發明的范圍限于具體描述的實施例。附圖不一定 是按比例的，而是重點在于圖示出本發明的原理。各圖中相似的參考 符號通常表示相應的部件。
圖1為按照本發明的手術系統的實施例的立體圖； 圖2為按照本發明的觸覺表達處理的實施例的框圖； 圖3為按照本發明的三維幾何觸覺對象的實施例的表示； 圖4為多個疊加的觸覺對象的表示；
圖5為按照本發明的基于多邊形的觸覺表達處理的實施例的流
程圖6為按照本發明的多邊形表面對象的實施例的表示； 圖7為按照本發明的立體像素映射的實施例的表示； 圖8為按照本發明的立體像素查找表的實施例的表示； 圖9為按照本發明的多邊形查找表的實施例的表示； 圖IO示出按照本發明的虛擬引導線的實施例的實現； 圖11為坐標變換的圖形說明; 圖12為虛擬替身(proxy)點位置的說明； 圖13為虛擬替身點位置的說明；
圖14為按照本發明的觸覺表達算法的實施例的流程圖15為具有HIP投影的多個多邊形的圖形表示；
圖15a為活動多邊形(active polygon )優先行為的圖形表示；圖16為在上多邊形(on-polygon)優先行為的圖形表示；
圖17為連續表面優先行為的圖形表示；
圖18為最小力優先行為的圖形表示；
圖19為增大凹角行為的x-y視圖的圖形表示；
圖20為增大凹角行為的y-z視圖的圖形表示；
圖21為用于骨骼的雙替身觸覺表達的實施例的圖；以及
圖21a為HIP上的力矢量的圖。
具體實施例方式
簡而言之，圖1示出按照本發明的手術系統10的實施例。手術 系統IO包括計算系統20，觸覺機器人設備30,跟蹤(或定位)系統 40。在手術中，手術系統10能夠進行全面的、手術中的手術計劃。 手術系統IO還向用戶(如手術師)提供觸覺指導和/或當用戶進行手 術過程時限制用戶對觸覺設備30的操作。
計算系統20包括用于操作和控制手術系統10的硬件和軟件。如 圖1中所示，計算系統20包括計算機21、顯示設備23、以及輸入設 備25。
計算機21可為任何已知的計算系統，但優選地為可編程的基于 處理器的系統。例如，計算機21可包括微處理器，硬盤驅動器(hard drive)，隨機存取存儲器(RAM)，只讀存儲器(ROM)，輸入/ 輸出(I/O)電路，以及任何其他眾所周知的計算機組件。計算機21 優選地適合與不同類型的存儲設備(持久的或可擦除的)一起使用， 諸如，便攜式驅動器，磁性存儲裝置(如軟盤)，固態存儲裝置(如 閃存卡)，光學存儲裝置(如壓縮盤或CD)，和/或網絡/因特網存儲 裝置。計算機21可包括一個或以上獨立或聯網的計算機，包括，例 如在Window, MS-DOS, UNIX,或其他合適的操作系統下運行、并 優選地包括圖形用戶界面(GUI)的個人計算機(如IBM-PC兼容機) 或工作站(如SUN或Silicon圖形工作站)。在一個實施例中，計算 機21包括可從佛羅里達州Fort Lauderdale的MAKO SURGICALCORpTM得到的導航模塊(Navigation Module )。
顯示設備23為計算系統20與用戶之間的視覺接口。顯示設備 23與計算機21相連，并且可為適合顯示文本、圖像、圖形、和/或其 他視覺輸出的任何設備。例如，顯示設備23可包括標準顯示屏(如 液晶顯示器(LCD)，陰極射線管(CRT)、等離子等)，觸摸屏， 可佩戴顯示器(如眼鏡或護目鏡等眼睛佩戴物)，投影顯示器，頭戴 顯示器，全息圖形顯示器，和/或其他視覺輸出設備。顯示設備23可 放在計算機21上或其附近，或可遠離計算機21在非常適合用戶容易 看到的任何位置。顯示設備23可用來顯示對醫療過程有用的任何信 息，包括但不限于，由利用常規成像技術獲得的圖像數據組生成的人 體圖像，圖形模型(如植入物(implant)、器械、人體等的CAD模 型)，被跟蹤對象的圖形表示(如人體、工具、植入物等)，數字或 視頻圖像，注冊信息，校準信息，患者數據，用戶數據，測量數據， 軟件菜單，選擇按鈕，狀態信息等。
除了顯示設備23，計算系統20可包括用于向用戶提供可聽反饋 的音響設備(未示出)。音響設備與計算機21連接，并可以是用于 產生聲音的任何設備。例如，音響設備可包括揚聲器和聲卡，具有集 成音頻支持的主板，和/或外部聲音控制器。在操作中，音響設備可適 合向用戶傳達信息。例如，可將計算機21編程為發信號給音響設備 以產生聲音，諸如語音合成的口頭指示"完成"，以指示完成了手術過 程的一個步驟。類似地，音響設備可用來警告用戶敏感的情況，如產 生蜂鳴聲以指示手術切割工具正靠近軟組織的關鍵部分。
計算系統20的輸入設備25使得用戶能與手術系統10通信。輸 入設備25與計算機21連接，并可包括使得用戶能向計算機提供輸入 的任何設備。例如，輸入設備25可為已知輸入設備，諸如鍵盤、鼠 標、軌跡球、觸摸屏、觸摸板、語音識別硬件、撥號盤、開關、按鈕、 可跟蹤探測器、腳踏板、遠程控制設備、掃描儀、照相機、麥克風， 和/或操縱桿。
計算系統20適合使手術系統10能夠完成與手術計劃、導航、圖像引導和/或觸覺指導相關的各種功能。例如，計算機21可包括與通 用操作、數據存儲和獲得、計算機輔助手術(CAS)、應用、觸覺控 制、和/或任何其他合適功能相關的算法、編程、以及軟件工具。在一 個實施例中，計算系統20包括導航模塊(Navigation Module)中使
用的軟件。
與通用操作相關的工具被設置為提供實現和支持手術系統10的 總體運行的基本計算功能。通用操作工具可包括例如眾所周知的特 性，諸如用于快速圖形處理的功能，用于支持輸入/輸出(1/0)設備 的功能，用于連接到醫院網絡的功能，用于管理數據庫的功能(例如 植入物和器械數據庫)，用于系統安全性的功能(例如登入特征、訪 問限制等)，和/或任何其他對于支持手術系統10的總體運行有用的 功能。
與數據存儲和獲取有關的工具可被設置為使得能夠存儲和訪問 各種形式的數據，諸如圖像數據(如利用任何合適的成像設備，如X 光、計算機斷層成像(CT)、磁共振(MR),正電子發射斷層成像 (PET)，單光子發射計算機斷層成像(SPECT)，超聲等獲得的二 維或三維圖像數據組)、應用數據、植入物數據、器械數據、人體模 型數據、患者數據、用戶偏好數據等。數據存儲和獲取工具可包括適
用于存儲和處理相關數據的任何功能。
與計算機輔助手術相關的工具可被設置為實現手術計劃、導航、
以及基本的圖像引導手術能力。例如，如眾所周知的，CAS工具可包 括用于從圖像數據組生成和顯示圖像的功能，用于確定手術器械的尖 端的位置以及軸向的功能，以及用于將患者和圖像數據組對應到跟蹤 系統40的坐標系的功能。這些功能可使例如計算系統20在顯示設備 23上顯示被跟蹤手術器械位于一張或多張患者人體圖像上的虛擬表 示，并在手術過程期間實時地更新被跟蹤器械的虛擬表示.由圖像數 據組生成的圖像可為二維，或者在三維圖像數據組的情況下，可為基 于例如圖像數據組段的三維重構。當在顯示設備23上顯示一個以上 的圖像時，計算系統20優選地協調被跟蹤器械在不同圖像之間的表示。除了由圖像數據組生成的圖像以外或替代由圖像數據組生成的圖
像，計算系統20可使用人體模型(例如，基于計算機輔助設計(CAD) 的模型，藝術線條，草圖，動畫，藝術表達，普通或變形數據組等)。 與手術系統10的應用相關的工具包括被設置為輔助用戶進行手 術計劃與導航的應用專門程序。與應用工具關聯的程序可被設置為用 在各種醫療過程中和/或可為專門的過程定制。例如，應用工具可包括 與一個或多個整形過程相關的程序，諸如全部膝蓋替換，部分膝蓋替 換，臀替換，肩替換，肘替換，腕替換，踝替換，脊推手術，和/或整 形和/或肌骨植入物的安裝，包括傳統材料的植入物以及較不尋常的植 入物，諸如整形生物學植入物，藥物傳輸植入物，以及細胞傳輸植入 物。應用工具可被定向到手術計劃與導航的不同方面，包括手術前、 手術中、和手術后的活動。例如，應用工具可包括定向到計劃和設置 的程序或處理，諸如系統初始化處理，計劃處理，可視化處理，診斷 成像處理，注冊處理，以及校準處理。應用工具還可包括定向到對象 跟蹤和系統控制的程序或處理，諸如，坐標變換處理，插值處理，工 具與功率控制處理，人體定位處理，模式控制處理，安全處理，閉鎖 檢測算法，以及正向運動學算法。應用工具可包括與觸覺設備30相 關的程序或處理，諸如，觸力計算處理，觸力映射處理，用于生成觸 覺對象的處理，以及觸覺表達算法。應用工具還可包括用于在手術過 程期間與用戶通信的程序和處理，諸如，用于顯示與手術過程的特定
步驟對應的頁面或圖像的軟件，用于提示用戶完成某任務的軟件，以 及用于向用戶提供反饋(例如可視、可聽、可觸的、和/或力反饋)的 軟件。
與觸覺控制相關的工具被設置為完成與觸覺設備30的控制、性 能、穩定性、和/或安全性相關的各種功能。例如，觸覺控制工具可包 括實時操作系統(RTOS)，運動控制軟件，用于為控制觸覺設備30 生成高頻率更新的硬件和軟件，用于確保觸覺設備30的失敗安全操 作的軟件(例如，閘的控制，多余傳感器的監視等)，和/或適用于改 進或提高觸覺設備30的性能、穩定性、和/或安全性的其他任何工具。觸覺控制工具可在計算系統20的計算機21上執行，只要計算機21 具有足以支持觸覺控制工具的運行要求的計算架構即可。計算機21 可為自由站立或合并在機器人的底座或臂中。例如，與觸覺控制關聯 的處理通常具有比計算機21上運行的其他處理更高的操作頻率。在 一個實施例中，觸覺控制處理以大約2kHz的頻率運行。在另一個實 施例中，觸覺控制處理以大約0.1 kHz到大約10 kHz之間的范圍內的 頻率運行。在又一個實施例中，觸覺控制處理以大約500 Hz到大約2， 400 Hz之間的范圍內的頻率運行。在其他實施例中，計算機21提供 適用于獲取觸覺控制處理所要求的操作頻率(如，大約2 kHz)的控 制信息。在優選實施例中，計算機31集成在或嵌入觸覺設備30中。 如果計算機21不具備足以支持觸覺控制處理的運行的架構，則計算 系統20可包括用于觸覺控制工具的執行的補充計算機31 。
計算機31 (圖1中示出)可與計算機21類似，但優選地被構造 為滿足觸覺設備30的特定運行要求，諸如，用于以觸覺設備30的運 行頻率提供控制信息的需要。計算機31可進一步包括一個或多個的 獨立或聯網的計算機。在一個實施例中，計算機31為Intel兼容的x86 3U緊湊PCI單板計算機，具有至少1.6GHz的處理器時鐘速度，至 少2G字節的非揮發性存儲裝置(如硬盤驅動器，壓縮閃存等)，至 少256 MB的RAM, 400 MHz或更快的前端總線，至少1 MB的2 級緩存，以及實時操作系統。 一個這樣的商業上可獲得的實施例包括 來自 Inova Computers GmbH ( 德國 Kaufbeuren ) 的 ICP畫PM隱1004-DG-8A，與來自QNX Software System Ltd.(加拿大 Ottawa, Ontario )的QNX 6.1 (或更晚的)操作系統一起使用。
除了觸覺控制工具外，計算機31可包括使得觸覺設備30能夠利 用來自跟蹤系統40的數據的程序。例如，跟蹤系統40可周期性地生 成被跟蹤對象的姿態(如位置和方向)數據。在一個實施例中，以大 約30Hz生成對象姿態數據。在其他實施例中，例如以大約500Hz或 更高，更頻繁地生成對象姿態數據。將對象姿態數據從跟蹤系統40 傳遞給計算機31 (例如經由接口 100b)，并可以任何常規方式，諸如使用眾所周知的噪聲過濾器調節對象姿態數據。此外，在跟蹤系統
40以低于觸覺控制處理的頻率運行的實施例中，可利用眾所周知的插 值過濾器調節對象姿態數據。插值過濾器通過在分立的數據采樣之間 增多間隙使對象姿態數據平滑從而使對象姿態數據能用在較高頻的 觸覺控制處理中。計算機31還可包括用于將一個空間中的坐標映射 (或變換)到另 一個空間中的坐標以達到空間對齊或對應的坐標變換 處理。例如，手術系統10可利用坐標變換處理將被跟蹤對象(例如 手術工具，患者人體等)的位置映射到計算機31和/或計算機21上運 行的處理使用的坐標系中。眾所周知的，坐標變換處理可包括任何適 合的變換技術，諸如剛體變換，非剛體變換，仿射變換等。
計算系統20中包括多個計算機(例如計算機21和計算機31) 的優點在于可獨立地設置每個計算機。于是，可4f對手術計劃和導航 定制計算機21,而針對觸覺設備30的控制性能、穩定性、和/或安全 性定制計算機31。例如，計算機31可包括實時操作系統(RTOS) 以維持對觸覺控制系統的可靠更新以及用于觸覺設備30的穩定的操 作平臺。相反，因為計算系統20不一定要求與觸覺設備30相同程度 的穩定性，因此計算機21可包括非實時操作系統。于是，替代地可 將計算機21定制為滿足手術導航的特定要求，諸如圖形處理。
具有分立的計算架構的多個計算機的另一個優點在于具有有限 的關于觸覺系統的知識的軟件開發者可生成可與不同的觸覺設備結 合使用的用于計算機21的CAS工具。類似地，具有有限的關于CAS 的知識的軟件開發者可生成致力于提高特定觸覺設備的性能、穩定 性、和/或安全性的觸覺工具。作為分立的計算機的另選方 案，觸覺設 備30的計算功能和計算系統20可合并成例如單個計算機，成像設備 (例如CT設備，MRI設備，熒光鏡設備等)的計算系統，和/或醫 院聯網的計算系統。
如圖1中所示，計算系統20經由接口 100a與觸覺設備30耦合。 接口 100a包括物理接口與軟件接口。物理接口可為任何已知的接口 ， 諸如有線接口 (例如串口， USB，以太網，CAN總線，和/或其他有線通信接口 )和/或無線接口 (例如無線以態網，無線串口，紅外，和
/或其他無線通信系統)。軟件接口可存留在計算機21和/或計算機31 中，并使得計算系統20能與觸覺設備30通信并控制其操作。在一個 實施例中，軟件接口包括允許計算系統20向觸覺設備30發布命令的 工具。例如，計算機21可向計算機31發送一條請求觸覺設備30進 入特定模式(例如靠近模式，觸覺模式，自由模式，輸入模式，保持 模式)的命令。相應地，可對計算機31編程檢查不同的參數以確定 進入所請求模式是安全且可接受的，以及要么使觸覺設備30進入所 請求模式，要么返回適當的錯誤消息。
觸覺設備30為被設置為由用戶操作的手術設備，其移動手術器 械50在患者身上完成過程。在過程期間，計算系統20基于例如患者 的人體與手術器械50的一部分的位置、方向、速度、和/或加速度之 間的關系提供用于控制觸覺設備30的控制參數。在一個實施例中， 控制觸覺設備30以提供用戶操作設備的限制(例如通過限制用戶物 理操作觸覺設備30的能力)。在另一實施例中，控制觸覺設備30以 向用戶提供觸覺指導(即可觸知的和/或力反饋)。可觸知的反饋通常 包括可觸知的感覺，諸如振動，而力反饋是指力形式的反饋(例如阻 擋移動)和/或力矩(也作"扭轉"(wrench))。扭轉包括例如力、 力矩、或力與力矩組合形式的反饋。
來自與計算機輔助手術(CAS)耦合的觸覺設備30的指導使得 手術師能夠主動和精確地控制手術動作(例如切骨)和局部治療的傳 送(例如在腦中)。例如，可將計算系統20編程為基于患者人體的 數據表現(例如手術前的CT圖像數據，超聲數據)；與人體關聯(或 對應)的虛擬(或觸覺)對象；與人體相關的參數(例如，相對于人 體的一部分定義的深度)；和/或人體來確定控制參數。計算系統20 可控制觸覺設備30基于器械50相對于虛擬對象的位置、參數、和/ 或人體產生力、力矩、和/或振動。例如，可約束器械50不得進入與 人體表示關聯的虛擬邊界和/或約束其不得超過相對于人體表示定義 的參數。于是，在手術中，當手術師操作觸覺設備30移動器械50時，可利用虛擬路徑將器械50引導至特定目標，可利用虛擬邊界來定義 切除形狀或阻止器械50與關鍵組織接觸，以及可利用預定參數來限 制器械50的行程(例如到預定的深度)。
還可將計算系統20編程為響應過程期間實際人體的運動來調整 控制參數(例如，通過監視實際人體的檢測到的運動，然后響應檢測 到的運動調整虛擬對象)。通過這種方式，手術系統10可補充或替 代手術現場的直接可視化，提高手術師的自然可觸知感覺和物理靈巧 性，并且有助于從常規大小的入口 (例如長度12英寸或更大)到具 有小到約lmm的直徑的入口瞄準、修復、和替換身體中的各種結構。
在整形應用中，例如通過輔助手術師進行正確的骨刻從而使得在 骨預備處理中保持手術師的密切參與的同時能夠進行精確、可重復的 骨切除，觸覺設備30可用于骨預備中的不精確、不可預測性、以及 不可重復性的問題。此外，由于觸覺設備30在骨切除手術中從觸覺 上指導手術師，因此手術師的技術水平就不那么重要。結果，具有不 同程度的技術和經驗的手術師能夠完成精確、可重復的骨切除。在一 個實施例中，例如，手術器械與觸覺設備30耦合。手術師可通過握 住并移動器械和/或通過握住并操作觸覺設備30以移動器械來操作骨 刻的器械。當手術師進行切除手術時，手術系統10 (用跟蹤系統40) 跟蹤器械的位置，并且在大多數情況下，允許手術師在工作區自由移 動器械。然而當器械靠近與患者對應的虛擬邊界時，手術系統10控 制觸覺設備30提供傾向于約束手術師用器械進入虛擬邊界的觸覺指 導。例如，虛擬邊界可由觸覺對象定義，并且觸覺指導可包括被映射 到觸覺對象并作為阻擋被手術師體驗到的在虛擬邊界方向進一步移 動器械的輸出扭轉(即力和/或力矩)。于是，手術師可感覺到似乎工 具遇到實際物體，例如一堵墻。通過這種方式，虛擬邊界用作虛擬切 除指導。于是，觸覺設備30向手術師傳達關于器械相對于虛擬邊界 位置的信息，并在實際切除處理中提供實際指導。觸覺設備30還可 被設置為限制用戶操作手術器械的能力，如美國專利申請No. 10/470,314 (公開號為US 2004/0128026)中所述，該申請為本發明的受讓人所有，并在此通過引用全體并入。
觸覺設備30可包括適合向用戶傳送可觸知反饋(例如振動)和/ 或力反饋(例如扭轉)的機械或電子機械設備。觸覺設備30可為自 動化的、非自動化的、或自動化與非自動化系統的組合。例如，觸覺 設備30可包括如以下專利申請中所述的觸覺設備2003年3月6日 提交、2004年2月5日公開的序列號為10/384,072的美國專利申請； 2003年3月6日提交、2004年2月19日公開的序列號為10/384,077 的美國專利申請；2003年3月6日提交、2004年2月19日公開的序 列號為10/384,078的美國專利申請；2003年3月6日提交、2004年2 月19日公開的序列號為10/384,194的美國專利申請；2003年7月16 日提交、2004年6月3日公開的序列號為10/621,119的美國專利申請； 和/或2005年2月22日提交的美國臨時專利申請No. 60/655,642。以 上提到的每個已公開申請為本申請的受讓人所有，并在此通過引用全 體并入。
在手術中，計算系統20、觸覺設備30、以及跟蹤系統40合作使 得手術系統10能夠在手術過程期間向用戶提供觸覺指導。手術系統 10通過利用力反饋觸覺接口 (即觸覺設備30)模擬人的觸感系統使 用戶能與虛擬環境交互從而提供觸覺指導。觸覺設備30產生計算機 控制的力，以向用戶傳達虛擬環境以及虛擬環境中的虛擬(或觸覺) 對象的自然感的感覺。計算機控制的力被顯示(即反映或傳達)給用 戶，使他感到虛擬對象的可觸知的感覺。例如，當用戶操作器械50 時，手術系統10確定出器械50的位置和方向。檢測器械50的虛擬 表示與虛擬環境中的虛擬對象之間的碰撞。如果碰撞發生，則手術系 統10基于虛擬器械進入虛擬對象中的深度計算觸覺反作用力。算出 的反作用力映射在虛擬對象表面上，并且適當的力矢量經過觸覺設備 30反饋給用戶。
如在此使用的，"虛擬對象"(或"觸覺對象") 一詞可用來指代不 同的對象。例如，虛擬對象可為諸如植入物或手術器械的實際對象的 表示。另選地，虛擬對象可表示要從人體除去的材料，要在人體中保留的材料，和/或要避免與器械50接觸的人體(或其他對象)。虛擬 對象還可表示路徑，引導線，邊界，接界，或其他限制或界線。
為使用戶能夠與虛擬環境進行交互，手術系統10利用觸覺表達 處理。觸覺表達為計算和施加響應于用戶與虛擬對象的相互作用的力 的處理。在一個實施例中，用于進行此處理的數據流在圖2中圖示出。 在手術中，通常，觸覺設備30 (塊2500)的位置傳感器(塊2502 ) 提供數據給軟件模塊，正向運動學處理(塊2504)。將正向運動學處 理的輸出輸入到坐標變換處理(塊2506)。觸覺表達算法(2508 )接 收來自坐標變換處理的數據，并向力映射處理(塊2510)提供輸入。 基于力映射處理的結果，驅使觸覺設備30的執行器(塊2512)向用 戶傳達適當的觸覺扭轉(即力和/或力矩)。與圖1中的觸覺設備30 的臂33結合描述塊2502的位置傳感器和塊2512的執行器。下面將 結合圖5的步驟S708更詳細地討論塊2504的正向運動學處理和塊 2506的坐標變換處理。塊2508的觸覺表達算法和塊2510的力映射處 理討論如下。
觸覺表達處理可包括任何合適的觸覺表達處理，諸如以下文獻中 描述的觸覺表達處理美國專利No. 6，Ul，577; C. B. Zilles & J. K. Salisbury, "A constraint-based god-object method for haptic display", Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Vol. 3， pp. 146-51， 1995; T. V. Thompson II， D. E. Johnson & E. Cohen， "Direct haptic rendering of sculptured models", Proceedings of the Symposium on Interactive 3D Graphics, pp. 167-76， 1997; K. Salisbury & C. Tar， "Haptic rendering of surfaces defined by implicit functions", Proceedings of the ASME Dynamic Systems and Control Division, DSC-Vol. 61， pp. 61-67， 1997; 和/或J. E. Colgate, M. C. Stanley & J. M. Biwn， "Issues in the haptic display of tool use", Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems, Vol. 3， pp. 140-145,1995，每一篇在此通過引用全體并入。觸覺表達處理產生的虛擬環境包括與器械50的虛擬表示相互作 用的虛擬(或觸覺)對象。虛擬對象與器械50的虛擬表示之間的相 互作用可基于點或基于線。在優選實施例中，手術系統10利用基于 點的觸覺相互作用，其中僅虛擬點，或觸覺相互作用點(HIP)與虛 擬環境中的虛擬對象相互作用。HIP對應觸覺設備30上的物理點， 諸如器械50的尖端。HIP通過虛擬彈簧/阻尼器模型與物理觸覺設備 30上的物理點耦合。與HIP相互作用的虛擬對象可為，例如具有表 面707和觸力法線矢量Fn的觸覺對象705 (圖3中示出)。進入深 度di為HIP與表面707上的最近點之間的距離。進入深度dj表示HIP 進入觸覺對象705中的深度，并且部分地決定虛擬設備的用戶體驗到 的力Fn。
例如，可利用三維幾何原始對象、三維多邊形對象、數學等式、 計算機模型、表面模型、和/或立體像素陣列來建立虛擬(或觸覺)對 象的才莫型。觸覺對象可為靜止的、準靜止的、動態的、連續的、不連 續的、隨時間變化的、和/或僅在某些時間存在的。在一個實施例中， 利用器械位置、方向、速度、和/或加速度的一個或多個函數建立觸覺 對象的模型。于是，在外科骨切除手術的情況下，觸覺表達處理可產 生輸出扭轉對器械位置的映射。可將映射設置為使得反饋給用戶的輸
出扭轉足以阻擋虛擬器械(或HIP)進一步進入觸覺對象。以這種方 式建立虛擬切除邊界。虛擬切除邊界與患者的實際人體、人體圖象、 和/或感興趣的其他坐標系關聯(例如對應)。通過觸覺表達處理表達 的觸覺對象可用作通道(例如引導線)，可為排斥的(例如被設置為 抵制器械SO進入觸覺對象的內部)，可用作容器(例如將器械50保 持在觸覺對象的內部)，和/或可具有排斥和容納的部分。
如圖4中所示，多個觸覺對象701可被疊加，從而來自各觸覺對 象701的力矢量F被合并以得出合觸覺力矢量Fv。在一個實施例中， 來自各觸覺對象701的輸出包括關于慣性坐標系并具有線性特性的笛 卡爾力矢量。觸覺對象的最大數量可基于計算成本確定。
觸覺對象可被定制為包括任何想要的形狀，諸如解剖學輪廓的植入物形狀，用于敏感結構的保護邊界(例如內關節體)，由圖像得出 的腫瘤邊界，以及植入物組件的形象裝配的虛擬固定。在一個實施例 中，可唯一地描畫觸覺對象的輪廓與患者的病況匹配。例如，觸覺對 象可定義僅包圍有病的骨骼的虛擬切除邊界。于是，觸覺對象可用來 指導用戶去除有病的骨骼，同時不傷害周圍健康的骨骼。以這種方式，
手術系統10使得用戶能以定制的方式刻骨，包括無法用傳統切割鉆 和鋸實現的復雜幾何形狀和曲線。結果，手術系統10有助于骨骼不
受傷害的手術過程以及尺寸較小并適合患者獨特病況的植入物設計。
觸覺對象可具有能圖形化地表示在顯示設備23中的關聯空間或 幾何表示。可選擇圖形表示從而向用戶傳達有用的信息。例如，如圖 1中所示，被設置為幫助用戶將器械50引導至手術位置的觸覺對象 300可被圖形表示為漏斗狀的體積。當對應物理器械50的虛擬器械運 動經過虛擬對象300并與之作用時，觸力被反映給用戶從而器械50 被引導至手術位置。另選地，觸覺對象可被圖形化表示為引導線。當 虛擬器械沿著觸覺對象運動并與之作用時，觸力被反映給用戶從而器 械50沿著引導線被直接引向手術位置。在一個實施例中，定義用于 植入物的虛擬切除邊界的觸覺對象可作為圖形圖象描畫在顯示設備 23上，其形狀基本對應植入物的形狀。于是，定義用于股骨組成的虛 擬切除邊界的觸覺對象將具有相應的圖形表示，類似地，定義用于脛 骨組成的虛擬切除邊界的觸覺對象將具有不同的對應圖形表示。
具有簡單體積的觸覺對象優選地用三維隱式表面對象(諸如平
面、球體、圓錐、圓柱等)的組合進行建模。例如，圖3中示出的觸 覺對象705為球體。觸覺對象705的表面為連續光滑的，并且進入深 度(di)以及垂直于對象表面的觸力矢量(Fn)的解可以不昂貴的固 定計算成本從基于觸覺相互作用點(HIP )的緊湊數學表面函數得到。 對于更復雜的物體，可利用基于多邊形的觸覺表達技術。
圖5示出按照本發明的基于多邊形的觸覺表達處理的實施例。在 步驟S702中，利用例如計算機輔助設計(CAD)軟件生成用戶可與 之相互作用的虛擬環境。例如可利用顯式表面模型生成虛擬環境。在一個實施例中，虛擬環境包括含有多個多邊形表面對象的三維虛擬
(或觸覺)對象。如圖6中所示，各表面對象優選地為三角形，并通 過三個節點(或頂點)v0、 vl、和v2以及法線矢量n表示。例如， 通過將虛擬對象的壁偏置器械50的半徑，可重新形成虛擬對象的形 狀以補償器械50的物理直徑。為了提高計算性能(這在實時應用中 很重要)，可重新篩選多邊形表面對象，例如，去掉小于理想空間分 辨率的多邊形。當虛擬對象為閉合腔時，可通過生成具有兩個表面， 即外對象表面和內腔表面的虛擬對象來簡化利用CAD系統虛擬對象 的生成。然而僅使用內腔表面可有利地減少用于表達所需的體積以及 多邊形對象(例如三角形、多邊形等)的數量。此外，可通過利用 CAD系統產生虛擬實對象、生成表面網格、以及翻轉表面使得各多邊 形對象的法線矢量沖內來產生單面閉合虛擬腔。在一個實施例中，表 達處理可支持對閉合虛擬對象的單方向進入行為，其中僅當HIP從外 部運動到內部時允許其穿過虛擬對象。
回到圖5，在步驟S704中觸覺表達處理產生虛擬環境中多邊形 表面對象的立體像素映射。為了產生立體像素映射，將虛擬環境中的 虛擬對象在空間上分成更小的單元或體積元(立體像素)以減少多邊 形表面對象的數量并避免不必要的碰撞檢查。如圖7中所示，虛擬對
象被分成 的格子。格子可為固定間隔或可有不同分辨率。每 個立體像素具有指向占領該立體像素或與之交叉的多邊形的指針。給
出一組多邊形，通過以下步驟構造立體像素查找表針對感興趣的多 邊形獲取多邊形數據(即頂點v0、 vl、和v2的xyz分量)；生成圍 繞多邊形的邊界盒(bounding box);對于邊界盒中的立體像素加入 多邊形的唯一標識號；并增加占有立體像素的多邊形的總數。重復這 些步驟直到最后一個多邊形被處理。如圖6 (多邊形參照系)和圖7 (立體像素參照系)所示，利用公式vijk=(int)floor(p/s)，其中s為立 體像素的尺寸，將多邊形系中的點(p)變換到立體像素系中。圖8 和圖9中分別示出立體像素和多邊形查找表的例子。
在圖5的步驟S706中，觸覺表達處理生成到目標點或目標區的引導線。引導線用作將HIP引導至特定位置的通道或虛擬引導線。引 導線用來例如引導用戶對物理器械50的移動使得器械50避開關鍵的 人體。對于用戶不能穿越的閉合觸覺體積，引導線也是有用的。參照 示出虛擬球體720的圖10說明引導線的實現。
球體720包括由球體720的中心721和半徑722定義的活動區。 當HIP在活動區以外時，用戶可自由移動觸覺設備30。當HIP進入 活動區時，觸覺設備30被置于其中沿著半徑722產生引導線段的接 近模式。引導線段722例如從球體720表面上的進入點(Pe) 723延 伸到目標點(Pt) 721。正常地，球體720的中心將與目標點重合(或 至少將在目標區內)。當引導線段722被激活時，HIP可沿著引導線 段722自由移動。偏離引導線段722的HIP的移動(例如由于試圖垂 直于引導線段722移動)導致反饋給用戶的阻力。當HIP接近目標點 時，監視從HIP的當前位置到目標點的距離。當距離小于限制半徑時， 例如，通過提供單向約束虛擬限制球體724， HIP的行為受到限制。 當HIP靠近目標點移動時，限制球體724的半徑減小。當從HIP到 目標點的距離小于轉換半徑(在圖10中由轉換球體725表示)時， 虛擬對象的觸覺表達開始。
在圖5的步驟S708中，觸覺表達處理將物理HIP (例如器械50 的尖端)映射到虛擬空間。例如，圖2的正向運動學處理(塊2504) 計算就慣性參照系(Ri)而言物理HIP的笛卡爾位置。圖2的坐標變 換處理(塊2506)進行圖11中所示的慣性參照系(Ri)、多邊形系 (Rp)(附接到多邊形虛擬對象的參照系)、以及立體像素系(Rv) (附接到立體像素陣列的參照系)之間的坐標變換。 一旦觸覺表達處 理確定出HIP對于多邊形對象參照系(Rp)的位置，觸覺表達處理 進展到步驟S710,并通過查看被占據的立體像素及相鄰立體像素來搜 索候選多邊形對象。在步驟S712中，觸覺表達處理檢查碰撞(例如， 自上個表達循環以來HIP穿過多邊形對象)并基于理想的虛擬替身 (proxy )行為(如下面結合圖12、 13所述)確定虛擬替身點位置(例 如HIP沿著虛擬對象表面的受約束位置)。在步驟S714中，將器械坐標中預定的理想剛度和阻尼矩陣變換到慣性參照系坐標。在步驟
S716中，基于由將HIP與觸覺設備30耦合的虛擬彈簧和阻尼力定義 的虛擬表面的理想硬度，計算出通過觸覺設備30反饋給用戶的觸力。 在步驟S718中，通過觸覺設備30將算出的觸力顯示或反映給用戶。
如圖12和13中所示，可基于HIP在當前時刻t的位置(HIP(t)) 以及HIP在前一時刻(t-l)的位置(HIP (t-l))確定出初始虛擬替 身點的位置。例如，當HIP在虛擬對象以外時，觸覺表達處理通過檢 測包括虛擬對象的多邊形表面對象與在位置HIP (t)和HIP (t-l) 之間延伸的線段(L)之間的交叉來檢查HIP與虛擬對象表面之間的 初始接觸。初始虛擬替身點的位置VPt算作線段(L)與多邊形表面 對象的交點。
圖14示出詳細說明按照本發明基于多邊形表面對象的觸覺表達 算法(圖2的塊2508)的實施例的流程圖。在步驟SIOO中，更新HIP (t)的位置并將其變換到多邊形參照系。在步驟S101中，該算法確 定出collisionDetectedFlag(t-l)的值是否為1，即是否已檢測到碰撞。 如果collisionDetectedFlag未置，則意味著在(t-l)沒有檢測到碰撞， 在步驟S103中，算法將HIP (t)映射到立體像素坐標。在步驟S105 中，算法確定出HIP (t)是否在立體像素邊界盒內。如果不在，則當 前沒有檢測到碰撞，算法推進到步驟S115，將用戶感受到的觸力設為 零，步驟S117將collisionDetectedFlag(t)設為零，以及步驟S119時 間前進到t-t+l。如果步驟S105確定出HIP (t)在立體像素邊界盒 以內，則算法推進到步驟S107，并沿著HIP (t)的線段從立體像素 查找表中搜索候選多邊形。在步驟S109中，算法從多邊形查找表中 獲取多邊形信息。在步驟S111中，算法測試HIP (t)的線段與多邊 形的交叉，并且在步驟S113中，確定是否檢測到初始碰撞。如果沒 有檢測到碰撞，則算法推進到如上所述的步驟S115、 S117和S119。 如果檢測到碰撞，則算法推進到步驟S132 (下面描述)。
相反，在步驟SIOI中，如果collisionDetectedFlag(t-l)的值為1， 則算法釆用流程圖的右支。在步驟S102中，算法將HIP (t)映射到立體像素坐標。在步驟S104中，算法從立體像素查找表中搜索HIP (t)處的相鄰多邊形。在步驟S106中，算法從多邊形查找表中獲取 多邊形信息。在步驟S108中，測試各個相鄰多邊形以確定它是否與 從HIP (t-l)到HIP (t)的線段交叉。在步驟S110中，算法利用此 信息確定HIP (t)是否退出多邊形。如果是，則HIP不再進入虛擬 對象，并且算法推進到如上所述的步驟S115、 S117、和S119。
如果步驟S110確定出HIP還沒有退出多邊形，則算法推進到步 驟S112,其中算法將HIP (t)沿著多邊形的相應表面法線矢量投影 到各相鄰的多邊形。參照圖15，如果被投影的HIP (t)在多邊形內， 則算法將多邊形設置為在上多邊形(On-Polygon)，并存儲交點。否 則，算法找出多邊形邊界上離被投影的HIP (t)最近的點(都在多邊 形的平面內)并存儲該點。對每個相鄰多邊形重復此處理。然后算法 基于來自前一時刻循環的活動多邊形AP(t-l)是否在步驟22中祐^設 置為在上多邊形以及在當前循環中是否僅有單一多邊形被設置為在 上多邊形做出決定點。各種情況如下所述進行處理。
在步驟S114中，算法確定出之前的活動多邊形(其上與虛擬替 身點接觸)是否仍為在上多邊形。如果是，在步驟S124 (活動多邊形 優先ActivePolyPriority )中，這個多邊形的表面具有成為活動多邊形 的優先權，即使其他多邊形被認為是在上多邊形。AP(t)因此被保 留，并且虛擬替身點VP (t)被設置在活動多邊形的表面上的最近點。 通過從HIP (t)畫出到最近活動多邊形表面的垂線確定出這個在時刻 (t)的虛擬替身點VP (t)。
例如，圖15a示出由兩個毗連的表面540和542定義的虛擬對象 的凸部。當HIP在t-l時刻處在位置544時，表面540為在上多邊形， 而542不是在上多邊形。虛擬替身點位置在(t-l)時刻處在位置548。 如果HIP移動到位置546,則表面540和542都為在上多邊形，并且 位置550和552為替身點位置的候選。在這種情形下，表面540將被 選為活動多邊形，并且替身點位置被更新為位置550。通過這種方式 給予之前的活動多邊形優先權避免了將位置552選為替身點，該位置552將導致替身點位置以及用戶經歷的所產生的觸覺相互作用力的不 自然跳躍。即，當HIP從其位置HIP (t-l) 544移動到HIP (t) 546 時，用戶感受到的力應當垂直于表面540，而不是非連續地改變方向 變成垂直于表面542。
如果步驟S114確定之前的活動多邊形不是在上多邊形，則算法 推進到步驟S116，確定是否檢測到單個在上多邊形。如果在步驟S116 中不是檢測到單個在上多邊形，則算法在步驟S120中再次檢查。如 果在步驟S116中檢測到單個的在上多邊形，則算法推進到步驟S118， 并且在步驟S120中再次檢查單個在上多邊形之前為凸角增加在上多 邊形。如果在步驟S120中檢測到單個在上多邊形，則算法推進到步 驟S126，用如下所述新的多邊形更新活動多邊形。如果在步驟S120 中不是檢測到單個在上多邊形，則算法推進到步驟S122并確定是否 檢測到多個在上多邊形。如果檢測到多個在上多邊形，則算法推進到 步驟S128，基于以下描述的力矢量偏離標準選擇活動多邊形。否則， 算法推進到步驟S130,基于以下描述的最小力標準選擇活動多邊形。
在步驟S126 (在上多邊形優先(OnPolygonPriority ))中，用 新的在上多邊形更新AP (t),并將VP (t)設置在活動多邊形表面 上的最近點。例如，如圖16中所示，虛擬對象具有兩個毗連表面554 和556。在(t-l)時刻，HIP在位置558,并且替身點在位置562。 當HIP從位置558向位置560移動跨過表面邊界線564時，表面556 變成在上多邊形，并且位置566變成新的替身點位置。于是，如果檢 測到新的單個在上多邊形，則新的單個在上多邊形變成活動多邊形。
在步驟S128中(連續表面優先(ContinuousSurfacePriority)), 基于力矢量偏離標準選擇AP (t)，并將VP (t)設置在活動多邊形 表面的最近點。如圖17中所示，算法檢測多個新的在上多邊形，圖 17示出由三個表面568、 570、和572定義的虛擬對象的凸部。當HIP 從位置574移動到位置578時，算法檢測到兩個新的在上多邊形表面 570和572。于是，位置580和582為新的虛擬替身點位置的候選。 在這種情形下，算法排除阻尼因素，計算力矢量的可能候選，并比較力矢量偏離與之前力矢量偏離。算法確定出活動多邊形使得以下目標
函數最小化
=min||/"、' _/'-』
其中人,表示通過HIP的當前位置以及第i個多邊形上的虛擬替 身點的可能位置定義的彈力矢量的單位矢量，厶,表示前一時刻顯示的 觸力的單位矢量。在一個實施例中，表面570將成為新的活動多邊形， 而位置580將成為新的替身點位置。
在步驟S130 (最小力優先(MinimumForcePriority))中，AP (t)基于最小力標準，并且VP (t)設置在活動多邊形表面上的最近 點。如圖18中所示，HIP位于檢測不到在上多邊形的位置。圖18示 出由三個表面584、 586、和588定義的虛擬對象的凹部。當HIP從 位置590移動到位置594時，沒有表面為在上多邊形。位置596為離 表面586和584最近的點，位置598為離表面588最近的點。在這種 情形下，算法計算當前HIP與可能的替身點位置之間的距離，并確定 出虛擬替身位置從而最小化以下目標函數
=min|h^-x,.,J|
其中x,》表示第i個多邊形上的可能虛擬替身點的位置， 表示
當前觸覺接口點的位置。在這種情形下，算法依賴于表面584和表面 586的處理順序將表面584或表面586設置為在上多邊形，位置596 將成為替身點位置。
在步驟S132 (接觸多邊形優先(ContactPolygonPriority ))中， 用交叉的多邊形更新AP (t)，并且將VP (t)設置為活動多邊形表 面上的最近點。在算法檢測到一個在上多邊形對象以及多個凹面的情 況下，當觸覺接口點位于凹角中時，算法增加在上多邊形對象。在這 種情形下，應用程序將凹多邊形表面設置為在上多邊形從而連續觸覺 表達可發生在凹角處。圖19和20示出由三個表面500、 502和504 表示的凹角部分。圖19為角的x-y視圖，而圖20為角的y-z視圖。 當觸覺接口點從位置506 (對于替身點位置508)移動到位置510 (圖 20)時，其進或出圖19的頁面，表面504變成唯一的在上多邊形對象。為了避免由于在上多邊形優先行為導致算法將表面504設置為活 動多邊形表面并選擇位置514為替身點位置的情形，算法將兩個凹面 500和502增加為在上多邊形對象。結果，按照連續表面優先行為， 位置512將成為替身點位置。
在步驟S134中，將以器械坐標定義為常參數的剛度和阻尼矩陣 變換到慣性坐標系中。當物理觸覺系統30具有諸如纜繩驅動傳動和 直接驅動傳動的不同的傳動設備時，因為物理系統在不同的方向具有 不同運動屬性，因此各向同性的空間剛度和阻尼增益可引起不穩定 性。出于這個原因，需要將可能相對于器械坐標定義的空間剛度和阻 尼矩陣變換到慣性坐標系中。算法基于當前的旋轉和平移矩陣計算伴 隨變換矩陣，并對空間剛度和阻尼矩陣進行變換。用TKs和^s分別 表示在器械系和慣性系中測得的剛度矩陣。用Adg表示伴隨變換矩陣， 給出為
<formula>formula see original document page 27</formula>
給定矢量 表示用來表示作為矩陣-矢量乘積的叉 積的斜對稱矩陣
<formula>formula see original document page 27</formula>
其中R為旋轉矩陣，而p為平移矢量。 算法計算慣性系中的剛度矩陣
在步驟S136中，算法按照虎克定律基于觸覺接口點的位置和虛 擬替身點位置計算彈性觸力矢量
<formula>formula see original document page 27</formula>
其中 表示當前虛擬替身點的位置，而 表示當前觸覺接口點 的位置。
在步驟S138中，算法基于觸覺接口點與虛擬替身點之間的相對 運動計算阻尼觸力矢量"g 《O p - i/!* J
其中、表示虛擬替身點的速度，^表示觸覺接口點的速度，而
表示慣性系中的空間阻尼矩陣。
在步驟S140中，阻尼力與彈性力之和作為想要的力輸出發送給 物理觸覺設備30 (圖5中的步驟S718)。在控制觸覺設備30的執行 器(圖2的塊2512)輸出力反饋以前，力映射處理(圖2的塊2510)
將想要的力Fdesired轉換為接點(joint )力矩r:
其中JT為雅可比變換。然后計算系統20控制觸覺設備30的執
行器輸出接點力矩"
在步驟S142中，將collisionDetectedFlag(t)置為1。在步驟S144 中，時刻(t)前進到(t+l)。
在觸覺設備驅動(例如馬達)與位置輸出(例如接點)之間的傳 動可能有柔量(compliance)、空回、滯后、或非線形的情況下，在 傳動的驅動端與負載端都包括位置傳感器是有益的。負載端傳感器用 來計算所有接點與端點位置，因為它們將最準確地反映實際值。驅動
端傳感器用來計算任何阻尼運算中的速度，諸如上述Fdamping，其 幫助避免激發傳動運動。
按照一個實施例，基于觸覺設備30的部分(例如器械50)向與 人體表示關聯的虛擬(或觸覺)邊界的靠近來確定觸覺設備30的理 想力反饋(或輸出扭轉)。于是，如果器械50位于離觸覺邊界足夠 的距離，則控制器不命令產生觸力，并且用戶自由移動器械50，就象 在空的空間中進行一樣。
然而，當器械50接近或接觸觸覺邊界時，控制器向馬達發出力 矩命令，從而向用戶的手施加適當的扭轉。優選地，力反饋的量隨著 器械50靠近虛擬邊界而增大，并且不呈現可能引起振蕩或不想要的 振動的不連續階躍。例如，當器械50靠近觸覺邊界時，觸覺設備30 可在與用戶移動器械50的方向相反的方向上施加力，從而用戶感受 到減慢和/或停止器械50的運動的排斥或反作用力。在一個實施例中，當器械50繼續向觸覺邊界運動時，力增大的速率可以，例如，在5 N/mm至50N/mm的范圍內。在另一實施例中，力增大的速率可為大 約20N/mm。通過這種方式，約束用戶不要進入觸覺邊界太深。
當器械50接觸觸覺邊界時，力可為使得用戶感覺到好象器械50 碰到如墻壁的實際物體一樣。力的大小可阻止用戶進入觸覺邊界(例 如約100N或更大的量)，但優選地設置為使得用戶可根據希望突破 觸覺邊界(例如在約20N至約60N的范圍內的量)。于是，可將計 算系統20編程為允許用戶克服力反饋并將觸覺設備30移動到想要的 位置。通過這種方式，觸覺設備30限制用戶無意地闖入觸覺邊界， 但是用戶可以壓倒觸覺設備30，于是保留對手術過程的完全控制。
在一個實施例中，手術系統10包括用于針對特定用戶定制觸覺 對象的力反饋函數的觸覺調節特性。這種特性有利是因為每個用戶具 有獨特的手術技術。于是，當操作器械50時，不同用戶可使用不同 大小的力。例如，利用輕的接觸方式操作器械50的用戶可比利用較 重接觸方式的用戶更早感覺出觸覺反饋。并不要求利用較重接觸方式 的用戶改變他的手術技術以充分感受到觸覺反饋，而是觸覺調節特性 使得能夠調節力反饋函數以適應各特定用戶。通過調整(或調節)力 反饋函數，用戶能以他喜歡的力度操作器械50，并且仍充分地感受觸 覺設備30施加的觸覺反饋。結果，提高了用戶將器械保留在觸覺邊 界內的能力。例如，力反饋曲線包括將力F與距離d相關聯的函數F (d)。函數F (d)例如可從觸覺對象、耦合剛度、或剛度函數得出， 或為它們的積。在一個實施例中，Fi為針對用戶(或用戶組)的典型 觸覺相互作用力，而dj為進入深度或距離(例如器械50進入觸覺對 象中)，其中巧=,(《)成立。向左偏移或偏置函數F (d)例如di，得 到力反饋函數FW +《)，其引起在器械靠近觸覺邊界時力F被較早地施 加(即，在進入距離為-di而不是進入距離為零處開始)。類似地，向 右偏移或偏置F (d)引起在器械靠近觸覺邊界時力F被較晚地施加。
于是，對于手術技術較為有力的用戶，向左偏置函數F(d)有 利地阻止用戶無意地推入觸覺邊界太深。于是，可通過偏置用于控制觸覺設備30的力反饋曲線一個理想值來完成觸覺調節。還可通過改 變觸覺對象的大小來完成觸覺調節。例如，可增大排斥觸覺對象的大 小來影響觸覺對象。類似地，可改變與觸覺設備30耦合的手術器械 的表示的大小。例如，可增加與觸覺對象相互作用的虛擬器械的尖端 的半徑大小來影響虛擬器械。對于作為容器的觸覺對象，可通過例如 減小觸覺對象的大小來完成調節。
參照圖21，骨骼1000將被去除一個區域以允許植入物在由骨骼 去除形成的腔中固定。由理想預期切除表面1002定義此腔，使得當 用戶將骨材料從骨骼1000去除時觸覺接口產生適當的力。在距預期 切除表面1002預定常數距離(x)處定義被稱為初級替身表面的第二 表面1004。
在預期切除表面1002與初級替身表面1004之間定義被稱為次級 替身表面的第三表面1010。該次級替身表面IOIO位于預期切除表面 1002和初級替身表面1004之間，離初級替身表面1004理想偏置距離 (a)。
參照圖21和21a，在此觸覺表示內，力在該點處被產生的位置 為HIP 1020。初級替身表面1004上與HIP 1020垂直投影在初級替身 表面1004上的位置對應的位置被稱為初級替身& 1024。次級替身表 面1010上與HIP 1020垂直投影在次級替身表面1010上的位置對應 的位置被稱為次級替身Si 1026。
施加在HIP 1020處的力部分地由HIP 1020相對觸覺空間中的次 級替身1026的位置決定。如果進入深度(d)小于理想偏置距離(a)， 則力被導向初級替身1024，并且力為HIP 1020與初級替身1024之間 距離的第一函數。在一個實施例中，力為常量，例如O。
當骨骼被去除并且HIP 1020向預期切除表面1002移動時，HIP 1020到達次級替身表面1010的位置。在此位置，計算出新的力替代 原來的力。該新的力被導向次級替身1026，并具有部分地由HIP 1020 與次級替身1026之間的距離決定的量。在一個實施例中，力線性正 比于次級替身與理想位置之間的距離。于是，手術師可去除骨骼而不感受到阻力，直到到達骨骼中的預 定深度。在這點，隨著器械接近預期切除表面產生越來越大的阻力。
然后算法的步驟變成，定義偏置(a)并計算作為當前時刻HIP 1020
與初級替身1024之間的絕對值的進入深度(d)。
<formula>formula see original document page 31</formula>
接著從下式確定單位力矢量"
然后通過初級替身、力矢量以及進入深度定義次級替身(Si):
<formula>formula see original document page 31</formula>
按照下式部分地通過彈性常數(Kp)確定施加的彈力 F=常數(例如O)， 如果d〈a,
<formula>formula see original document page 31</formula>)，其余。
為使各個用戶能調節力反饋函數，計算系統20優選地包括實現 能在顯示設備23上顯示的圖形選擇界面的編程。例如，圖形選擇界 面可為使用戶能夠在例如0.0到1.0之間設置調節值的圖形界面和/或 使用戶能夠選擇例如用于"輕"、"中"、或"重"接觸的調節的圖形界面。 還可將計算系統20編程為存儲調節設置的理想值，并將理想值與特 定用戶關聯(例如使用與用戶偏好數據文件綁定的用戶ID),從而用 戶不必在每次使用手術系統10之前選擇調節設置.
再次參照圖1，所示的典型觸覺機器人包括很多接點并驅動所有 設計的接點將端實施器移動到空間中的任何點并向用戶提供可觸知 的反饋。圖1的機器人具有多個自由度，包括基底、肩關節、肘關節 和腕關節的旋轉。各關節通過傳動驅動，在不同實施例中包括定向在 滑輪上的兩條纜繩或直接驅動馬達。在笛卡爾觸覺空間上/或笛卡爾觸 覺空間中的點處的力由下式給出
其中^為觸覺相互作用點；義，為表面上對應HIP位置的位 置；Kp為彈性恢復力常數；^為觸覺相互作用點的速度；^，為替 身的速度；Kd為阻尼力常數。可通過應用雅可比變換將把接點帶到或保持在位置上所需的接點上的力矩計算為在笛卡爾空間中移動位
置所需的力
*" _/o int " " caWew'ow
觸覺反饋的穩定性，即避免希望位置處的振蕩，在一個實施例中 由函數給出
觸覺穩定性=/(a,,^,^,^)
其中。,為采樣時間的函數(例如1 KHz) ; ^為傳感器分辨率的 函數；A為用于傳動的彈性常數Kp以及阻尼常數Kd的函數；"4為物 理阻尼(例如摩擦)的函數。
施加給HIP的阻尼力(Fd)由以下等式給出
Fc/ =(血/《,p -血/ c/fp，) 其中=
以及認& =[《/ 氣/ 《/ t/《；/1//,氣/ <
其中化為纜繩驅動接點的接點速度，而dA / A為直接驅動接點 的速度。纜繩驅動接點具有傳動柔量。接點與馬達之間的傳動柔量在 接點速度計算中引入的相位延遲比直接驅動接點大。在混合驅動系統 中，即具有直接和傳動驅動二者的系統，在接點空間中實現阻尼作用 是有益的，使得直接驅動的接點將不會受到來自任何纜繩驅動接點的 接點速度計算的相位延遲的影響。有兩種方法來實現，接點空間彈性 與阻尼力方法或者笛卡爾空間力與接點空間阻尼方法。
在接點空間彈性與阻尼方法中首先HIP與替身的接點角度由 下式定義
呵=!"verae A:/"謡am(A)以及
其中p和h分別為替身位置和HIP位置。
在一個實施例中，接點空間剛度和阻尼系數通過以下等式從e的 雅可比對角線得到在其他實施例中，接點空間剛度Kpj和阻尼系數Kdj通過其他方 法獲得，諸如設置預定的固定值、調度等。 最后，由角度和角速度計算力矩
" (n)-w歸
在笛卡爾空間彈性與接點空間阻尼方法中，笛卡爾彈力由下式定
義
尸—g
其中Kpx為笛卡爾彈性力常數，而U",)為替身點位置(p)與 HIP的位置(h)之間的距離。與彈力等價的對應接點力矩(Tspring) 于是為
在一個實施例中，接著計算阻尼力矩(u，g)。當用戶沿表面
移動時，接點空間阻尼算法引起拖曳力。為了消除沿著表面的此摩擦 力，進行以下步驟
首先，形成扭轉矢量F6，其為力/動量對
「F —
|_似
其中F6為普通的力(扭轉)矢量，F6ejR6，且i^W表示笛卡爾
力矢量，尸e/ 3 ( Me/ 3 )表示笛卡爾動量矢量。 接著，計算扭轉方向矢量，Pjlj。
將扭轉方向矢量映射成相應的接點空間矢量
然后計算權重因子u^W， |vL=max{|v|,}， i=l，...，n，并且M。
按照下式計算阻尼力<formula>formula see original document page 33</formula>最后合并兩個接點力矩
以上對本發明不同實施例進行描述是為了使本領域技術人員能 夠做出和使用本發明及其實施例。可以對這些實施例進行各種修改， 并且在此提出的 一般原則同樣適用于其他實施例。
盡管已經就某些示例性的優選實施例對本發明進行了描述，本領 域普通技術人員將很容易理解和承認本發明并非局限于此，可在本發 明如以下所主張的范圍內對優選實施例進行增、刪、和修改。相應地， 本發明的范圍僅由所附的權利要求限定。
權利要求
1. 一種用于生成觸覺障礙力的方法，包括以下步驟定義初級替身位置；定義次級替身位置；定義HIP位置；當HIP處在距離初級替身位置小于或等于預定值的進入深度時，生成響應初級替身位置與HIP位置的第一力；以及當次級替身位置處在距離初級替身位置大于預定值的進入深度時，生成響應次級替身位置與HIP位置的第二力。
2. 權利要求l的方法，其中預定值為理想的觸覺偏置。
3. 權利要求l的方法，其中第一力為零。
4. 權利要求l的方法，其中第二力為次級替身位置與HIP位置 之間距離的函數。
5. 權利要求l的方法，其中第一力是至少部分地響應初級替身 位置與HIP位置之間的距離來決定的。
6. 權利要求1的方法，其中第二替身位置是至少部分地響應HIP 與虛擬觸覺對象之間的相互作用來決定的。
7. 權利要求1的方法，其中進入深度為初級替身位置與HIP位 置之間的距離。
8. —種用于生成觸力的裝置，包括用于定義初級替身位置的初級替身位置定位器；用于定義次級替身位置的次級替身位置定位器；用于定義HIP位置的HIP位置定位器；以及力發生器，用于當HIP處在距離初級替身位置小于或等于預定 值的進入深度時，生成響應初級替身位置與HIP位置的第一力；以及 當次級替身位置處在距離初級替身位置大于預定值的進入深度時，生 成響應次級替身位置與HIP位置的第二力。
9. 權利要求8的裝置，其中第二力是至少部分地響應次級替身位置與HIP位置之間的距離來決定的。
10. 權利要求8的裝置，其中第一力是至少部分地響應初級替身 位置與HIP位置之間的距離來決定的。
11. 權利要求8的裝置，其中第二替身位置是至少部分地響應 HIP與虛擬觸覺對象之間的相互作用來決定的。
12， 一種用于映射觸覺空間中的位置的方法，包括以下步驟a) 定義包括多個立體像素元素的立體像素空間；b) 定義包括多個多邊形表達元素的多邊形空間；c) 生成各個立體像素元素及其各自的多邊形表達元素的數據結構；d) 定位觸覺空間中的點；e) 將該點映射到相應的立體像素元素；以及f) 在數據結構中選擇至少一個多邊形表達元素。
13. 權利要求12的方法，其中多邊形表達元素為三角形。
14. 權利要求12的方法，其中各立體像素元素為軸對齊盒。
15. 權利要求12的方法，其中數據結構為查找表。
16. 權利要求12的方法，其中在將點映射到相應的立體像素元 素之后搜索HIP處的相鄰多邊形。
17. —種用于提高具有多個傳動機構和多個接點的系統中的觸覺 穩定性的方法，所述方法包括以下步驟計算響應于替身位置與HIP位置之間距離的彈力； 計算響應于彈力的接點空間彈力矩；計算響應于接點速度的接點空間阻尼力矩；以及 將接點空間阻尼力矩與接點空間彈力矩相加。
18. 權利要求17的方法，其中以笛卡爾坐標計算彈力。
19. 權利要求18的方法，其中彈力為替身位置與HIP位置之間 的差的函數。
20. 權利要求17的方法，其中由彈力的雅可比變換計算接點空 間彈力矩。
21. 權利要求17的方法，其中接點空間阻尼力矩為接點速度的函數。
22. 權利要求21的方法，其中接點空間阻尼力矩線性正比于接 點速度，并且響應接點空間阻尼增益矩陣的對角元計算比例常數。
23. —種形成單相觸覺墻的方法，包括確定HIP從什么位置接 近邊界，以及允許HIP從第一方向經過邊界但不允許從第二方向經過 邊界。
全文摘要
在一個方面，本發明涉及一種用于生成觸覺障礙力的方法，在一個實施例中包括以下步驟定義初級替身位置；定義次級替身位置；定義HIP位置；生成響應初級替身位置與HIP位置的第一力以及生成響應次級替身位置與HIP位置的第二力。
文檔編號B25J9/16GK101426446SQ200680053670
公開日2009年5月6日 申請日期2006年12月27日 優先權日2006年1月17日
發明者A·E·奎德, D·摩西, 姜孝植 申請人:馬科外科公司