本發明涉及一種跟蹤系統及利用其的跟蹤方法，更詳細地，涉及一種可跟蹤如同手術工具等器具的位置的跟蹤系統及利用其的跟蹤方法。

背景技術：

由于手術工具需配置在準確的位置來進行手術，因而需要可準確、實時跟蹤上述手術工具的位置及姿勢的系統，即跟蹤系統。這種跟蹤系統有利用立體攝像頭的光學跟蹤器(Optical tracker)。

這種光學跟蹤器為可通過立體攝像頭拍攝固定于手術工具的標記(marker)來跟蹤手術工具的位置及姿勢的裝置。但是，若固定于手術工具的標記未被立體攝像頭拍攝到，即發生遮擋(Occlusion)問題，則將無法繼續用上述光學跟蹤器跟蹤上述手術工具的位置及姿勢。

因此，在近期的部分研究中，著力通過另外設置固定于手術工具或標記的慣性測量單元(IMU，Inertial Measurement Unit)來解決如上所述的問題。這種慣性測量單元屬于測定并獲取手術工具的加速度及角速度的傳感裝置，可通過所獲取的加速度及角速度來跟蹤上述手術工具的位置及姿勢。因此，即使立體攝像頭發生上述遮擋問題，也可通過上述慣性測量單元進行補償，因而可連續跟蹤上述手術工具的位置及姿勢。

但是，在上述慣性測量單元測定的加速度包括基于地球重力的重力加速度及基于移動的移動加速度。此時，只有上述移動加速度用于掌握上述手術工具的位置，因而需從由上述慣性測量裝置測定的加速度去除上述重力加速度。因此，為了從由上述慣性測量裝置測定的加速度中去除上述重力加速度，需對與重力加速度相對應的地球坐標系及與由上述慣性測量單元測定的加速度相對應的光學跟蹤器坐標系之間進行補正。

但是，若完成對地球坐標系與光學跟蹤器坐標系之間的補正，則不能移動上述光學跟蹤器。若上述光學跟蹤器被移動，則因上述光學跟蹤器的移動而導致光學跟蹤器坐標系發生改變，因而需重新進行坐標系補正。這種坐標系重新補正過程不僅繁瑣，而且還有可能在手術過程中光學跟蹤器的位置意外發生改變的情況下無法認識到需要進行坐標系補正。

技術實現要素：

(解決的技術問題)

因此，本發明用于解決如上所述的問題，本發明所要實現的一目的在于，提供可與光學跟蹤器的移動無關地連續跟蹤測定對象的位置及姿勢的跟蹤系統。

并且，本發明的另一目的在于，提供利用上述跟蹤系統的跟蹤方法。

(技術方案)

本發明的一實施例的跟蹤系統包括標記(marker)、攝像頭部、第一慣性測定部、第二慣性測定部及跟蹤處理部。

上述標記固定于測定對象。上述攝像頭部通過拍攝上述標記來輸出標記影像。上述第一慣性測定部固定于上述攝像頭部，測定并輸出將第一加速度及第一角速度包括在內的第一慣性。上述第二慣性測定部固定于上述測定對象及上述標記中的任意一個，測定并輸出包括第二加速度及第二角速度在內的第二慣性。上述跟蹤處理部通過上述標記影像第一次抽取上述測定對象的位置及姿勢，通過上述第一慣性及第二慣性第二次抽取上述測定對象的位置及姿勢。

上述跟蹤處理部可通過上述第一加速度及第二加速度抽取上述測定對象的位置，可通過上述第一角速度及第二角速度抽取上述測定對象的姿勢。

上述跟蹤處理部可在利用從上述第一加速度抽取的重力加速度來從上述第二加速度抽取基于上述測定對象的移動的移動加速度之后，通過上述移動加速度抽取上述測定對象的位置。

上述跟蹤處理部可在從上述第一加速度抽取上述重力加速度并將上述第二加速度及上述重力加速度中的至少一個轉換成坐標系互相相同之后，利用坐標系互相相同的上述第二加速度及上述重力加速度來抽取移動加速度。

接著，本發明的一實施例的跟蹤方法包括：攝像頭部對固定于測定對象的標記進行拍攝并輸出標記影像的步驟；跟蹤處理部從上述標記影像第一次抽取上述測定對象的位置及姿勢的步驟；固定于上述攝像頭部的第一慣性測定部測定并輸出將第一加速度及第一角速度包括在內的第一慣性的步驟；固定于上述測定對象及上述標記中的任意一個的第二慣性測定部測定并輸出包括第二加速度及第二角速度在內的第二慣性的步驟；以及上述跟蹤處理部通過上述第一慣性及第二慣性第二次抽取上述測定對象的位置及姿勢的步驟。

第二次抽取上述測定對象的位置及姿勢的步驟可包括：通過上述第一加速度及第二加速度抽取上述測定對象的位置的步驟；以及通過上述第一角速度及第二角速度抽取上述測定對象的姿勢的步驟。

抽取上述測定對象的位置的步驟可包括：利用從上述第一加速度抽取的重力加速度來從上述第二加速度抽取基于上述測定對象的移動的移動加速度的步驟；以及通過上述移動加速度抽取上述測定對象的位置的步驟。

抽取上述移動加速度的步驟可包括：從上述第一加速度抽取上述重力加速度的步驟；將上述第二加速度及上述重力加速度中的至少一個轉換成坐標系互相相同的步驟；以及利用坐標系互相相同的上述第二加速度及上述重力加速度來抽取移動加速度的步驟。

在上述第一慣性測定部存在第一慣性坐標系，在上述第二慣性測定部存在第二慣性坐標系，將上述第二加速度及上述重力加速度中的至少一個轉換成坐標系互相相同的步驟可包括：將基于上述第一慣性坐標系的上述重力加速度轉換成上述第二慣性坐標系的步驟；以及從上述第二加速度去除被轉換成上述第二慣性坐標系的上述重力加速度來抽取上述移動加速度的步驟。

在上述標記中存在標記坐標系，在上述攝像頭部中存在攝像頭坐標系，將基于上述第一慣性坐標系的上述重力加速度轉換成上述第二慣性坐標系的步驟可包括：將基于上述第一慣性坐標系的上述重力加速度轉換成上述攝像頭坐標系的步驟；將轉換成上述攝像頭坐標系的上述重力加速度轉換成上述標記坐標系的步驟；以及將轉換成上述標記坐標系的上述重力加速度轉換成上述第二慣性坐標系的步驟。

在上述攝像頭部中存在攝像頭坐標系，通過上述移動加速度抽取上述測定對象的位置的步驟可包括：將上述移動加速度轉換成上述攝像頭坐標系的步驟；以及利用被轉換成上述攝像頭坐標系的上述移動加速度來抽取上述測定對象的位置的步驟。

另一方面，上述第一加速度與上述重力加速度相同，上述第一角速度可以是0。

(發明效果)

根據如上所述的本發明的跟蹤系統及利用其的跟蹤方法，可通過第一慣性測定部固定于處于靜止狀態的攝像頭部來測定重力加速度，可通過第二慣性測定部固定于標記或測定對象來測定測定對象的加速度及角速度。之后，可通過從上述測定對象的加速度去除上述重力加速度來抽取上述測定對象的移動加速度，可通過上述移動加速度及上述測定對象的角速度來連續跟蹤上述測定對象的位置及姿勢。

并且，隨著上述第一慣性測定部固定于上述攝像頭部，即使上述攝像頭部發生移動，也可使上述第一慣性測定部的坐標系及上述攝像頭部的坐標系之間的轉換關系得到一定地維持。最終，可通過省略基于上述攝像頭部的移動的上述重力加速度的坐標系補正，來簡化跟蹤過程。

附圖說明

圖1為用于說明本發明的一實施例的跟蹤系統的概念圖。

圖2為用于說明本發明的一實施例的跟蹤方法的流程圖。

圖3為用于說明圖2中的跟蹤方法中的第二次抽取測定對象的位置及姿勢的過程的流程圖。

圖4為用于說明圖3中的抽取測定對象的位置及姿勢的過程中的抽取測定對象的位置的過程的流程圖。

圖5為用于說明圖2中的跟蹤方法中的各個坐標系的關系及轉換過程的概念圖。

圖6為用于說明圖4中的抽取測定對象的位置的過程中的坐標系轉換過程的流程圖。

具體實施方式

可對本發明實施多種變形，并且本發明可具有多種實施方式，附圖中示出本發明的特定實施例，并在本文內容中詳細說明本發明。

但是，這并不用于將本發明限定于特定的公開形態，而應理解為包括本發明的思想及技術范圍內的所有變形、等同物及代替物。第一、第二等術語可用于說明多種結構要素，但上述結構要素并不受上述術語的限制。上述術語僅用于對一個結構要素和其他結構要素進行區分。例如，在不脫離本發明的權利范圍的情況下，第一結構要素可被命名為第二結構要素，相似地，第二結構要素也可被命名為第一結構要素。

本申請中所使用的術語僅用于說明特定實施例，并不用于限定本發明。只要未在上下文中明確表現出其他含義，單數的表達包含復數的表達。應理解的是，在本申請中，“包括”、“具有”等術語僅用于指出本說明書中所記載的特征、數字、步驟、動作、結構要素、部件或它們的組合的存在，而不是事先排除一個或一個以上的其他特征、數字、步驟、結構要素、部件或它們的組合的存在或附加可能性。

以下，參照附圖，對本發明的優選實施例進行更詳細的說明。

圖1為用于說明本發明的一實施例的跟蹤系統的概念圖。

參照圖1，本實施例的跟蹤系統作為可跟蹤測定對象10的位置及姿勢的裝置，包括標記(marker)100、攝像頭部200、第一慣性測定部300、第二慣性測定部400及跟蹤處理部500。此時，例如上述測定對象10可以是手術工具。

另一方面，在本實施例中，“上述測定對象10的位置”是指上述測定對象10的任意位置的三維坐標值，“上述測定對象10的姿勢”可指上述測定對象10以垂直的虛擬線為基準來在空間上或平面上傾斜的角度。此時，若上述測定對象10不是完整的球形，即上述測定對象10形成向任意一側長長地延伸的形狀，則上述測定對象10以上述垂直的虛擬線為基準來形成傾斜的角度，因而可通過數值來表示“上述測定對象10的姿勢”。

上述標記100配置并固定于上述測定對象10的一側。因此，在上述測定對象10發生移動的情況下，上述標記100可與上述測定對象100一同移動。上述標記100可包括多個位置點，以用于測定上述測定對象10的位置及姿勢。例如，如圖1所示，上述標記100可包括四個位置點。另一方面，在上述標記100存在以上述標記100為基準來表示三維位置及移動關系的標記坐標系。

上述攝像頭部200通過拍攝上述標記100來輸出標記影像。上述攝像頭部200可配置或固定于單獨的放置單元20，以便于拍攝上述標記100。例如，上述攝像頭部200可以是可準確測定空間位置及姿勢信息的立體攝像頭。另一方面，在上述攝像頭部200存在以上述攝像頭部200為基準來表示三維位置及移動關系的攝像頭坐標系。其中，用于表示上述測定對象10的位置及姿勢的基準坐標系可以是攝像頭坐標系。

上述第一慣性測定部300配置并固定于上述攝像頭部200的一側。在上述第一慣性測定部300存在以上述第一慣性測定部300為基準來表示三維位置及移動關系的第一慣性坐標系。因此，若上述攝像頭部200移動，則上述第一慣性測定部300一同移動，若上述攝像頭部靜止，則上述第一慣性測定部300一同靜止，從而可使上述攝像頭坐標系與上述第一慣性坐標系之間的轉換關系始終恒定。

上述第一慣性測定部300包括可測定包括加速度及角速度在內的慣性的傳感器。例如，上述第一慣性測定部300可以是慣性測量單元。因此，上述第一慣性測定部300測定并輸出包括第一加速度及第一角速度在內的第一慣性。另一方面，優選地，當測定上述標記100時，上述攝像頭部200處于靜止狀態。若上述攝像頭部100處于靜止狀態，則上述第一加速度與基于地球重力的重力加速度相同，上述第一角速度的值為0。

上述第二慣性測定部400配置并固定于上述測定對象10及上述標記100中的任意一個。在上述第二慣性測定部400存在以上述第二慣性測定部400為基準來表示三維位置及移動關系的第二慣性坐標系。因此，若上述測定對象10移動，則上述標記100及上述第二慣性測定部400一同移動，若上述測定對象10靜止，則上述標記100及上述第二慣性測定部400一同靜止，從而可使上述標記坐標系與上述第二慣性坐標系之間的轉換關系始終恒定。

上述第二慣性測定部400包括可測定包括加速度及角速度在內的慣性的傳感器。例如，上述第二慣性測定部400可以是慣性測量單元。因此，上述第二慣性測定部400測定并輸出包括第二加速度及第二角速度在內的第二慣性。此時，上述第二慣性是指基于上述測定對象10的移動的物理量。

上述跟蹤處理部500可通過有線通信或無線通信方式與上述攝像頭部200、上述第一慣性測定部300及上述第二慣性測定部400收發信號。因此，上述跟蹤處理部500可從上述攝像頭部200接收上述標記影像，可從上述第一慣性測定部300接收上述第一慣性，可從上述第二慣性測定部400接收上述第二慣性。

首先，上述跟蹤處理部500可通過分析上述標記影像來第一次抽取上述測定對象10的位置及姿勢。例如，可通過從上述標記影像分析上述標記的位置點的位置及大小等來計算上述測定對象10的位置及姿勢。此時，上述測定對象10的位置及姿勢可根據上述攝像頭坐標系來表示。

接著，上述跟蹤處理部500可通過上述第一慣性及第二慣性來第二次抽取上述測定對象10的位置及姿勢。其中，“第二次抽取上述測定對象10的位置及姿勢”可指“僅在無法進行基于上述標記影像的分析的第一次抽取時，對此進行補充而進行抽取”以及“與基于上述標記影像的分析的第一次抽取無關地單獨進行抽取”。并且，“無法進行基于上述標記影像的分析的第一次抽取時，對此進行補充而進行抽取”可指“因被任意物體遮擋而無法拍攝上述標記的情況”和“即使獲得上述標記影像也無法進行分析的情況”。

另一方面，若對任意物體的加速度進行二重積分，則可計算出上述物體的相對位置，若對上述物體的角速度進行積分，則可計算出上述物體的相對角度，若知道上述物體的初始位置及初始傾斜角度，則可計算出上述物體的位置及姿勢。因此，上述跟蹤處理部500可通過如上所述的計算方式第二次抽取上述測定對象10的位置及姿勢。即，上述跟蹤處理部500可通過上述第一加速度及第二加速度抽取上述測定對象10的位置，可通過上述第一角速度及第二角速度抽取上述測定對象10的姿勢。

在通過上述第一加速度及第二加速度抽取上述測定對象10的位置的過程中，上述跟蹤處理部500在利用從上述第一加速度抽取的上述重力加速度來從上述第二加速度抽取基于上述測定對象10的移動的移動加速度之后，可通過上述移動加速度抽取上述測定對象10的位置。其中，在抽取基于上述測定對象10的移動的移動加速度的過程中，上述跟蹤處理部500從上述第一加速度抽取上述重力加速度并將上述第二加速度及上述重力加速度中的一個轉換成坐標系互相相同之后，可利用坐標系互相相同的上述第二加速度及上述重力加速度來抽取移動加速度。

以下，對利用如上所述的上述跟蹤系統跟蹤上述測定對象的位置及姿勢的跟蹤方法進行詳細說明。

圖2為用于說明本發明的一實施例的跟蹤方法的流程圖。

參照圖2，在本實施例的跟蹤方法中，首先，上述攝像頭部200對固定于上述測定對象10的上述標記100進行拍攝并輸出上述標記影像(S100)。

之后，上述跟蹤處理部500從由上述攝像頭部200所提供的上述標記影像第一次抽取上述測定對象10的位置及姿勢(S200)。例如，上述跟蹤處理部500可從上述標記影像分析上述標記的多個位置點的位置及大小等來計算出上述測定對象10的位置及姿勢。此時，上述測定對象10的位置及姿勢可根據上述攝像頭坐標系來表示。

另一方面，固定于上述攝像頭部200的上述第一慣性測定部300測定并輸出包括上述第一加速度及上述第一角速度在內的上述第一慣性(S300)。

并且，固定于上述測定對象10及上述標記100中的任意一個的上述第二慣性測定部400測定并輸出包括上述第二加速度及上述第二角速度在內的上述第二慣性(S400)。其中，上述步驟S400可在前后順序上與上述步驟S300無關地單獨進行，即，可與上述步驟S300同時進行，也可在上述步驟S300之前或之后進行。

之后，上述跟蹤處理部500通過由上述第一慣性測定部300所提供的上述第一慣性及由上述第二慣性測定部400所提供的上述第二慣性來第二次抽取上述測定對象10的位置及姿勢(S500)。

在本實施例中，上述步驟S100及步驟S200可在前后順序上與上述步驟S300、步驟S400及步驟S500無關地互相單獨進行。或者，上述步驟S300、步驟S400及步驟S500可僅在無法通過上述步驟S100及步驟S200抽取上述測定對象10的位置及姿勢的情況下選擇性地執行。

并且，上述步驟S100、步驟S200、步驟S300、步驟S400及步驟S500可均實時連續執行，但也可留有規定時間間隔斷續地、間歇性地或周期性地執行。

圖3為用于說明圖2中的跟蹤方法中的第二次抽取測定對象的位置及姿勢的過程的流程圖。

參照圖3，第二次抽取上述測定對象10的位置及姿勢的步驟(S500)可包括：通過上述第一加速度及第二加速度抽取上述測定對象10的位置的步驟(S510)；以及通過上述第一角速度及第二角速度抽取上述測定對象10的姿勢的步驟(S520)。此時，上述步驟S510及步驟S520能夠以與前后順序無關的方式互相單獨執行。

圖4為用于說明圖3中的抽取測定對象的位置及姿勢的過程中的抽取測定對象的位置的過程的流程圖，圖5為用于說明圖2中的跟蹤方法中的各個坐標系的關系及轉換過程的概念圖。

參照圖4及圖5，在抽取上述測定對象10的位置的步驟(S510)中，首先從上述第一加速度抽取上述重力加速度(S512)。其中，上述第一加速度包括上述重力加速度及基于上述第一慣性測定部300的移動的加速度，若固定有上述第一慣性測定部300的上述攝像頭部200處于靜止狀態，則上述第一加速度將具有實際上與上述重力加速度相同的值。

接著，將上述第二加速度及上述重力加速度中的至少一個轉換成坐標系互相相同(S514)。其中，上述第二加速度根據上述第二慣性坐標系來表示，上述重力加速度根據上述第一慣性坐標系來表示。因此，在上述步驟S514中，通過使上述第二加速度從上述第二慣性坐標系轉換成上述第一慣性坐標系，來達到坐標系與上述重力加速度相同，或使上述重力加速度從上述第一慣性坐標系轉換成上述第二慣性坐標系，來達到坐標系與上述第二加速度相同，可均將上述第二加速度及上述重力加速度轉換成任意坐標系，例如，可轉換成上述攝像頭坐標系來實現坐標系一致。

另一方面，在本實施例中，優選地，在上述步驟S514中的轉換中，為了將轉換過程的誤差最小化，將上述重力加速度從上述第一慣性坐標系轉換成上述第二慣性坐標系，來使坐標系與上述第二加速度相同。這是因為，雖然上述第二加速度是隨著時間發生變化的值，但從上述第一加速度抽取的上述重力加速度是幾乎恒定的值。

接著，利用坐標系互相相同的上述第二加速度及上述重力加速度抽取基于上述測定對象10的移動的移動加速度(S516)。具體地，上述跟蹤處理部500可通過從上述第二加速度去除上述重力加速度來計算出上述移動加速度。

接著，通過上述移動加速度抽取上述測定對象10的位置(S518)。其中，上述移動加速度根據通過上述步驟S514對上述第二加速度及上述重力加速度中的至少一個進行坐標轉換來使坐標系變得相同的坐標系(以下稱為相同坐標系)進行表示，上述測定對象10的位置可根據上述攝像頭坐標系表示。

若上述相同坐標系與上述攝像頭坐標系不相同，則抽取上述測定對象10的位置的步驟(S518)可包括：將上述移動加速度從上述相同坐標系轉換成上述攝像頭坐標系的步驟；以及利用轉換成上述攝像頭坐標系的上述移動加速度來抽取上述測定對象10的位置的步驟。例如，在上述相同坐標系為上述第二慣性坐標系的情況下，首先，上述跟蹤處理部500將上述移動加速度轉換成上述標記坐標系，之后再轉換成上述攝像頭坐標系，之后，可通過對上述移動加速度進行二重積分來計算出上述測定對象10的位置。

另一方面，在上述相同坐標系與上述攝像頭坐標系相同的情況下，也可在抽取上述測定對象10的位置的步驟(S518)中，以沒有坐標轉換的方式直接對上述移動加速度進行二重積分，來計算出上述測定對象10的位置。

另一方面，若上述攝像頭部200處于靜止狀態，則上述第一慣性測定部300也處于靜止狀態，從而上述第一角速度的值為0。因此，在圖3所示的上述步驟S520中，可僅利用上述第二角速度來抽取上述測定對象10的姿勢。例如，上述跟蹤處理部500可通過對上述第二角速度進行積分來計算出上述測定對象10的傾斜角度。

圖6為用于說明圖4中的抽取測定對象的位置的過程中的坐標系轉換過程的流程圖。

參照圖5及圖6，將基于上述第一慣性坐標系的上述重力加速度轉換成上述第二慣性坐標系的過程可包括：第一轉換過程，將基于上述第一慣性坐標系的上述重力加速度轉換成上述攝像頭坐標系；第二轉換過程，將轉換成上述攝像頭坐標系的上述重力加速度轉換成上述標記坐標系；以及第三轉換過程，將轉換成上述標記坐標系的上述重力加速度轉換成上述第二慣性坐標系。

在本實施例中，由于上述第一慣性測定部300固定于上述攝像頭部200，上述第二慣性測定部400固定于上述標記100或上述測定對象，因而，基于上述第一轉換過程的轉換行列式和基于上述第三轉換過程的轉換行列式可分別具有恒定值。因此，上述跟蹤處理部500可直接使用初期所給的值來執行坐標轉換，而無需為了求得基于上述第一轉換步驟及第三轉換過程的轉換行列式而進行計算。

另一方面，若上述測定對象10在借助上述攝像頭部100進行拍攝時發生移動，則上述標記坐標系也發生改變，因此，基于上述第二轉換過程的轉換行列式也有可能發生改變。因此，上述跟蹤處理部500需在執行轉換成上述重力加速度的上述第二慣性坐標系之前首先計算出基于上述第二轉換過程的轉換行列式。

根據如上所述的本發明的實施例，可通過上述第一慣性測定部300固定于處于靜止狀態的上述攝像頭部200來測定上述重力加速度，可通過上述第二慣性測定部400固定于上述標記100或上述測定對象10來測定上述測定對象10的加速度及角速度。之后，可通過從上述測定對象10的加速度去除上述重力加速度來抽取上述測定對象10的移動加速度，可通過上述移動加速度及上述測定對象的角速度來跟蹤上述測定對象10的位置及姿勢。

并且，隨著上述第一慣性測定部300固定于上述攝像頭部200，即使上述攝像頭部200在拍攝過程中移動，也可使上述第一慣性坐標系與上述攝像頭坐標系之間的轉換關系得到一定地維持。最終，可通過省略基于上述攝像頭部200的移動的上述重力加速度的坐標系補正，來簡化跟蹤過程。

以上，在本發明的詳細說明中參照本發明的優選實施例進行了說明，但只要是本發明所屬技術領域的熟練技術人員或本發明所屬技術領域的普通技術人員就可以理解，可在不脫離后述的專利權利要求書中所記載的本發明的思想及技術領域的范圍內對本發明進行多種修改及變更。

(附圖標記的說明)

100：標記 200：攝像頭部

300：第一慣性測定部 400：第二慣性測定部

500：跟蹤處理部 10：測定對象

20：放置單元