本發明涉及一種借助便攜式終端設備識別操縱器的方法，以及一種相應的便攜式終端設備和一種機器人系統。

背景技術：

操縱器以及特別是工業機器人是自動控制的、可自由編程的多用途機器。這些操縱器例如可以在制造設備的不同區域中使用，以便例如在加工站或測量站中加工或測量構件或工件。在工業領域中，通常在空間上彼此靠近地使用多個操縱器，這些操縱器可以執行不同的、相似的或相同的任務。

在具有一定程度的自動化技術的現代工業設備中，經常存在報告機器人系統狀況信息的要求，以用于例如檢驗當前的過程參數、限制錯誤或者還有進行程序或參數變化。例如可以存在在某一確定的時間點報告確定的機器人系統的狀況信息的必要性。為此，必須首先對機器人系統的通常提供所述狀況信息的相應機器人控制器進行識別和選址。為此，例如可以通過使用者在輸入設備上手動地輸入控制器地址或類似參數，該控制器地址明確地識別機器人控制器并在必要時允許操控所述機器人控制器。但這是存在缺點的，因為地址是已知的并且必須被輸入。也就是說，該方法是相對開銷大的。

由另一方法已知，在機器人系統上提供特殊的標記、例如QR碼或RFID標簽，并在需要時讀取這些標記并由此識別機器人系統和相應的機器人控制器。當然，該方法也關聯著一些缺點，因為這些標記或標簽必須被安置在所涉及的控制器或機械裝置上。此外還可能進行的是，這些標記由于不利的配置而會被暫時地覆蓋，并因此無法被讀取。因此，該方法同樣是相對開銷大的且還不可靠。

技術實現要素：

因此，本發明的目的在于提出一種方法，利用該方法可以簡單且盡可能無錯誤地識別操縱器或機器人系統。在此，本發明的目的特別是提出一種方法，利用該方法可以借助于便攜式操作設備從多個操縱器中選出確定的操縱器。本發明的另一目的在于，至少部分地克服上述的缺點。

這些目的和在閱讀下面的說明書時變得清楚的目的通過根據本發明的方法和裝置的主題得以解決。

本發明涉及一種借助便攜式終端設備識別操縱器的方法。該便攜式終端設備例如可以是移動式消費類輸入設備，例如平板電腦、智能手表、智能手機等，或者也可以是移動式機器人操作設備。在此，便攜式終端設備包括3D相機。在此優選地，3D相機是全光相機(plenoptische Kamera)，該全光相機基于光場傳感器的原理。這種光場傳感器由微透鏡的場組成并記錄被拍攝對象的光和顏色。此外，還檢測如下這樣的方向，光射線從該方向來地入射。因此，借助于光場傳感器可以尤其事后改變圖像的焦點，并且可以生成被影印對象的3D模型。

根據本發明的方法具有借助于便攜式終端設備的3D相機從待識別的操縱器的至少一部分檢測三維圖像。在此優選地，借助3D相機檢測整個待識別的操縱器?；谒鶛z測到的三維圖像來查明操縱器的實際狀態。此外，根據本發明的方法提供操縱器的參考狀態并基于所查明的實際狀態和所提供的實際參考狀態來識別操縱器。

在此優選地，實際狀態或參考狀態描述了操縱器的配置。優選地，操縱器的狀態包括關于下列中至少一項的信息：操縱器的姿態、操縱器的軸角度、操縱器的位置、操縱器的定向、或者這些值中的一個值的時間變化。此外，操縱器的狀態還可以包括關于操縱器的各個組件的絕對參量(或者幾何尺寸)和/或參量比例的信息。在此，這些組件例如可以包括操縱器臂或夾持器。根據操縱器的狀態可以有利地將該操縱器與其他操縱器區分開，因為每個操縱器通常表現出自己的、個別的狀態。

因此，借助根據本發明的方法可以以直觀的方式選出或識別操縱器。無需標記物、標記部或標簽，而是基于被檢測到的三維圖像來查明操縱器的狀態。有利地，基于該被檢測到的狀態和所提供的參考狀態可以明確地并且自動地識別操縱器。例如當便攜式終端設備的操作者由于保護柵欄而在空間上與操縱器分離時，3D相機的使用允許了在較大的距離之外識別操縱器。由此，操作者可以處于相對于操縱器安全的距離上并盡管如此仍能識別該操縱器。此外，由于3D相機的使用，有利地僅必須檢測待識別的操縱器(或該操縱器的一部分)的一個圖像，因為被檢測到的三維圖像足夠地包含了允許明確認出所述操縱器的信息。

優選地，參考狀態的提供通過操縱器控制器(機器人控制器)來進行。在此優選地，參考狀態可以包括多個操縱器的參考狀態，這些操縱器之一是待識別的操縱器。例如，操縱器控制器周期地交流一個或多個連接在其上的運動學裝置或操縱器的軸角度。因此優選地通過便攜式終端設備來執行檢測三維圖像、查明所述操縱器的實際值和識別所述操縱器。在此優選地，便攜式終端設備在其接收范圍內接收所有正在發送的操縱器控制器的參考狀態，并且尤其基于這些接收到的參考狀態來實施識別操縱器的步驟。因此有利地，借助根據本發明的方法來觀察例如在一空間中的所有重要的操縱器，從而確認哪個是待識別的操縱器。

優選地，參考狀態的提供以無線方式進行。因此，便攜式終端設備被設計為用于移動式使用，并且可以例如在車間中毫無問題地從一站臺被運輸至另一站臺，并且直接與這些重要的操縱器控制器交流。因此，使用者可以在沒有很大開銷的情況下簡單且直觀地識別出期望的操縱器，并隨后例如檢驗識別出的操縱器的狀況信息。

優選地，操縱器的識別包括確定所述操縱器的所查明的實際狀態是否與操縱器的所提供的參考狀態中的至少一個參考狀態一致。因此例如將所有提供的參考狀態與操縱器的所查明的實際狀態進行比較，以便確認，操縱器的所提供的參考狀態是否以及哪個與所查明的實際狀態一致。當確定或確認了這種一致性時，優選可以直接地識別出相應的操縱器，因為一致的所提供的參考狀態的來源和情況(例如由于時間標記等)有利地是已知的。

優選地，操縱器的識別包括選出所提供的參考狀態中的一個參考狀態，從而使得大致與三維圖像的檢測在時間上同步地生成該所選出的參考狀態。因此選出如下這樣的參考狀態，其描述了大致在檢測操縱器的三維圖像的時間上的操縱器的位置。當提供多個操縱器的參考狀態時，可以由此例如將選出可能性限制為，僅使用如下這樣的參考狀態來識別所述操縱器：這些參考狀態大致在檢測三維圖像的時間上被生成。為此，例如可以使用參考狀態的時間標記，或者可以對在三維圖像檢測的時間點所提供的參考狀態相應地作上標記，從而使得這些參考狀態被考慮用于操縱器的識別。因為由于技術前提條件很少能夠存在完美的時間一致性，所以例如也可以使用相應的允差。

優選地，操縱器的識別包括選出所提供的參考狀態中的一個參考狀態，從而使得該所選出的參考狀態最接近操縱器的所查明的實際狀態。因此例如進行比較：例如能夠描述車間中的多個操縱器的所有提供的狀態中的哪個狀態最匹配應當識別(并至少部分地借助3D相機被成像)的操縱器。為此，進一步優選可以使用預先限定的允差值，并且選出所提供的參考狀態中的一個參考狀態以如下方式進行，即，該所選出的參考狀態和所查明的實際狀態之間的差小于預先限定的允差值。由此，可以盡可能無錯誤地且盡管如此仍然以高準確度選出匹配的參考狀態并有效率地識別相應的操縱器。

優選地，所提供的參考狀態中的一個參考狀態的選出通過固定式計算機或運算器來進行，例如通過中央計算機或主計算機來進行。在此，特別是優選通過操縱器控制器或機器人控制器為計算機提供參考狀態。計算機例如可以以線纜連接方式或以無線纜方式在網絡中集成，并且例如被用于程序歸檔、用于軟件升級、生產信息的收集等。此外優選地，便攜式終端設備還為運算器提供被檢測到的三維圖像和/或操縱器的所查明的實際狀態。隨后優選地，可能地通過中央運算器來進行查明操縱器的實際狀態的步驟，以及根據本發明選出所提供的參考狀態中的一個參考狀態。

優選地，操縱器實際狀態的查明如所描述的那樣通過便攜式終端設備或地點固定地安裝的、固定式計算機來進行。因此，根據便攜式終端設備的運算能力的不同，可以有效地將便攜式終端設備和固定式計算機之間的工作量進行劃分。

優選地，操縱器的實際狀態包括關于以下中至少一項的信息：操縱器的實際姿態、操縱器的實際軸角度、實際操縱器的實際位置、操縱器的實際定向、操縱器的工具中心點的笛卡爾實際位置、或者這些提到的值的時間變化、或者操縱器的各個組件的實際參量和/或實際參量比例。操縱器的實際狀態可以從被檢測到的三維圖像中獲取。優選地，操縱器的參考狀態與之相應地包括關于以下中至少一項的信息：操縱器的參考姿態、操縱器的參考軸角度、操縱器的參考位置、操縱器的參考定向、操縱器的工具中心點的笛卡爾參考位置、或這些提到的值的時間變化、或操縱器的各個組件的參考參量和/或參考參量比例。相應地可以進行待識別操縱器與已知的操縱器之間的盡可能明確的配屬。

優選地，3D相機是全光相機，并且三維圖像的檢測包括檢測(Umfassen)待識別的操縱器的所述至少一部分的四維光場。由此，例如可以以高準確度查明機器人或操縱器的軸角度或者一般而言查明操縱器的狀態。

優選地，便攜式終端設備包括顯示部件，該顯示部件顯示被檢測到的圖像。由此，便攜式終端設備的操作者可以直接地認出，是否檢測了待識別的操縱器的匹配的圖像。由此可以避免由于檢測了不需識別的操縱器的圖像的錯誤識別。

此外，本發明還涉及一種便攜式終端設備，其包括3D相機和設備控制器，其中，設備控制器被設計為由操縱器的被檢測到的圖像來確定操縱器的軸角度的實際狀態，并且其中，所述設備控制器優選進一步被設計為，執行根據本發明的用于識別操縱器的方法。因為無需開銷大的操作場來識別操縱器，所以便攜式終端設備可以具有小的參量，并由此適用于移動式使用和舒適的使用。

此外，本發明還涉及一種機器人系統，其包括操縱器和便攜式終端設備，該終端設備包括3D相機。在此，機器人系統還具有控制器，該控制器被設計為，執行根據本發明的用于識別操縱器的方法。優選地，便攜式終端設備的3D相機是全光相機。

附圖說明

以下借助附圖詳細描述本發明。在此示出：

圖1示例性示出了待識別的操縱器；

圖2示出了一種用于識別操縱器的根據本發明的方法的流程圖；以及

圖3示出了用于識別操縱器的另一種根據本發明的方法的流程圖。

其中，附圖標記列表如下：

10操縱器

12三維線條模型

16便攜式終端設備

具體實施方式

圖1示例性示出了操縱器10，該操縱器被構造為多軸的關節臂機器人。所示出的操縱器10例如與其他的操縱器(未示出)一起位于車間中，并且應當借助便攜式終端設備16從多個這種操縱器中被識別出來并被選址。

在此，便攜式終端設備16包括3D相機(未示出)，該3D相機是全光相機并基于光場傳感器的原理。為了識別操縱器10，利用便攜式終端設備16拍攝三維圖像并基于被檢測到的圖像查明操縱器的簡單的三維線條模型12，該三維線條模型在圖1中通過虛線示出。根據該三維線條模型12，例如可以認出或計算出操縱器的軸角度或姿態。

在圖2中，示意性示出了用于識別操縱器的方法的流程圖，以下借助在圖1中示出的配置來描述該方法。在步驟21中，多個操縱器的每個操縱器控制器例如在車間中通過無線電周期地交流其所連接的操縱器的、尤其是待識別的操縱器10的軸角度(和/或其他的對象信息，例如工具中心點的當前的笛卡爾位置、工具體積模型、周圍環境模型等)。便攜式終端設備16接收所有在其接收范圍內正在發送的操縱器控制器的信息(參考值)。

在步驟22中，使便攜式終端設備16的相機對準到操縱器10上，并拍攝該操縱器10的圖像?；诓倏v器10的事先提供的模型，根據3D圖像數據來查明操縱器10的所有實際軸角度。

在步驟23中，便攜式終端設備16在如下的方面上挑選在步驟21中接收到的信息，即，僅使用那些例如描述操縱器的在拍攝圖像的時間點上的軸角度的信息。隨后，便攜式終端設備16將這些信息與所查明的實際軸角度(和/或其他對象信息)進行比較。

在步驟24中，在一致的情況下識別出所期望的操縱器控制器。因此涉及由所述圖像數據獲取的實際軸角度與所有提供的軸角度(參考軸角度)之間的配屬，從而使得能夠明確地識別被成像的操縱器。

隨后，在步驟25中，便攜式終端設備可以進行與識別出的操縱器或識別出的控制器的連接，并與該操縱器或該控制器相互作用。例如可以讀取狀態、設置參數、或顯示和/或報告訊息。

圖3示意性示出了就像例如圖1的用于識別操縱器那樣的用于識別操縱器的另一根據本發明的方法的流程圖。該方法開始于步驟31，在該步驟中，所有操縱器控制器進行與中央運算器(固定式計算機)的網絡連接。

在步驟32中，所有這些操縱器控制器將它們的當前的軸角度(和/或其他的對象信息)交流至中央運算器上。優選地，這周期地進行，例如在每個IPO周期(IPO-Takt)上進行。

在步驟33中，借助便攜式終端設備16的3D相機來拍攝待識別的操縱器10的三維圖像。該圖像包含三維信息，這些三維信息例如能夠實現生成待識別操縱器10的三維模型。

在步驟34中，為中央運算器提供所拍攝的圖像，并且由中央運算器基于所提供的圖像查明機器人軸角度或操縱器軸角度。替代地，軸角度也可以在便攜式終端設備中查明并隨后提供至中央運算器。

在步驟35中，中央運算器將由所述圖像中查明的實際軸值與在步驟32中由操縱器控制器供給的參考軸角度進行比較。為此可以考慮允差，以便能夠實現有效率的比較。

在步驟36中，在一致的情況下識別出期望的控制器并將消息發送至便攜式終端設備16，其允許所述便攜式終端設備進行與所識別出的控制器的連接。例如可以為便攜式終端設備16提供控制器的相應地址，從而使得便攜式終端設備16能夠自動地建立與該控制器的連接。

在步驟37中，便攜式終端設備與所識別出的控制器相互作用，其中，例如傳遞狀況信息或類似信息的詢問。

為了進一步提高所述比較的準確度或精確度，附加于或替代于考慮軸角度，例如還可以使用例如所使用工具的體積模型、末端執行器的體積模型、操縱器附近構件的體積模型、機器人或操縱器本身的周圍環境模型等。

替代被檢測到的三維圖像還可以使用待識別操縱器的多個三維圖像和/或三維視頻記錄。例如可以從不同的觀察方向拍攝多個圖像。此外例如還可以執行動態的圖像拍攝和處理。由此能夠實現更安全的操縱器識別，因為現在也可以將來自于圖像中的動態數據與操縱器控制器的動態數據進行比較，例如工具中心點在空間中的輪廓、軸特定的或笛卡爾的速度等。