本發明涉及分揀機器人領域，特別涉及非剛性物體分揀方法和裝置。

背景技術：

近年來，視覺輔助系統在工業現場中的應用越來越多，3d相機也逐步在生活和工業中進行相應的使用。stein等人使用kinect完成數據的采集工作，并在深度圖上進行物體的分割和抓取工作，但是該論文中主要針對的是在邊緣上有較明顯變化的剛性物體，而對于一些如毛絨玩具、數據線、耳機線等易形變的非剛性物體則沒有進行相關處理和研究。在工業現場中，無法對不規則、無cad模型、易形變的物料進行有效的分揀，不利于生產自動化的實現。

技術實現要素：

為了克服現有技術的不足，本發明的目的在于提供非剛性物體分揀方法和裝置，其能解決現有的分揀方法和裝置無法對不規則、無cad模型、易形變的物料進行有效的分揀，不利于生產自動化的實現的問題。

本發明的目的采用以下技術方案實現：

非剛性物體分揀方法，包括以下步驟：

獲取標定數據，所述標定數據包括臂端相機、3d相機的外參數；

將3d相機采集的深度圖像處理為初始點云數據；

根據所述標定數據將所述初始點云數據進行坐標轉換，得到基礎點云數據；

對所述基礎點云數據進行初始分割；

對所述初始分割的結果進行位姿估計；

根據所述位姿估計的結果對物體進行抓取。

優選的，所述非剛性物體分揀方法還包括以下步驟：

如果所述位姿估計的結果不滿足非重疊條件，則對所述基礎點云數據進行z軸濾波分割，并對所述z軸濾波分割的結果進行位姿估計。

優選的，所述對所述基礎點云數據進行z軸濾波分割，并對所述z軸濾波分割的結果進行位姿估計，具體的，包括以下子步驟：

對所述基礎點云數據進行z軸濾波分割時，記錄z軸濾波分割的次數與濾波分割的高度值；

對所述z軸濾波分割的結果進行位姿估計時，根據所述z軸濾波分割的次數與濾波分割的高度值進行位姿的恢復。

優選的，所述非重疊條件具體為：所述位姿估計的結果中物體的尺寸不大于預設尺寸，所述預設尺寸是根據所述非剛性物體的尺寸計算的。

優選的，所述非剛性物體分揀方法還包括以下步驟：

如果所述位姿估計的結果不滿足可抓取條件，則對所述物體進行撥動。

優選的，所述可抓取條件具體為：所述位姿估計的結果中物體的尺寸小于限制尺寸，所述限制尺寸是根據所述非剛性物體的尺寸計算的。

優選的，所述對所述物體進行撥動，具體的，包括以下子步驟：

計算撥動起始點；

判斷所述撥動起始點是否滿足撥動安全條件；

若滿足所述撥動安全條件，則對所述物體進行撥動；

若不滿足所述撥動安全條件，則調整所述撥動起始點。

優選的，所述撥動安全條件具體為：所述撥動起始點的z軸坐標不低于撥動安全高度，所述撥動安全高度是根據撥動起始點沿z軸方向在所述位姿估計的結果中物體上投影的z軸坐標計算的。

優選的，所述根據所述位姿估計的結果對物體進行抓取，具體的，包括以下子步驟：

根據所述位姿估計的結果計算抓取點；

判斷所述抓取點是否滿足抓取安全條件；

若滿足所述抓取安全條件，則對所述物體進行抓取。

優選的，所述抓取安全條件具體為：所述抓取點的z軸坐標不低于抓取安全高度，所述抓取安全高度是根據抓取點沿z軸方向在所述位姿估計的結果中物體上投影的z軸坐標計算的。

本發明的目的還采可采用非剛性物體分揀裝置實現：

非剛性物體分揀裝置，其特征在于，包括：

獲取模塊，用于獲取標定數據，所述標定數據包括臂端相機、3d相機的外參數；

點云模塊，用于將3d相機采集的深度圖像處理為初始點云數據；

轉換模塊，用于根據所述標定數據將所述初始點云數據進行坐標轉換，得到基礎點云數據；

初始分割模塊，用于對所述基礎點云數據進行初始分割；

位姿估計模塊，用于對所述初始分割的結果進行位姿估計；

抓取模塊，用于根據所述位姿估計的結果對物體進行抓取。

優選的，所述非剛性物體分揀裝置還包括：

濾波模塊，用于如果所述位姿估計的結果不滿足非重疊條件，則對所述基礎點云數據進行z軸濾波分割，并對所述z軸濾波分割的結果進行位姿估計。

優選的，所述濾波模塊包括：

紀錄單元，用于對所述基礎點云數據進行z軸濾波分割時，記錄z軸濾波分割的次數與濾波分割的高度值；

恢復單元，用于對所述z軸濾波分割的結果進行位姿估計時，根據所述z軸濾波分割的次數與濾波分割的高度值進行位姿的恢復。

優選的，所述抓取模塊包括：

第一計算單元，用于根據所述位姿估計的結果計算抓取點；

第一判斷單元，用于判斷所述抓取點是否滿足抓取安全條件；

抓取單元，用于若滿足所述抓取安全條件，則對所述物體進行抓取。

優選的，所述非剛性物體分揀裝置還包括：

撥動模塊，用于如果所述位姿估計的結果不滿足可抓取條件，則對所述物體進行撥動。

優選的，所述撥動模塊包括：

第二計算單元，用于計算撥動起始點；

第二判斷單元，用于判斷所述撥動起始點是否滿足撥動安全條件；

撥動單元，用于若滿足所述撥動安全條件，則對所述物體進行撥動；

第二調整單元，用于若不滿足所述撥動安全條件，則調整所述撥動起始點。

本發明的目的還采可采用如下非剛性物體分揀裝置實現：

非剛性物體分揀裝置，包括：

處理器以及用于存儲處理器可執行的指令的存儲器；

所述處理器被配置為：

獲取標定數據，所述標定數據包括臂端相機、3d相機的外參數；

將3d相機采集的深度圖像處理為初始點云數據；

根據所述標定數據將所述初始點云數據進行坐標轉換，得到基礎點云數據；

對所述基礎點云數據進行初始分割；

對所述初始分割的結果進行位姿估計；

根據所述位姿估計的結果對物體進行抓取。

相比現有技術，本發明的有益效果在于：通過3d相機獲取基礎點云數據，然后對基礎點云數據進行初始分割，并對分割后的物體進行位姿估計，最后根據位姿估計結果抓取非剛性物體。基礎點云數據包含非剛性物體的表面法向量、曲率、距離等特征，更好的實現非剛性物體的分離，解決了非剛性物體的位姿估計和抓取問題。

附圖說明

圖1是一種典型的分揀系統的結構示意圖。

圖2是本發明實施例一提供的非剛性物體分揀方法的流程示意圖。

圖3是本發明實施例二提供的非剛性物體分揀方法的流程示意圖。

圖4是本發明實施例三提供的非剛性物體分揀裝置的結構示意圖。

圖5是本發明實施例四提供的非剛性物體分揀裝置的結構示意圖。

具體實施方式

上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，并且為了讓本發明的上述和其他目的、特征和優點能夠更明顯易懂，以下特舉較佳實施例，并配合附圖，詳細說明如下。

本發明所述的非剛性物體分揀方法和裝置可以用在由3d相機、機械臂、夾爪、臂端相機等設備組成的分揀系統。如圖1所示，一種典型的分揀系統包括分揀工作臺10、3d相機20、六自由度機械臂30、氣動夾爪40、臂端相機50。其中3d相機20固定在分揀工作臺10上，能夠完成工作臺面物體所在區域的數據采集工作；六自由度機械臂30能夠在分揀區域視野覆蓋區域進行有效空間的移動；氣動夾爪40固定在六自由度機械臂30末端，能夠完成物體的抓取；臂端相機50設置在六自由度機械臂30末端，完成機械臂末端與標定板之間的標定，臂端相機50可以采用rgb相機。此外，3d相機20處設有條形光源(圖未示)，為3d相機20的標定進行光照補償；在臂端相機50處設有環形光源(圖未示)，能夠對臂端相機50進行光照補償，環形光源和條形光源的燈光控制可以利用公知的光源控制器實現。

由于臂端相機50設在六自由度機械臂30的末端，為保證其所受光照均勻，并且減少六自由度機械臂30運動引起的干擾，在臂端相機50外圍設置環形光源。環形光源通過球形漫反射后，光線均勻，適合對表面反光、曲面的物體進行分析。

在分揀系統投入應用之前，需要完成分揀系統的初始化。分為離線階段、部署階段。其中，離線階段主要是獲取機械臂移動了也不會變得參數，如3d相機和臂端相機的內參、拖盤的示教點位、臂端相機和機械臂末端的標定。

由于機械臂在運動的過程中，會在工作空間發生碰撞，所以需要離線示教幾個中間點。機械臂運動的點分為：起始點、中間點、抓取初始點和抓取點，其中起始點、中間點和抓取初始點為離線示教點；抓取點為分揀系統進行分揀工作時獲得的點。抓取初始點到計算得到的抓取點運動過程中不會發生碰撞，所以在此過程中不斷示教，直至找到合適的示教點，之后就不必重復該操作，只需要計算對應的抓取點完成抓取即可。

部署階段要獲取的是指機械臂移動一次后會發生變化的相關參數，如3d相機的外參和臂端相機的外參；因為需要完成分揀，所以還需要知道機械臂末端和3d相機之間的關系，需要通過世界坐標的轉換，所以機械臂發生移動后，需要對外參進行重新標定。

內部參數是指攝像機的焦距、光軸與圖像平面的交點坐標、每個像素在、軸的物理尺寸，畸變系數等，外參數即攝像機坐標系與世界坐標系之間的相對位置矩陣，包括旋轉矩陣與平移矩陣。這些參數一般通過實驗計算得到，這個過程被稱為是攝像機定標。攝像機定標通過現有技術即可實現，不再贅述，下面著重對通過分揀系統實現對非剛性物體分揀的方法進行介紹。

實施例一：

如圖2所示的非剛性物體分揀方法，包括以下步驟：

s110，獲取標定數據，所述標定數據包括臂端相機、3d相機的外參數。

標定數據包括攝像機坐標系與世界坐標系之間的相對位置矩陣，包括旋轉矩陣與平移矩陣。可以實現數據在攝像機坐標系與世界坐標系之間的相互轉換。

s120，將3d相機采集的深度圖像處理為初始點云數據。

3d相機主要采集分揀工作臺的深度圖像。通過3d相機標定后，將深度圖像根據3d相機內參轉換為點云數據。如果工作臺場景復雜，可以先將工作臺背景濾除，只留下物體點云信息。工作臺深度圖像的獲取和轉換為點云數據，工作臺背景分割、濾除均可由現有技術實現。

s130，根據所述標定數據將所述初始點云數據進行坐標轉換，得到基礎點云數據。

一般的，將攝像機坐標系的所述初始點云數據轉換到世界坐標系下，即桌面坐標系，對應于工作臺。以工作臺為x-y平面，工作臺的上下方向即為z軸方向。

s140，對所述基礎點云數據進行初始分割。

先將基礎點云數據的冗余、噪聲干擾通過連通域的計算進行濾除，然后對剩下的點進行相應的特征提取，如表面法向量、曲率、距離等，進而通過區域增長完成點云的初始分割，將離散的點云分成一個一個物體。

具體的，3d相機采集得到當前視角下環境的點云pc＝{p1，p2，...，pn}，由于已經完成了相機外參的標定twcs，將攝像機坐標系轉換到世界坐標系pw＝{p′1，p′2，...，p′n}，將桌面的點云進行濾除，只留下物體部分的點云，對該部分點云進行相關參數的計算，提取點p′i對應的法向量用于其特征描述，其在半徑σ組成的鄰近點集合為則法向量與鄰域的夾角均值為：

其與鄰近點的距離均值為若點p′i與p′j滿足：

則將其歸為一類，否則為新的種子，直至99％的點都歸并完成，停止增長，由此完成了基礎點云數據的分割。其中thresh表示綜合物體點之間法向量夾角、距離等參數的閾值，根據經驗、有限次實驗可以得知。

s150，對所述初始分割的結果進行位姿估計。

通過位姿估計得到上一步驟初始分割得到的物體的長度、寬度，在x-y平面上的坐標和在z軸上的坐標等信息。為下一步數據處理或分揀操作提供依據。位姿估計可以由現有的最小包圍盒(boundingbox)估計算法實現。

s160，根據所述位姿估計的結果對物體進行抓取。

引入“置信度”作為評價分割出物體可抓取可能性的參數。置信度可以根據夾爪尺寸和位姿估計得到的物體的長度、寬度的大小關系、物體在z軸上的坐標計算。夾爪尺寸與物體寬度、長度越吻合，置信度越高；物體在z軸上的坐標值越高，即離工作臺表面高度越高，置信度越高。根據所述位姿估計的結果對物體進行抓取，指的是優先抓取置信度高的物體。

具體的，在另一實施例中，所述根據所述位姿估計的結果對物體進行抓取，包括以下子步驟：

s161，根據所述位姿估計的結果計算抓取點；抓取點指的是位姿估計得到的包圍盒的中心點的坐標以及包圍盒三個面的法向量，可以理解為將坐標系平移旋轉到包圍盒中心點去，具體的，可以設定包圍盒最小面的法向量為抓取點的x方向、最大面的法向量為抓取點的z方向，然后依據右手坐標系得到抓取點的y方向。

s162，判斷所述抓取點是否滿足抓取安全條件；具體的，所述抓取安全條件為：所述抓取點的z軸坐標不低于抓取安全高度，所述抓取安全高度是根據抓取點沿z軸方向在所述位姿估計的結果中物體上投影的z軸坐標計算的。如果抓取安全高度等于抓取點沿z軸方向在物體上投影的z軸坐標，如果抓取點的z軸坐標低于該抓取安全高度，則機械臂末端的夾爪在抓取過程中會戳到物體上表面，不僅無法有效抓取，還可能損傷物體。

s163，若滿足所述抓取安全條件，則對所述物體進行抓取。機械臂動作和夾爪抓取物體均為現有技術，不再贅述。

s164，若不滿足所述抓取安全條件，則對所述物體進行撥動。之后重新執行步驟s110-s160。

具體的，所述對所述物體進行撥動，包括以下子步驟：

s1641，計算撥動起始點；撥動起始點可以由所述位姿估計得到的物體在x-y平面上的坐標、在z軸上的坐標計算。

s1642，判斷所述撥動起始點是否滿足撥動安全條件；具體的，所述撥動安全條件為：所述撥動起始點的z軸坐標不低于撥動安全高度，所述撥動安全高度是根據撥動起始點沿z軸方向在所述位姿估計的結果中物體上投影的z軸坐標計算的。

撥動起始點的撥動安全條件與步驟s162中抓取點的抓取安全條件類似，不再贅述。

s1643，若滿足所述撥動安全條件，則對所述物體進行撥動；控制機械臂動作和夾爪動作撥動物體均為現有技術，不再贅述。

s1644，若不滿足所述撥動安全條件，則調整所述撥動起始點。典型的，調整撥動起始點就是將撥動起始點沿平行于x-y平面移動，如改變撥動起始點的x坐標或y坐標；當然，也可以根據需要改變撥動起始點的z坐標。

本發明提供的非剛性物體分揀方法，通過3d相機獲取基礎點云數據，然后對基礎點云數據進行初始分割，并對分割后的物體進行位姿估計，最后根據位姿估計結果抓取非剛性物體。基礎點云數據包含非剛性物體的表面法向量、曲率、距離等特征，更好的實現非剛性物體的分離，解決了非剛性物體的位姿估計和抓取問題。

實施例二：

如圖4所示的非剛性物體分揀方法，包括以下步驟：

s210，獲取標定數據，所述標定數據包括臂端相機、3d相機的外參數；

s220，將3d相機采集的深度圖像處理為初始點云數據；

s230，根據所述標定數據將所述初始點云數據進行坐標轉換，得到基礎點云數據；

s240，對所述基礎點云數據進行初始分割；

s250，對所述初始分割的結果進行位姿估計；

步驟s210-s250，分別對應實施例一中的s110-s150，不再贅述。

進一步，非剛性物體分揀方法，還包括以下步驟：

s251，如果所述位姿估計的結果不滿足非重疊條件，則對所述基礎點云數據進行z軸濾波分割，并對所述z軸濾波分割的結果進行位姿估計。具體的，所述非重疊條件為：所述位姿估計的結果中物體的尺寸不大于預設尺寸。位姿估計的結果中物體的尺寸指的是最小包圍盒的長、寬、高；所述預設尺寸是根據實際要分揀的所述非剛性物體的長、寬、高尺寸計算的。所述位姿估計的結果中物體的尺寸不大于預設尺寸，具體為位姿估計的結果中物體的長、寬、高相應的均不大于預設尺寸的長、寬、高。

一般情況下，工作臺上的抓取物體都是確定的，如毛絨玩具、數據線、耳機線等，其尺寸大小都是預知的，將位姿估計的結果中物體的尺寸與抓取物體的尺寸比較可以評估位姿估計的準確程度。預設尺寸可以是工作臺上非剛性物體的實際尺寸，也可以由非剛性物體的實際尺寸乘以一個小于1的參數得到的預設尺寸。

如果位姿估計的結果中物體的尺寸大于預設尺寸，就表示位姿估計的結果中物體是有重疊的部分的，分割的還不夠完全。用預設尺寸來衡量，是因為非剛性物體的邊緣不確定，可以考慮忽略部分邊緣，以增大抓取的幾率，減小計算量和計算時間。

由于工作臺上的物體會存在一定程度的重疊，并且本發明的分揀對象是非剛性、無cad模型易形變的物體，所以在邊緣特征上并不是很穩定，所以在進行區域增長時可能不能分割完全，導致一定程度上的欠分割，從而將多個物體劃分為一個。由于物體位于在工作臺平面，物體的重疊往往因為其在z軸上有一定的重疊，并且已將點云數據由攝像機坐標系轉換為世界坐標系(桌面坐標系)，所以可以通過對點云數據在z軸上進行濾波處理，來減少物體之間的關聯，進而對濾波后的點云數據進行分割和位姿估計。分割、位姿估計可以分別采用實施例一中的初始分割、位姿估計的方法來實現。

優選的，對所述基礎點云數據進行z軸濾波分割，并對所述z軸濾波分割的結果進行位姿估計，具體的，包括以下子步驟：

s2511，對所述基礎點云數據進行z軸濾波分割時，記錄z軸濾波分割的次數fn與濾波的高度值δz；

s2512，對所述z軸濾波分割的結果進行位姿估計時，根據所述z軸濾波分割的次數fn與濾波的高度值δz進行位姿的恢復。

如果經過多次z軸濾波分割后能夠對點云數據有效的分割，則在位姿估計時可以對物體進行恢復，因為只使用多次z軸濾波分割后的局部信息進行位姿估計，可能會導致不準確。所以需要記錄下濾波的次數fn和每次濾波的高度δz來完成物體位姿的恢復，即按照fn倒序一次次將對應高度δz的點云疊加回來。

作為本發明的進一步改進，非剛性物體分揀方法還包括以下步驟：

s252，如果所述位姿估計的結果不滿足可抓取條件，則對所述物體進行撥動。具體的，所述可抓取條件為：所述位姿估計的結果中物體的尺寸小于限制尺寸，所述限制尺寸是根據所述非剛性物體的實際尺寸計算的，如工作臺上非剛性物體的尺寸乘以0.5或0.3。

如果經過多次z軸濾波分割后，濾波后的點云數據點數已經很少了，不能繼續計算，即所述位姿估計的結果中物體的尺寸小于限制尺寸，則不再進行z軸濾波分割，且此時工作臺上沒有找到可以抓取的物體。因此，可以通過撥動物體，獲取新的工作臺深度圖像，進行后續處理。可能經過撥動之后，物體的擺放關系改變會利于找到可抓取的物體，然后分揀。

具體的，所述對所述物體進行撥動，包括以下子步驟：

s2521，計算撥動起始點；撥動起始點可以由某次位姿估計得到的物體在x-y平面上的坐標、在z軸上的坐標計算。

s2522，判斷所述撥動起始點是否滿足撥動安全條件；

s2523，若滿足所述撥動安全條件，則對所述物體進行撥動；

s2524，若不滿足所述撥動安全條件，則調整所述撥動起始點。

步驟s2521-s2524分別對應于實施例一中的步驟s1641-s1644，不再贅述。

s260，根據所述位姿估計的結果對物體進行抓取。

步驟s260，對應于實施例一中的s160，不再贅述。

實施例三：

如圖4所示的非剛性物體分揀裝置，包括：

獲取模塊110，用于獲取標定數據，所述標定數據包括臂端相機、3d相機的外參數；

點云模塊120，用于將3d相機采集的深度圖像處理為初始點云數據；

轉換模塊130，用于根據所述標定數據將所述初始點云數據進行坐標轉換，得到基礎點云數據；

初始分割模塊140，用于對所述基礎點云數據進行初始分割；

位姿估計模塊150，用于對所述初始分割的結果進行位姿估計；

抓取模塊160，用于根據所述位姿估計的結果對物體進行抓取。

典型的，抓取模塊160包括：

第一計算單元，用于根據所述位姿估計的結果計算抓取點；

第一判斷單元，用于判斷所述抓取點是否滿足抓取安全條件；

抓取單元，用于若滿足所述抓取安全條件，則對所述物體進行抓取；

第一調整單元，用于若不滿足所述抓取安全條件，則調整所述抓取點。

在另一實施例中，非剛性物體分揀裝置，還包括：

濾波模塊151，用于如果所述位姿估計的結果不滿足非重疊條件，則對所述基礎點云數據進行z軸濾波分割，并對所述z軸濾波分割的結果進行位姿估計。

濾波模塊151具體的包括：

紀錄單元，用于對所述基礎點云數據進行z軸濾波分割時，記錄z軸濾波分割的次數與濾波分割的高度值；

恢復單元，用于對所述z軸濾波分割的結果進行位姿估計時，根據所述z軸濾波分割的次數與濾波分割的高度值進行位姿的恢復。

作為本發明的進一步改進，非剛性物體分揀裝置，還包括：

撥動模塊152，用于如果所述位姿估計的結果不滿足可抓取條件，則對所述物體進行撥動。

撥動模塊152具體的包括：

第二計算單元，用于計算撥動起始點；

第二判斷單元，用于判斷所述撥動起始點是否滿足撥動安全條件；

撥動單元，用于若滿足所述撥動安全條件，則對所述物體進行撥動；

第二調整單元，用于若不滿足所述撥動安全條件，則調整所述撥動起始點。

本實施例中的裝置與前述實施例中的方法是基于同一發明構思下的兩個方面，在前面已經對方法實施過程作了詳細的描述，所以本領域技術人員可根據前述描述清楚地了解本實施中的系統的結構及實施過程，為了說明書的簡潔，在此就不再贅述。

為了描述的方便，描述以上裝置時以功能分為各種模塊分別描述。當然，在實施本發明時可以把各模塊的功能在同一個或多個軟件和/或硬件中實現。

通過以上的實施方式的描述可知，本領域的技術人員可以清楚地了解到本發明可借助軟件加必需的通用硬件平臺的方式來實現。基于這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品可以存儲在存儲介質中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執行本發明各個實施例或者實施例的某些部分所述的方法。

描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的模塊或單元可以是或者也可以不是物理上分開的，作為模塊或單元示意的部件可以是或者也可以不是物理模塊，既可以位于一個地方，或者也可以分布到多個網絡模塊上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解并實施。

本發明可用于眾多通用或專用的計算系統環境或配置中。例如：個人計算機、服務器計算機、手持設備或便攜式設備、平板型設備、多處理器系統、基于微處理器的系統、機頂盒、可編程的消費電子設備、網絡pc、小型計算機、大型計算機、包括以上任何系統或設備的分布式計算環境等等，如實施例四。

實施例四：

如圖5所示的非剛性物體分揀裝置，包括：處理器200以及用于存儲處理器200可執行的指令的存儲器300；

所述處理器200被配置為：

獲取標定數據，所述標定數據包括臂端相機、3d相機的外參數；

將3d相機采集的深度圖像處理為初始點云數據；

根據所述標定數據將所述初始點云數據進行坐標轉換，得到基礎點云數據；

對所述基礎點云數據進行初始分割；

對所述初始分割的結果進行位姿估計；

根據所述位姿估計的結果對物體進行抓取。

本實施例中的裝置與前述實施例中的方法是基于同一發明構思下的兩個方面，在前面已經對方法實施過程作了詳細的描述，所以本領域技術人員可根據前述描述清楚地了解本實施中的系統的結構及實施過程，為了說明書的簡潔，在此就不再贅述。

本發明實施例提供的裝置，可以通過3d相機獲取基礎點云數據，然后對基礎點云數據進行初始分割，并對分割后的物體進行位姿估計，最后根據位姿估計結果抓取非剛性物體。基礎點云數據包含非剛性物體的表面法向量、曲率、距離等特征，更好的實現非剛性物體的分離，解決了非剛性物體的位姿估計和抓取問題。

對于本領域的技術人員來說，可根據以上描述的技術方案以及構思，做出其它各種相應的改變以及變形，而所有的這些改變以及變形都應該屬于本發明權利要求的保護范圍之內。