本發明涉及機器人，尤其涉及一種基于視覺伺服引導控制抓取動態條狀物的方法及裝置、測試平臺。

背景技術：

1、隨著電力行業的快速發展與安全意識的不斷提升，電力線路的運維和故障處理對作業人員的專業性與安全防護要求日益提高。配電網帶電作業機器人正逐漸成為行業關注的焦點和研究熱點：通過機械臂等裝置替代人工在高壓、高危的帶電環境中執行諸如剝線、剪線和接線等精密操作，可在降低人力風險的同時提高作業效率。

2、然而，在實際應用中，帶電作業機器人仍面臨諸多嚴峻挑戰。其中，“線纜抓取”作為機器人執行后續精細作業的前提環節，尤為關鍵。不同于靜態目標，線纜在高空敷設中呈現出顯著的動態特性。例如，當機器人進行作業時，目標線纜可能因風力、重力和電磁力的共同作用而呈周期性或不規則的擺動，其振幅和頻率難以準確預測。這種柔性線纜的動態性使抓取點的空間位置在短時間內不斷變化，從而對感知和控制提出了極高要求。

3、目前，主流的帶電作業機器人多采用“先看后動(look-then-move)”的作業模式：先利用視覺或激光雷達等傳感器采集線纜位置與姿態信息，然后執行離線或半離線的軌跡規劃。當機械臂開始運動時，由于線纜已發生位姿變化、感知數據存在延遲，這種分離式的模式往往難以及時對線纜的瞬態動態進行響應。因此，傳統的“先看后動”策略會因感知滯后與缺乏在線控制而難以保證抓取的準確度和穩定性。

4、此外，感知環節與控制環節的解耦也導致整體智能化水平不足：當環境擾動頻繁且非線性變化明顯(如陣風激增、斗臂輕微晃動)，機械臂無法在數十毫秒級別的時間尺度內快速迭代出新的最優抓取軌跡，導致抓取失敗率提升。

5、針對這些問題，部分研究嘗試借助高精度3d激光雷達、工業級高速相機及gpu工作站來提高感知和處理速度，但這類方案成本高昂且在實際電力運維場景中不易大規模部署。低成本傳感方案(如單目視覺、多傳感器融合)雖具備經濟性與靈活性，卻在高速動態目標跟蹤與定位上仍顯力不從心。

6、與此同時，現有研究平臺主要用于驗證靜態或準靜態條件下的抓取性能，缺乏能夠真實再現線纜擺動及非線性動態特性的測試平臺。這使得研發人員在實驗室環境中難以及時發現并解決算法在真實復雜場景下的失效模式，從而延長了技術的迭代周期，增加了實際部署中的調試難度。

7、綜上所述，當前的帶電作業機器人在動態線纜抓取方面存在以下問題：

8、1.實時動態感知難度高：現有感知系統在動態線纜的跟蹤中存在顯著延遲和精度缺失，難以獲取高時效、高精度的位姿反饋。

9、2.在線控制與規劃能力不足：傳統軌跡規劃難以滿足實時更新要求，無法根據快速變化的線纜狀態進行在線自適應控制，導致抓取成功率和穩定性較低。

10、3.感知設備經濟性與可行性受限：高精度感知硬件價格昂貴、運算資源需求高，不利于大范圍工程應用。

11、4.缺乏動態線纜場景的實驗驗證平臺：缺少能真實模擬線纜非線性、隨機擺動特性的實驗裝置，使得相關技術的有效性和魯棒性在研發階段無法充分驗證和優化。

12、5.智能化程度不夠：當前系統缺乏在非結構化動態條件下快速自主調參與優化的能力，難以實現對復雜振動特性的實時響應與自適應控制。

技術實現思路

1、本發明所要解決的技術問題在于，提供一種基于視覺伺服引導控制抓取動態條狀物方法及裝置、測試平臺，能夠實現對動態條狀物的高精度、實時性的抓取操作。

2、為了解決上述技術問題，本發明第一方面公開了一種基于視覺伺服引導控制抓取動態條狀物的方法，應用于具有抓取功能的機械臂上，所述方法包括如下步驟：

3、s1.實時采集目標條狀物的圖像；所述目標條狀物為隨機擺動的動態條狀物；

4、s2.根據目標條狀物的圖像識別出目標條狀物的位置，并獲取目標條狀物的形態特征；

5、s3.將目標條狀物的二維圖像特征轉換為三維空間位姿數據，利用連續時間序列的三維空間位姿數據，對目標條狀物的運動狀態進行分析與建模，并預測下一時刻目標條狀物的位姿信息；

6、s4.根據預測的目標條狀物的位姿信息，采用模型預測控制方法設計機械臂的全局路徑規劃并按該規劃驅動所述機械臂；在該模型預測控制方法中，在每個時間步優化未來控制輸入序列；

7、s5.根據實時采集的目標條狀物的圖像，實時計算目標條狀物的位姿偏差信息，并通過基于圖像的視覺伺服控制律動態調整所述機械臂的運動軌跡；

8、s6.當機械臂的末端運動至目標位置時，執行對目標條狀物的抓取動作。

9、作為一種可選的實施方式，在本發明第一方面中，所述步驟s2.根據目標條狀物的圖像識別出目標條狀物的位置，并獲取目標條狀物的形態特征，包括：

10、s21.利用旋轉目標檢測網絡分析目標條狀物的圖像，得到目標條狀物的roi區域；

11、s22.對roi區域進行預處理并提取輪廓邊緣；

12、s23.通過差值擬合的方法得到圖像中目標條狀物的中心線的方程y＝ax+b，作為目標條狀物的形態特征；其中，擬合誤差為：

13、

14、其中，e為擬合誤差，yi和xi為中心線上第i個點的坐標，a和b為線性擬合的斜率和截距，n是采樣點數量。

15、作為又一種可選的實施方式，在本發明第一方面中，在所述步驟s2之后以及所述步驟s3之前，所述方法還包括：

16、通過均勻分割線段的方法在圖像中目標條狀物的中心線上選取n個關鍵點；

17、以及，所述步驟s3.將目標條狀物的二維圖像特征轉換為三維空間位姿數據，利用連續時間序列的三維空間位姿數據，對目標條狀物的運動狀態進行分析與建模，并預測下一時刻目標條狀物的位姿信息，包括：

18、s31.通過如下公式對每個所述關鍵點的坐標轉換為三維世界坐標：

19、

20、其中，(u,v)為圖像中的關鍵點的坐標，(x,y,z)為對應的三維世界坐標，k是相機內參矩陣，r和t為相機的旋轉和平移矩陣；所述相機為采集所述目標條狀物的圖像的設備；

21、s32.通過擴展卡爾曼濾波對目標條狀物的運動狀態進行建模與預測，公式包括：

22、系統狀態方程：

23、xcable,k+1＝f(xcable,k,uk)+wk，

24、觀測方程：

25、zk＝h(xcable,k)+vk；

26、其中，xcable,k表示目標條狀物的狀態向量，uk為控制輸入(機械臂的關節角度或末端執行器的速度)，wk和vk分別為過程和觀測噪聲，f(·)和h(·)為狀態轉移函數和觀測函數；

27、s33.通過狀態預測和觀測更新兩個步驟，結合前k-t個時刻的歷史姿態數據，預測目標電纜在時刻k+t的姿態：

28、

29、其中，為基于時刻k信息的時刻k+1的狀態預測，kk為卡爾曼增益，用于平衡預測模型與觀測數據的權重；pk|k-1為預測誤差協方差，hk為觀測矩陣，rk為觀測噪聲協方差。

30、作為又一種可選的實施方式，在本發明第一方面中，所述步驟s4.根據預測的目標條狀物的位姿信息，采用模型預測控制方法設計機械臂的全局路徑規劃并按該規劃驅動所述機械臂；在該模型預測控制方法中，在每個時間步優化未來控制輸入序列，包括：

31、s41.建立離散時間狀態空間模型描述機械臂與目標條狀物之間的動態關系：

32、xarm,k+1＝axarm,k+buk+wk；

33、其中，xarm,k是在時間步k的狀態向量，包括機械臂末端的位置和速度，uk是在時間步k的控制輸入(關節角度或末端執行器的速度)，a和b是系統矩陣；wk是過程噪聲，設為零均值的高斯噪聲；

34、s42.根據成本函數和約束條件進行全局路徑規劃；

35、所述成本函數為：

36、

37、其中，xcable,k是在時間步k預測的目標條狀物位置，δxmargin表示控制裕量，q、r和p是權重矩陣，用于平衡路徑偏差和控制能耗，n是預測范圍；

38、所述約束條件包括：機械臂的運動約束和控制輸入約束；機械臂的運動約束包括關節角度限制和關節速度限制，控制輸入約束為控制信號必須在機械臂的物理限制內；

39、s43.在每個時間步，通過以下公式求解最優控制輸入序列u，并動態調整所述控制裕量δxmargin，以適應目標條狀物的非線性運動：

40、

41、其中，u是預測范圍內的控制輸入序列，和分別表示控制和狀態的可行集；v、a為目標條狀物的速度和加速度，td為系統響應延遲時間，φ(td)為因響應延遲引起的角度調整量。

42、作為又一種可選的實施方式，在本發明第一方面中，在所述步驟s3之后且在所述步驟s5之前，所述方法還包括：

43、基于目標條狀物的形態特征中的n個關鍵點，并利用步驟s2中從圖像中提取的目標條狀物的輪廓邊緣，擬合出關鍵點對應的條狀物在圖像中的像素寬度di；

44、以及所述步驟s5.根據實時采集的目標條狀物的圖像，實時計算目標條狀物的位姿偏差信息，并通過基于圖像的視覺伺服控制律動態調整所述機械臂的運動軌跡，包括：

45、s51.根據目標條狀物的形態特征，定義圖像特征向量s：

46、s＝[u1,v1,d1,u2,v2,d2,…,un,vn,dn]t；

47、其中，(ui,vi)為第i個所述關鍵點的像素坐標，di為圖像中第i個所述關鍵點對應的條狀物像素直徑；

48、s52.對于每個關鍵點的特征(ui,vi,di)，設計交互矩陣ls：

49、

50、其中，pi是關鍵點的距離，(ui,vi)是圖像平面中第i個關鍵點的像素坐標，di是圖像中第i個關鍵點對應的條狀物在圖像中的像素寬度；

51、交互矩陣ls描述了圖像特征變化率和相機運動速度vc之間的關系：

52、

53、s53.計算特征誤差e：

54、e＝s-s*；

55、其中，s*為期望特征向量；

56、s54.根據交互矩陣ls和特征誤差e，設計控制律為：

57、

58、其中，λ>0為伺服增益，為交互矩陣的偽逆，e為特征誤差；vc＝[vx,vy,vz,ωx,ωy,ωz]t表示相機在三維空間中的運動速度；所述相機固定于機械臂的末端上；

59、所述控制律的目標是使特征誤差e小于目標閾值。

60、s55.基于所述控制律求解的vc實時調整機械臂的末端的速度。

61、作為又一種可選的實施方式，在本發明第一方面中，所述步驟s22.對roi區域進行預處理并提取輪廓邊緣，包括：

62、對roi區域進行灰度化和高斯模糊處理、消除圖像噪聲，采用邊緣檢測算法提取目標條狀物的邊緣輪廓。

63、作為又一種可選的實施方式，在本發明第一方面中，所述旋轉目標檢測網絡通過輸出包含旋轉角度的旋轉檢測框來標定roi區域：

64、obb＝(x,y,w,h,θ)；

65、其中，(x,y)為旋轉檢測框的中心坐標，w和h分別為旋轉檢測框的寬度與高度，θ為旋轉角度。

66、本發明第二方面公開了一種測試動態條狀物抓取方法的測試平臺，包括支撐架、條狀物擺動模塊、條狀物固定件、條狀物和條狀物夾持裝置；

67、所述支撐架的第一端固定有所述條狀物擺動模塊，所述支撐架的第二端固定有所述條狀物固定件；所述條狀物的第一端與所述條狀物擺動模塊傳動連接，所述條狀物的第二端連接所述條狀物固定件，以使所述條狀物張緊懸掛在所述支撐架上且所述條狀物受所述條狀物擺動模塊驅動實現擺動；

68、所述條狀物夾持裝置位于所述條狀物的下方，包括條狀物夾持手、視覺傳感器、串聯型的機械臂；所述條狀物夾持手設于所述機械臂的末端上；所述視覺傳感器用于采集所述條狀物的圖像，所述機械臂執行如本發明第一方面所述的方法來夾取所述條狀物。

69、作為一種可選的實施方式，在本發明第二方面中，所述條狀物擺動模塊支持周期性振動、隨機振動以及組合振動模式。

70、本發明第三方面公開了一種基于視覺伺服引導控制抓取動態條狀物的裝置，包括存儲器、處理器和存儲在存儲器上的計算機程序，所述處理器執行所述計算機程序以實現如本發明第一方面公開的方法中的步驟。

71、本發明第四方面公開了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如本發明第一方面公開的方法中的步驟。

72、與現有技術相比，本發明實施例具有以下有益效果：

73、相比于現有技術，本發明實施例采用“看與動(look-and-move)”的工作路線，即采用基于圖像的視覺伺服方法(visual?servo?control)引導控制機械臂抓取動態條狀物；通過連續不斷的感知、處理與執行環節的緊密耦合，實現對條狀物動態位姿的實時跟蹤和機械臂動作的即時響應，從而在高度動態且不確定的作業環境中達到更加精準、穩定和高效的抓取效果。通過搭建可模擬真實動態環境的條狀物擺動平臺，并結合預測控制、視覺伺服控制的方法，實現了對動態條狀物的高精度、實時抓取過程的有效驗證與優化；該平臺能夠在實驗室環境下對各類擾動條件下的抓取能力進行系統性研究，為實際應用中的自動化和智能化作業奠定堅實的技術基礎。