本發明涉及農業自動化設備領域，具體為一種基于視覺引導的蘋果采摘機器人及采摘方法。

背景技術：

1、在果蔬采摘的季節采摘期往往較短，就需要果蔬成熟后在短時間內完成采摘工作。目前，在采摘蘋果時還是以人工采摘為主，傳統的人工采摘具有成本高、效率低、勞動強度大等弊端，同時隨著城市化進程的加速，農村勞動力短缺嚴重，農村的老人采摘過程中也會存在很多安全隱患問題。

2、近年來，隨著機器人技術的迅速發展，農業機器人逐步進入農業生產領域中，有效的解決了上述人工采摘的問題，解放了勞動力、提高了勞動生產效率。但時在刮風、下雨等天氣采摘蘋果時，會出現蘋果不停搖擺的現象，現有的蘋果采摘機器人采摘過程中會存在誤抓取、空抓、碰撞等問題，導致機械臂抓取時出現較大誤差，影響采摘的效率。

技術實現思路

1、針對現有技術中蘋果采摘機器人因抓取誤差而影響采摘效率的問題，本發明提供一種基于視覺引導的蘋果采摘機器人及采摘方法。

2、本發明是通過以下技術方案來實現：

3、一種基于視覺引導的蘋果采摘機器人，包括機器人本體、視覺識別系統、視覺伺服系統、控制系統，機器人本體包括底座、升降柱、水平旋轉電機、垂直旋轉電機、機械臂、摘果口以及軟管，升降柱固定安裝于機器人底座上，水平旋轉電機固定安裝于升降柱的頂部，垂直旋轉電機固定安裝于水平旋轉電機的頂部，水平旋轉電機的輸出軸與垂直旋轉電機的輸出軸垂直，垂直旋轉電機的輸出軸與機械臂連接，摘果口和軟管均設置于機械臂的末端，且軟管位于摘果口的下方；

4、視覺識別系統和視覺伺服系統均設置于機械臂末端，視覺識別系統和視覺伺服系統的輸出端與控制系統的輸入端連接，控制系統的輸出端與機械臂的控制端連接。

5、優選的，升降柱包括固定管、升降電機、升降螺桿和升降伸縮管，固定管的底部與底座固定連接，升降電機的殼體與底座固定連接，升降電機的輸出軸豎直向上，升降電機的輸出軸與升降螺桿的一端連接，升降伸縮管滑動設置于固定管內部，且升降伸縮管與升降螺桿螺紋連接。

6、優選的，水平旋轉電機的殼體固定于升降伸縮管的內側頂部，水平旋轉電機的輸出軸貫穿升降伸縮管的頂部與旋轉云臺連接，垂直旋轉電機安裝與旋轉云臺上；

7、旋轉云臺上設置有兩個間隔平行的支撐座，機械臂的一端通過轉軸轉動設置于兩個支撐座之間，垂直旋轉電機的殼體與任一支撐座固定連接，且垂直旋轉電機的輸出軸與轉軸固定連接。

8、優選的，機械臂的末端包括小臂固定管、小臂伸縮螺桿、小臂伸縮管和小臂伸縮電機，小臂的一端與支撐座轉動連接，小臂伸縮電機固定于小臂固定管內部，小臂伸縮電機的輸出軸與小臂伸縮螺桿固定連接，小臂伸縮管與小臂伸縮螺桿螺紋連接，摘果口設置于小臂伸縮管遠離小臂伸縮電機的另一端。

9、優選的，摘果口包括支架和兩個相對平行設置的氣缸，支架與小臂伸縮臂遠離小臂伸縮電機的一端固定連接，兩個氣缸的輸出端設置有弧形的夾片，通過夾片的相對運動來固定蘋果。

10、一種基于視覺引導的蘋果采摘機器人的采摘方法，包括以下步驟：

11、s1，機器人移動到蘋果樹旁，通過視覺識別系統進行目標檢測，在該系統獲取蘋果跟蹤模板，并將其的估計位姿發送至控制系統，控制系統驅動機械臂根據目標估計位姿到達指定區域；

12、s2，機械臂就位后，通過視覺伺服系統中改進的siamrpn++跟蹤模型對待抓取蘋果進行視覺跟蹤獲取實時位姿信息；

13、s3，通過手眼標定實現蘋果坐標從視覺坐標系到機械臂坐標系的轉換；

14、s4，根據位姿誤差實時調整機械臂完成蘋果精準跟蹤，并進行采摘，采摘下的蘋果由采摘口的軟管輸送至后續設備。

15、優選的，s2中，改進的siamrpn++跟蹤模型包括特征提取網絡、目標預測網絡和背景特征感知模塊，特征提取網絡采用五階段resnet-50作為特征提取骨干網絡，并引入simam無參注意力模塊聚焦提取目標采摘蘋果特征；目標預測網絡用于預測蘋果的位姿，該網絡接收目標特征后通過三個分類分支與回歸分支進行融合進一步處理后，得到目標置信度與目標邊界框；背景特征感知模塊基于置信度的蘋果遮擋檢測方法來檢測目標是否遮擋，定義置信度閾值來區分目標是否受到遮擋；在每個跟蹤周期內，計算置信度均值，當均值低于閾值時，遮擋發生。

16、優選的，simam無參注意力模塊中結合有空間注意力機制和通道注意力機制，通過simam增強siamrpn++中特征提取網絡得到的后三階段特征，在不引入額外參數的情況下，更好的聚焦蘋果目標。

17、優選的，rpn模塊包括分類分支和回歸分支，目標預測網絡將模板圖特征和搜索圖特征通過卷積層改變通道維度后作為兩個分支的輸入，并在兩個分支上分別進行相關性計算，通過訓練數據并最小化損失函數，即可得到對應的目標預測網絡，通過加權和組合三個網絡的預測圖，每個預測區域對應該位置的置信度，將置信度得分最好的區域作為最終跟蹤區域。

18、優選的，背景特征感知模塊包括初始化、特征更新和特征感知；

19、其中，初始化在目標跟蹤的初始階段，算法首先鎖定初始幀，記為；在該幀內提取全局尺度不變特征變換特征點集合，并記錄初始幀中目標位置；

20、特征更新是對于運動的蘋果，算法通過評估特征點的豐富程度以及邊界框的位置變化來確定是否更新當前特征；

21、特征感知是算法依據當前特征信息與之前存儲的特征信息進行匹配，判斷特征整體運動趨勢與空間位置變化。

22、與現有技術相比，本發明具有以下有益效果：

23、本發明一種基于視覺引導的蘋果采摘機器人利用相機識別蘋果并確定位置信息，根據位置信息控制系統控制移動底盤進行大范圍移動，結合升降柱和小臂實現高度和角度的調節，再利用摘果口采摘蘋果，通過網帶輸送至收集框。此發明極大的減小了手工采摘的勞動強度，提高了采摘的效率。之后通過相機獲取蘋果實時位姿信息，引導機械臂調整動作完成蘋果跟蹤抓取，以此實現準確高效的采摘工作，減小了手工采摘的勞動強度，提高了采摘的效率。該機器人可以自動識別目標蘋果并進行采摘，提高了采摘效率和生產力。

24、本發明一種基于視覺引導的蘋果采摘機器人的采摘方法是一種視覺實時引導的精準跟蹤算法，通過視覺伺服系統的siamrpn++算法對待抓取蘋果進行視覺跟蹤獲取實時位姿信息，提高采摘的準確性和效率。

25、進一步的，通過視覺對蘋果位姿進行實時更新，通過構建基于siamrpn++的蘋果跟蹤模型，引入simam自注意機制提升跟蹤器對蘋果的特征提取能力；并提出蘋果背景特征感知算法，有效應對視覺跟蹤過程中動態干擾問題。

技術特征：

1.一種基于視覺引導的蘋果采摘機器人，其特征在于，包括機器人本體、視覺識別系統、視覺伺服系統、控制系統，機器人本體包括底座、升降柱、水平旋轉電機、垂直旋轉電機、機械臂、摘果口以及軟管，升降柱固定安裝于機器人底座上，水平旋轉電機固定安裝于升降柱的頂部，垂直旋轉電機固定安裝于水平旋轉電機的頂部，水平旋轉電機的輸出軸與垂直旋轉電機的輸出軸垂直，垂直旋轉電機的輸出軸與機械臂連接，摘果口和軟管均設置于機械臂的末端，且軟管位于摘果口的下方；

2.根據權利要求1所述的基于視覺引導的蘋果采摘機器人，其特征在于，升降柱包括固定管、升降電機、升降螺桿和升降伸縮管，固定管的底部與底座固定連接，升降電機的殼體與底座固定連接，升降電機的輸出軸豎直向上，升降電機的輸出軸與升降螺桿的一端連接，升降伸縮管滑動設置于固定管內部，且升降伸縮管與升降螺桿螺紋連接。

3.根據權利要求2所述的基于視覺引導的蘋果采摘機器人，其特征在于，水平旋轉電機的殼體固定于升降伸縮管的內側頂部，水平旋轉電機的輸出軸貫穿升降伸縮管的頂部與旋轉云臺連接，垂直旋轉電機安裝與旋轉云臺上；

4.根據權利要求3所述的基于視覺引導的蘋果采摘機器人，其特征在于，機械臂的末端包括小臂固定管、小臂伸縮螺桿、小臂伸縮管和小臂伸縮電機，小臂的一端與支撐座轉動連接，小臂伸縮電機固定于小臂固定管內部，小臂伸縮電機的輸出軸與小臂伸縮螺桿固定連接，小臂伸縮管與小臂伸縮螺桿螺紋連接，摘果口設置于小臂伸縮管遠離小臂伸縮電機的另一端。

5.根據權利要求4所述的基于視覺引導的蘋果采摘機器人，其特征在于，摘果口包括支架和兩個相對平行設置的氣缸，支架與小臂伸縮臂遠離小臂伸縮電機的一端固定連接，兩個氣缸的輸出端設置有弧形的夾片，通過夾片的相對運動來固定蘋果。

6.一種如權利要求1~5任一項所述的基于視覺引導的蘋果采摘機器人的采摘方法，其特征在于，包括以下步驟：

7.根據權利要求6所述的采摘方法，其特征在于，s2中，改進的siamrpn++跟蹤模型包括特征提取網絡、目標預測網絡和背景特征感知模塊，特征提取網絡采用五階段resnet-50作為特征提取骨干網絡，并引入simam無參注意力模塊聚焦提取目標采摘蘋果特征；目標預測網絡用于預測蘋果的位姿，該網絡接收目標特征后通過三個分類分支與回歸分支進行融合進一步處理后，得到目標置信度與目標邊界框；背景特征感知模塊基于置信度的蘋果遮擋檢測方法來檢測目標是否遮擋，定義置信度閾值來區分目標是否受到遮擋；在每個跟蹤周期內，計算置信度均值，當均值低于閾值時，遮擋發生。

8.根據權利要求7所述的采摘方法，其特征在于，simam無參注意力模塊中結合有空間注意力機制和通道注意力機制，通過simam增強siamrpn++中特征提取網絡得到的后三階段特征，在不引入額外參數的情況下，更好的聚焦蘋果目標。

9.根據權利要求7所述的采摘方法，其特征在于，rpn模塊包括分類分支和回歸分支，目標預測網絡將模板圖特征和搜索圖特征通過卷積層改變通道維度后作為兩個分支的輸入，并在兩個分支上分別進行相關性計算，通過訓練數據并最小化損失函數，即可得到對應的目標預測網絡，通過加權和組合三個網絡的預測圖，每個預測區域對應該位置的置信度，將置信度得分最好的區域作為最終跟蹤區域。

10.根據權利要求7所述的采摘方法，其特征在于，背景特征感知模塊包括初始化、特征更新和特征感知；

技術總結
本發明涉及農業自動化設備領域，具體為一種基于視覺引導的蘋果采摘機器人及采摘方法，利用相機識別蘋果并確定位置信息，根據位置信息控制系統控制移動底盤進行大范圍移動，結合升降柱和小臂實現高度和角度的調節，再利用摘果口采摘蘋果，通過網帶輸送至收集框。此發明極大的減小了手工采摘的勞動強度，提高了采摘的效率。之后通過相機獲取蘋果實時位姿信息，引導機械臂調整動作完成蘋果跟蹤抓取，以此實現準確高效的采摘工作，減小了手工采摘的勞動強度，提高了采摘的效率。該機器人可以自動識別目標蘋果并進行采摘，提高了采摘效率和生產力。

技術研發人員：鄭恩讓,劉朋濤,郭拓,鄒牧言,張旭陽
受保護的技術使用者：陜西科技大學
技術研發日：
技術公布日：2025/4/24