本發明屬于農業自動化領域，具體涉及一種基于機器視覺的香蕉吸芽切割點快速精準定位方法。

背景技術：

1、香蕉具有抽生吸芽的習性，吸芽與母株搶占養分，從而影響母株生長。在香蕉種植管理中，香蕉吸芽定期清除對于香蕉植株的健康生長和提高產量至關重要。傳統的香蕉吸芽切割方法依賴于人工經驗，切割精度不高，易誤傷母株，從而影響母株的生長。此外，人工操作的效率低下，在大規模種植的情況下，難以滿足現代農業對高效和可持續生產的要求。因此迫切需要采用創新的管理和技術手段來提高吸芽清除的效率和準確性。

2、機器視覺技術廣泛應用于自動化采摘，實現精確定位果實位置，指導機器人進行高效的采摘作業。現有香蕉除吸芽技術中，尚無利用機器視覺技術來實現吸芽切割點的精準定位。因此，開發一種基于機器視覺的切割點定位方法顯得尤為重要。

技術實現思路

1、本發明為了克服現有技術存在的不足，提供了一種基于機器視覺的香蕉吸芽切割點快速精準定位方法，所述香蕉吸芽切割點快速精準定位方法可以快速實現對香蕉吸芽的切割點進行精準定位，從而提高切割效率和精度。

2、本發明解決上述技術問題的技術方案是：

3、一種基于機器視覺的香蕉吸芽切割點快速精準定位方法，包括以下步驟：

4、s1：使用圖像采集設備采集香蕉實時的rgb圖像和深度數據，將rgb圖像與深度數據進行對齊，獲得對齊后的圖像數據；

5、s2：將對齊后的圖像數據輸入訓練好的優選關鍵點檢測模型中，通過優選關鍵點檢測模型檢測出兩個輔助關鍵點；

6、s3：計算兩個輔助關鍵點的中點，作為香蕉吸芽的切割點；

7、s4：利用近鄰插值算法，從對齊的深度數據中提取香蕉吸芽的切割點的深度值；

8、s5：使用相機的內參，將香蕉吸芽的切割點的圖像坐標和深度值轉換為相機坐標系中的三維坐標；

9、s6：將轉換后的相機坐標系中的三維坐標傳輸到中心控制系統，中心控制系統據此控制作業機器人進行香蕉吸芽的切除工作。

10、優選的，在步驟s1中，所述圖像采集設備為雙目深度相機。

11、優選的，在步驟s1中，通過使用雙目深度相機自帶的sdk將rgb圖像與深度數據進行對齊，以確保每個像素點的rgb值和深度值對應于同一物理位置。

12、優選的，在步驟s2中，所述的優選關鍵點檢測模型的構建步驟為：

13、s201：采集香蕉圖像，對香蕉圖像進行預處理，以此構建圖像數據集；

14、s202：將圖像數據集按照8:1:1的比例劃分訓練集、測試集和驗證集；

15、s203：對訓練集和驗證集中的香蕉圖像進行關鍵點標注；

16、s204：設置好對應的超參數，并將標注后的訓練集送入多個不同類型的yolo神經網絡模型中；通過訓練集對各個yolo神經網絡模型進行訓練，然后通過測試集進行評估，比較不同類型的yolo神經網絡模型在香蕉吸芽關鍵點檢測任務中的map@.5值，以此選擇在香蕉吸芽關鍵點檢測任務中表現最佳的yolo神經網絡模型，作為所述的優選關鍵點檢測模型。

17、優選的，在步驟s201中，所述的預處理過程為：將采集到的原始圖像按照1:1的寬高比例進行隨機裁剪。

18、優選的，在步驟s203中，所述的關鍵點的標注包括標準吸芽關鍵點標注和復生吸芽關鍵點標注。

19、優選的，在步驟s204中，采用的yolo神經網絡模型包括yolov3、yolov5、yolov6、yolov8和yolov9。

20、優選的，在步驟s204中，所述的超參數為：訓練的batch?size為32，訓練輪次為300，優化器采用adamw，學習率為0.001429。

21、一種電子設備，包括中央處理器和存儲器，所述中央處理器用于調用運行存儲于所述存儲器中的計算機程序以執行所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法的步驟。

22、一種計算機可讀存儲介質，其以計算機可讀指令的形式存儲有依據所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法所實現的計算機程序，該計算機程序被計算機調用運行時，執行相應的方法所包括的步驟。

23、本發明與現有技術相比，具有如下優點和有益效果：

24、1、本發明的基于機器視覺的香蕉吸芽切割點快速精準定位方法可以快速實現對香蕉吸芽的切割點進行精準定位，從而提高切割效率和切割精度。

25、2、本發明的基于機器視覺的香蕉吸芽切割點快速精準定位方法提高了切割的精度和效率，適應不同形態和大小的香蕉吸芽，具有較高的實時性和魯棒性，適用于現代農業自動化管理。

26、3、本發明的基于機器視覺的香蕉吸芽切割點快速精準定位方法利用機器視覺技術實現香蕉吸芽切割點的精準定位，通過深度學習模型進行關鍵點檢測，同時結合深度相機獲取的rgbd數據，計算切割點的三維坐標，為自動化設備提供精確的操作指引。

技術特征：

1.一種基于機器視覺的香蕉吸芽切割點快速精準定位方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法，其特征在于，在步驟s1中，所述圖像采集設備為雙目深度相機。

3.根據權利要求1所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法，其特征在于，在步驟s1中，通過使用雙目深度相機自帶的sdk將rgb圖像與深度數據進行對齊，以確保每個像素點的rgb值和深度值對應于同一物理位置。

4.根據權利要求1所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法，其特征在于，在步驟s2中，所述的優選關鍵點檢測模型的構建步驟為：

5.根據權利要求4所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法，其特征在于，在步驟s201中，所述的預處理過程為：將采集到的原始圖像按照1:1的寬高比例進行隨機裁剪。

6.根據權利要求4所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法，其特征在于，在步驟s203中，所述的關鍵點的標注包括標準吸芽關鍵點標注和復生吸芽關鍵點標注。

7.根據權利要求4所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法，其特征在于，在步驟s204中，采用的yolo神經網絡模型包括yolov3、yolov5、yolov6、yolov8和yolov9。

8.根據權利要求4所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法，其特征在于，在步驟s204中，所述的超參數為：訓練的batch?size為32，訓練輪次為300，優化器采用adamw，學習率為0.001429。

9.一種電子設備，包括中央處理器和存儲器，其特征在于，所述中央處理器用于調用運行存儲于所述存儲器中的計算機程序以執行如權利要求1至8中任意一項所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，其以計算機可讀指令的形式存儲有依據權利要求1至8中任意一項所述的基于機器視覺的香蕉吸芽切割點快速精準定位方法所實現的計算機程序，該計算機程序被計算機調用運行時，執行相應的方法所包括的步驟。

技術總結
本發明公開了一種基于機器視覺的香蕉吸芽切割點快速精準定位方法；具體為：采集香蕉實時的RGB圖像和深度數據，將RGB圖像與深度數據進行對齊，將對齊后的圖像數據輸入訓練好的優選關鍵點檢測模型中，通過優選關鍵點檢測模型檢測出兩個輔助關鍵點；計算兩個輔助關鍵點的中點，作為香蕉吸芽的切割點；利用近鄰插值算法，從對齊的深度數據中提取切割點的深度值；將切割點的圖像坐標和深度值轉換為相機坐標系中的三維坐標，并將轉換后的三維坐標傳輸到中心控制系統，以此控制作業機器人進行香蕉吸芽的切除工作。本發明的香蕉吸芽切割點快速精準定位方法可以快速實現對香蕉吸芽的切割點進行精準定位，從而提高切割效率和切割精度。

技術研發人員：徐興,吳廣,梁華子墨,余家祥,劉國杰,陳尚存,彭世燁,涂志成,談思強,崔修貴
受保護的技術使用者：華南農業大學
技術研發日：
技術公布日：2025/4/28