本發(fā)明涉及水果果實(shí)估產(chǎn)，特別是一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法。

背景技術(shù)：

1、在現(xiàn)階段，主流的水果果實(shí)計(jì)數(shù)方法主要依賴于在果園內(nèi)拍攝視頻，并借助后續(xù)的計(jì)算機(jī)視覺算法進(jìn)行處理。具體流程概述如下：首先，在目標(biāo)果園內(nèi)采集高清視頻數(shù)據(jù)，并將其傳輸至地面站或云平臺(tái)進(jìn)行存儲(chǔ)與處理；其次，應(yīng)用先進(jìn)的計(jì)算機(jī)視覺算法對(duì)視頻幀進(jìn)行深入分析，實(shí)現(xiàn)對(duì)水果的精準(zhǔn)檢測(cè)、跟蹤及計(jì)數(shù)。這一方法不僅為果蔬產(chǎn)量預(yù)測(cè)提供了有力支持，還取得了顯著的成效。然而，在實(shí)際應(yīng)用中，該方法仍面臨諸多挑戰(zhàn)。當(dāng)前主流方法主要基于二維視頻數(shù)據(jù)，利用多種分割或檢測(cè)網(wǎng)絡(luò)架構(gòu)(如vcc、resnet、yolo等)進(jìn)行水果的檢測(cè)與計(jì)數(shù)。但水果的追蹤與計(jì)數(shù)仍頗具挑戰(zhàn)性，主要源于對(duì)果實(shí)的重復(fù)計(jì)算及計(jì)算感興趣區(qū)域以外的水果(如掉落的水果或后排樹上的水果)。特別是，重復(fù)計(jì)數(shù)可能源于多種情況，如在連續(xù)圖像中重復(fù)觀察同一水果或從不同角度重復(fù)計(jì)數(shù)同一水果。

2、隨著信息采集技術(shù)的不斷進(jìn)步，深度信息被引入目標(biāo)識(shí)別領(lǐng)域，三維點(diǎn)云技術(shù)的出現(xiàn)為水果檢測(cè)提供了新的視角。三維信息能夠準(zhǔn)確反映物體的空間位置，通過點(diǎn)云拼接技術(shù)，可以彌補(bǔ)相機(jī)視野的局限性，獲取目標(biāo)完整的三維信息。然而，在果園的三維點(diǎn)云場(chǎng)景中，果實(shí)常被其他物體遮擋或截?cái)啵瑢?dǎo)致目標(biāo)檢測(cè)和跟蹤的準(zhǔn)確性受到影響。現(xiàn)有的基于檢測(cè)的跟蹤系統(tǒng)中的三維物體檢測(cè)器通常會(huì)在每個(gè)新的視頻幀中重新檢測(cè)物體，未能充分利用之前的檢測(cè)結(jié)果。這導(dǎo)致在遮擋和截?cái)鄧?yán)重的情況下，物體容易被漏檢。盡管后續(xù)的跟蹤模塊能夠?qū)z測(cè)到的框進(jìn)行關(guān)聯(lián)，并在一定程度上整合時(shí)間信息以改進(jìn)結(jié)果，但檢測(cè)模塊仍然獨(dú)立逐幀工作，未能充分利用場(chǎng)景中物體的記憶信息。這種工作方式不僅效率低下，而且與人構(gòu)建空間記憶的方式相悖。因此，構(gòu)建能夠像人一樣在遮擋和截?cái)嗲闆r下持續(xù)檢測(cè)和跟蹤三維場(chǎng)景中的物體的系統(tǒng)，是本專利亟需解決的關(guān)鍵科學(xué)問題之一。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提出一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，通過優(yōu)化算法設(shè)計(jì)，充分利用三維點(diǎn)云信息，結(jié)合物體的記憶信息，實(shí)現(xiàn)了三維空間中物體的持續(xù)定位、跟蹤和識(shí)別，解決了果實(shí)的重復(fù)計(jì)算和計(jì)算感興趣區(qū)域以外的水果的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提出一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，具體步驟如下：

3、s1、利用lidar相機(jī)捕獲果園場(chǎng)景的點(diǎn)云序列數(shù)據(jù)及其對(duì)應(yīng)的相機(jī)運(yùn)動(dòng)軌跡信息，并對(duì)三維場(chǎng)景進(jìn)行俯瞰得到水果占用地圖fom；

4、s2、構(gòu)建基于點(diǎn)云序列數(shù)據(jù)的高效物體檢測(cè)模塊，檢測(cè)模塊使用時(shí)空注意力引導(dǎo)的快速目標(biāo)建議與狀態(tài)初估計(jì)網(wǎng)絡(luò)，利用水果占用地圖fom篩選出含有果實(shí)的高概率區(qū)域以及未知區(qū)域，并將檢測(cè)模塊分為早期集成階段和中間集成階段，基于早期集成階段的水果占用地圖fom引導(dǎo)rpn以及中間集成階段fusion?r-cnn融合框架進(jìn)行果實(shí)檢測(cè)；

5、s3、基于三維多目標(biāo)跟蹤算法ab3dmot，構(gòu)建基于點(diǎn)云序列數(shù)據(jù)的果實(shí)跟蹤模塊，進(jìn)行時(shí)空記憶導(dǎo)向的運(yùn)動(dòng)預(yù)測(cè)和水果占用地圖fom更新。

6、優(yōu)選的，s2中，早期集成階段通過水果占用地圖fom引導(dǎo)rpn，具體步驟如下：

7、s211、根據(jù)上一幀得到的水果占用地圖fom，通過選取閾值σ，將其分為高占用區(qū)、低占用區(qū)和未觀測(cè)區(qū)，并根據(jù)時(shí)間融合后的水果占用地圖fom丟棄不含水果的區(qū)域；

8、s212、通過水果占用地圖得到水果占用分割點(diǎn)云后，將3d目標(biāo)檢測(cè)算法pointrcnn作為基礎(chǔ)檢測(cè)架構(gòu)，將基于bin的3d?box?generation模塊作為rpn，通過將搜索空間離散化為一系列單元格bins，進(jìn)行果實(shí)密集區(qū)域的3d檢測(cè)。

9、優(yōu)選的，s2中，中間集成階段基于fusion?r-cnn融合框架，將當(dāng)前幀目標(biāo)建議框bprop和上一幀目標(biāo)未來狀態(tài)預(yù)測(cè)框bpred融合，再組合形成感興趣區(qū)域roi的點(diǎn)云并輸入至檢測(cè)框回歸網(wǎng)絡(luò)r-cnn進(jìn)行檢測(cè)框預(yù)測(cè)。

10、優(yōu)選的，s3中，時(shí)空記憶導(dǎo)向的運(yùn)動(dòng)預(yù)測(cè)選用三維多目標(biāo)跟蹤算法ab3dmot，將s2中檢測(cè)框預(yù)測(cè)結(jié)果輸入到卡爾曼濾波器中，利用3d?iou關(guān)聯(lián)與匈牙利算法快速建立當(dāng)前幀與歷史軌跡的對(duì)應(yīng)關(guān)系，同時(shí)遵循ab3dmot中卡爾曼濾波器的設(shè)置，在每個(gè)時(shí)間t，由卡爾曼濾波預(yù)測(cè)t+1的優(yōu)選的，運(yùn)動(dòng)預(yù)測(cè)采用獨(dú)立于攝像機(jī)自運(yùn)動(dòng)的恒定速度模型描述水果間的幀間位移，產(chǎn)生融合的目標(biāo)狀態(tài)作為最終的未來幀狀態(tài)預(yù)測(cè)。

11、優(yōu)選的，s3中，水果占用地圖fom更新基于前一幀構(gòu)建的fom所提供的時(shí)空記憶信息，通過整合當(dāng)前幀接收到的點(diǎn)云序列數(shù)據(jù)以及剛由運(yùn)動(dòng)預(yù)測(cè)模塊生成的對(duì)未來幀水果狀態(tài)預(yù)測(cè)圖，實(shí)時(shí)更新水果占用地圖。

12、因此，本發(fā)明提出了一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，其有益效果如下：

13、(1)本發(fā)明一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，創(chuàng)新性地運(yùn)用時(shí)空記憶的概念來應(yīng)對(duì)現(xiàn)實(shí)場(chǎng)景中的遮擋和連續(xù)追蹤難題，有效減少了對(duì)無效區(qū)域的計(jì)算資源浪費(fèi)，顯著提高了檢測(cè)速度和精度；同時(shí)綜合利用連續(xù)觀測(cè)數(shù)據(jù)，動(dòng)態(tài)優(yōu)化物體未來狀態(tài)的預(yù)測(cè)，并將其融入到整個(gè)檢測(cè)流程中，增強(qiáng)了檢測(cè)系統(tǒng)的魯棒性和準(zhǔn)確性。

14、(2)本發(fā)明一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，利用3d?iou關(guān)聯(lián)與匈牙利算法快速建立當(dāng)前幀與歷史軌跡的對(duì)應(yīng)關(guān)系，同時(shí)遵循ab3dmot中卡爾曼濾波器的設(shè)置，在簡(jiǎn)化運(yùn)算同時(shí)保持較高精度，以較低計(jì)算代價(jià)實(shí)現(xiàn)對(duì)果實(shí)運(yùn)動(dòng)狀態(tài)的準(zhǔn)確預(yù)測(cè)。

15、下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

技術(shù)特征：

1.一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，其特征在于，具體步驟如下：

2.根據(jù)權(quán)利要求1所述的一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，其特征在于，s2中，早期集成階段通過水果占用地圖fom引導(dǎo)rpn，具體步驟如下：

3.根據(jù)權(quán)利要求1所述的一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，其特征在于，s2中，中間集成階段基于fusion?r-cnn融合框架，將當(dāng)前幀目標(biāo)建議框bprop和上一幀目標(biāo)未來狀態(tài)預(yù)測(cè)框bpred融合，再組合形成感興趣區(qū)域roi的點(diǎn)云并輸入至檢測(cè)框回歸網(wǎng)絡(luò)r-cnn進(jìn)行檢測(cè)框預(yù)測(cè)。

4.根據(jù)權(quán)利要求1所述的一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，其特征在于，s3中，時(shí)空記憶導(dǎo)向的運(yùn)動(dòng)預(yù)測(cè)選用三維多目標(biāo)跟蹤算法ab3dmot，將s2中檢測(cè)框預(yù)測(cè)結(jié)果輸入到卡爾曼濾波器中，利用3d?iou關(guān)聯(lián)與匈牙利算法快速建立當(dāng)前幀與歷史軌跡的對(duì)應(yīng)關(guān)系，同時(shí)遵循ab3dmot中卡爾曼濾波器的設(shè)置，在每個(gè)時(shí)間t，由卡爾曼濾波預(yù)測(cè)t+1的水果運(yùn)動(dòng)。

5.根據(jù)權(quán)利要求4所述的一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，其特征在于，運(yùn)動(dòng)預(yù)測(cè)采用獨(dú)立于攝像機(jī)自運(yùn)動(dòng)的恒定速度模型描述水果間的幀間位移，產(chǎn)生融合的目標(biāo)狀態(tài)作為最終的未來幀狀態(tài)預(yù)測(cè)。

6.根據(jù)權(quán)利要求1所述的一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，其特征在于，s3中，水果占用地圖fom更新基于前一幀構(gòu)建的fom所提供的時(shí)空記憶信息，通過整合當(dāng)前幀接收到的點(diǎn)云序列數(shù)據(jù)以及剛由運(yùn)動(dòng)預(yù)測(cè)模塊生成的對(duì)未來幀水果狀態(tài)預(yù)測(cè)圖，實(shí)時(shí)更新水果占用地圖。

技術(shù)總結(jié)
本發(fā)明公開了一種基于三維點(diǎn)云的果實(shí)自動(dòng)計(jì)數(shù)方法，涉及水果果實(shí)估產(chǎn)技術(shù)領(lǐng)域。該方法首先利用LIDAR相機(jī)捕獲果園場(chǎng)景的點(diǎn)云序列數(shù)據(jù)及其對(duì)應(yīng)的相機(jī)運(yùn)動(dòng)軌跡信息，并對(duì)三維場(chǎng)景進(jìn)行俯瞰得到水果占用地圖FOM；然后構(gòu)建基于點(diǎn)云序列數(shù)據(jù)的高效物體檢測(cè)模塊，使用時(shí)空注意力引導(dǎo)的快速目標(biāo)建議與狀態(tài)初估計(jì)網(wǎng)絡(luò)，基于早期集成階段的FOM引導(dǎo)RPN以及中間集成階段Fusion?R?CNN融合框架進(jìn)行果實(shí)檢測(cè)；最后基于AB3DMOT算法，構(gòu)建基于點(diǎn)云序列數(shù)據(jù)的果實(shí)跟蹤模塊，進(jìn)行時(shí)空記憶導(dǎo)向的運(yùn)動(dòng)預(yù)測(cè)和水果占用地圖更新。本發(fā)明通過將物體狀態(tài)隨時(shí)間變化的累積記憶信息回灌至檢測(cè)模塊，顯著提升了目標(biāo)檢測(cè)器檢測(cè)3D目標(biāo)時(shí)的精度和跟蹤效率，實(shí)現(xiàn)了三維空間中物體持續(xù)定位、跟蹤和識(shí)別。

技術(shù)研發(fā)人員：任婕,陳菲,陳光喜,唐宇濤,王文顥,邱睿,徐碩江,劉助水,劉國(guó)華,李官雨,謝方菲,李科濤,黃杰
受保護(hù)的技術(shù)使用者：桂林電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28