本技術涉及農業生產領域,尤其涉及一種植物表型形狀參數提取方法、相應的裝置、電子設備及計算機可讀存儲介質。
背景技術:
1、植物表型包括物理、生理和生化性狀,反映了從細胞和器官水平到單株植物和整個種群等多個尺度上的植物結構和功能屬性。這些表型性狀是植物遺傳構成與環境相互作用的結果,為植物生長、抗逆性和適應性提供了寶貴的見解。研究這些性狀對于推進育種技術、改善精準農業以及實現自動化收割技術至關重要。在植物表型性狀中,葉片特征尤為重要,因為它們是植物健康、活力和對環境壓力反應的關鍵指標。量化葉片幾何參數可使研究人員優化植物生長條件,進而提高產量、質量、抗逆性和整體適應性。對植物表型的研究通常從量化可觀察到的性狀開始,如葉幾何形狀,并探索它們與遺傳特征的關系。
2、傳統的植物表型量化方法主要依賴人工評估,不僅耗時耗力、成本高昂,而且容易出現主觀偏差和誤差。此外,這些方法經常涉及破壞性測試,因此不適合在植物的整個生長周期中進行連續監測。然而,計算機視覺技術的最新進展推動了自動化數字表型方法的發展。這些方法能夠收集大規模的客觀表型數據,大大提高了植物性狀測量的效率和準確性。通過采用先進的算法和二維成像技術,研究人員可以快速準確地量化各種植物器官及其各自的性狀。盡管二維成像具有諸多優勢,但它捕捉植物完整三維形態的能力有限,從而阻礙了對植物生長和發育的更全面了解。相比之下,三維點云能更完整、更準確地呈現植物表型,有助于深入探索復雜的三維結構。隨著傳感器技術和計算能力的進步,研究人員現在可以高效地獲取和分析三維植物點云數據。激光掃描儀、深度相機和三維重建技術等技術能夠收集三維點云數據,然后用于提取與植物發育相關的表型參數點云分割,即對代表植物表面的三維數據點進行分析和處理,是植物表型分析的關鍵步驟。要提取有用的表型參數,就必須進行精確的分割。雖然目前三維植物數據分析的大部分研究都集中在將植物群體分割成單個實體,但器官水平或單子葉植物的研究仍然相對有限。這一挑戰在復雜的三維數據中尤為明顯,植物器官的分割(如區分葉和莖)仍然是一項艱巨的任務。
3、目前已提出了幾種方法來提高分割的準確性。例如,li(2020年)提出了一種迭代算法,利用歐氏距離和光譜聚類算法將三維點云分割成不同器官的基本形狀單元。同樣,liu等人(2018年)采用離群點過濾、表面邊界過濾和表面過度分割與區域生長技術來分離遮擋的樹葉。然而,在實際應用中,這些方法往往效率低下,對參數調整高度敏感。此外,這些方法通常還需要專業技術才能處理大型、高通量的植物數據集。因此,我們亟需能夠擴展器官分割的創新解決方案,以有效地適應廣泛的數據集。深度學習技術在點云分割中的應用已顯示出巨大潛力在各個領域都有應用。然而,點云的非結構性和無序性給深度學習模型帶來了巨大挑戰(第20屆國際高級智能計算技術與應用大會):第20屆國際會議)。為應對這些挑戰,人們開發了多種策略。例如,saeed等人(2021年)提出了一種基于體素的點-體素cnn網絡,用于植物器官分割,而其他方法則利用多視角模型來完成相同的任務。不過,這些方法通常需要將點云數據轉換為體素或投影到二維平面上,從而增加了計算復雜度和時間成本。為了克服這些問題,qi等人(2017年)開發了pointnet模型,它可以直接處理點云數據。后來,他們又推出了pointnet++(qi等人,2017年),以解決pointnet在捕捉局部特征方面的局限性。此外,turgu等人(2022年)證明了pointnet++在植物點云分割中的應用,將其應用于玫瑰灌木植物的分割,取得了可喜的成果。盡管深度學習在作物點云精確分割方面具有巨大潛力,但仍存在一些挑戰:
4、其一,從不同設備采集的點云數據質量參差不齊,以導致現有模型的魯棒性不高;
5、其二,即使在同一種作物中,天然植物的形態和姿態也各不相同,這使模型的泛化變得更加復雜;
6、其三,植物點云數據的獨特性要求需要進行專門處理,其現有模型的分割性能和適應性較差。
7、綜上所述,適應現有技術中不同設備采集的點云數據質量參差不齊,以導致現有模型的魯棒性不高,以及植物點云數據的獨特性要求需要進行專門處理,其現有模型的分割性能和適應性較差等問題,本技術人出于解決該問題的考慮作出相應的探索。
技術實現思路
1、本技術的目的在于解決上述問題而提供一種植物表型形狀參數提取方法、相應的裝置、電子設備及計算機可讀存儲介質。
2、為滿足本技術的各個目的,本技術采用如下技術方案:
3、適應本技術的目的之一而提出的一種植物表型形狀參數提取方法,包括:
4、響應對植物表型形狀參數進行測量的指令,獲取待檢測植株相對應的原始點云數據,計算確定所述原始點云數據中的每個樣本點與所述樣本點的多個最近鄰近點之間的第一歐幾里得距離的第一平方值,根據多個所述第一平方值之間的第一平均值,以確定每個樣本點相對應的密度因子;
5、計算確定所述第一平方值與所述密度因子之間的第一差值的第二平方值,根據多個所述第二平方值之間的第二平均值,以確定每個樣本點相對應的曲率因子;
6、根據所述每個樣本點相對應的密度因子、所述每個樣本點相對應的曲率因子以及所述第一歐幾里得距離,計算確定每個樣本點相對應的采樣距離;
7、在第一植物點云分割模型中的原始最遠點采樣算法引入所述密度因子、所述曲率因子以及所述采樣距離,在特征提取階段中引入離散小波變換以增強點云數據的多尺度特征表示,在所述集合抽象層中集成核點卷積層,并與所述原始植物點云分割模型中的點卷積層并行工作,以構建第二植物點云分割模型;
8、將所述待檢測植株相對應的原始點云數據輸入至已訓練至收斂狀態的第二植物點云分割模型中,以確定所述待檢測植株相對應的植物表型形狀參數,以完成植物表型形狀參數的提取。
9、可選的,計算確定所述原始點云數據中的每個樣本點與所述樣本點的多個最近鄰近點之間的第一歐幾里得距離的第一平方值,根據多個所述第一平方值之間的第一平均值,以確定每個樣本點相對應的密度因子的步驟,包括:
10、獲取所述待檢測植株相對應的原始點云數據中的每個樣本點以及所述樣本點相對應的多個最近鄰近點;
11、計算確定所述每個樣本點與所述樣本點相對應的多個最近鄰近點之間的第一歐幾里得距離,并計算確定所述第一歐幾里得距離的第一平方值;
12、計算確定多個所述第一平方值之間的第一和值,計算所述第一和值與最近鄰近點數量之間的第一比值以確定第一平均值,以確定每個樣本點相對應的密度因子。
13、可選的,計算確定所述第一平方值與所述密度因子之間的第一差值的第二平方值,根據多個所述第二平方值之間的第二平均值,以確定每個樣本點相對應的曲率因子的步驟,包括:
14、獲取所述待檢測植株相對應的原始點云數據中的每個樣本點、所述樣本點相對應的多個最近鄰近點以及所述密度因子;
15、計算確定所述每個樣本點與所述樣本點相對應的多個最近鄰近點之間的第一歐幾里得距離,計算確定所述第一歐幾里得距離與所述密度因子之間的第一差值,并計算確定所述第一差值的第二平方值;
16、計算確定多個所述第二平方值之間的第二和值,計算所述第二和值與最近鄰近點數量之間的第二比值以確定第二平均值,以確定每個樣本點相對應的曲率因子。
17、可選的,根據所述每個樣本點相對應的密度因子、所述每個樣本點相對應的曲率因子以及所述第一歐幾里得距離,計算確定每個樣本點相對應的采樣距離的步驟,包括:
18、獲取所述待檢測植株相對應的原始點云數據中的每個樣本點、每個樣本點相對應的密度因子、每個樣本點相對應的曲率因子以及預設超參數值;
19、計算確定所述每個樣本點相對應的密度因子與最小密度因子之間的第二差值,計算確定最大密度因子與所述最小密度因子之間的第三差值,計算確定所述第二差值與所述第三差值之間的第三比值,計算確定所述第三比值與所述預設超參數值之間的第一乘積;
20、計算確定所述每個樣本點相對應的曲率因子與最小曲率因子之間的第四差值,計算確定最大曲率因子與所述最小曲率因子之間的第五差值,計算確定所述第四差值與所述第五差值之間的第四比值,計算確定預設數值與預設超參數值之間的第六差值,計算確定所述第四比值與所述第六差值之間的第二乘積;
21、計算確定所述第一乘積與所述第二乘積之間的第三和值,根據所述第三和值與所述第一歐幾里得距離之間的第三乘積,以確定每個樣本點相對應的采樣距離。
22、可選的,采用離散小波變換對所述待檢測植株相對應的原始點云數據進行分別分解以確定低頻分量以及高頻分量,其中,所述低頻分量的計算公式表示為:
23、
24、其中,caj[n]表示第j個尺度下的低頻分量,x[k]表示待檢測植株相對應的原始點云數據,g[2n-k]表示低通濾波器的系數,k表示小波變換中原始點云數據的位置索引,n表示重建過程中原始點云數據的位置索引;
25、所述高頻分量的計算公式表示為:
26、
27、其中,cdj[n]第j個尺度下的高頻分量,h[2n-k]表示高通濾波器的系數;
28、通過對所述低頻分量和所述高頻分量的重構,以重建所述原始點云數據,其計算公式表示為:
29、
30、x[n]表示重建后的原始點云數據。
31、可選的,獲取待檢測植株相對應的原始點云數據的步驟之前,包括:
32、獲取所述待檢測植株相對應的深度圖像以及rgb圖像;
33、將所述待檢測植株相對應的深度圖像與所述待檢測植株相對應的rgb圖像進行粗配準,以確定粗配準點云數據;
34、對所述粗配準點云數據進行去噪和配準處理,得到所述待檢測植株相對應的原始點云數據。
35、可選的,所述第一植物點云分割模型的基礎網絡架構為pointnet++模型,所述第二植物點云分割模型的基礎網絡架構為改進的pointnet++模型;
36、所述待檢測植株包括櫻桃番茄植株、辣椒植株、玉米植株或番茄植株,所述植物表型形狀參數包括植物高度、植物葉面積、植物葉長、植物葉寬以及莖干直徑的一項或任意多項。
37、適應本技術的另一目的而提供的一種植物表型形狀參數提取裝置,包括:
38、密度因子確定模塊,設置為響應對植物表型形狀參數進行測量的指令,獲取待檢測植株相對應的原始點云數據,計算確定所述原始點云數據中的每個樣本點與所述樣本點的多個最近鄰近點之間的第一歐幾里得距離的第一平方值,根據多個所述第一平方值之間的第一平均值,以確定每個樣本點相對應的密度因子;
39、曲率因子確定模塊,設置為計算確定所述第一平方值與所述密度因子之間的第一差值的第二平方值,根據多個所述第二平方值之間的第二平均值,以確定每個樣本點相對應的曲率因子;
40、采樣距離確定模塊,設置為根據所述每個樣本點相對應的密度因子、所述每個樣本點相對應的曲率因子以及所述第一歐幾里得距離,計算確定每個樣本點相對應的采樣距離;
41、分割模型構建模塊,設置為在第一植物點云分割模型中的原始最遠點采樣算法引入所述密度因子、所述曲率因子以及所述采樣距離,在特征提取階段中引入離散小波變換以增強點云數據的多尺度特征表示,在所述集合抽象層中集成核點卷積層,并與所述原始植物點云分割模型中的點卷積層并行工作,以構建第二植物點云分割模型;
42、形狀參數提取模塊,設置為將所述待檢測植株相對應的原始點云數據輸入至已訓練至收斂狀態的第二植物點云分割模型中,以確定所述待檢測植株相對應的植物表型形狀參數,以完成植物表型形狀參數的提取。
43、適應本技術的另一目的而提供的一種電子設備,包括中央處理器和存儲器,所述中央處理器用于調用運行存儲于所述存儲器中的計算機程序以執行本技術所述植物表型形狀參數提取方法的步驟。
44、適應本技術的另一目的而提供的一種計算機可讀存儲介質,其以計算機可讀指令的形式存儲有依據所述植物表型形狀參數提取方法所實現的計算機程序,該計算機程序被計算機調用運行時,執行相應的方法所包括的步驟。
45、相對于現有技術,本技術針對現有技術中不同設備采集的點云數據質量參差不齊,以導致現有模型的魯棒性不高,以及植物點云數據的獨特性要求需要進行專門處理,其現有模型的分割性能和適應性較差等問題,本技術改進的pointnet++模型在處理植物點云數據時,通過引入密度因子、曲率因子、離散小波變換、核點卷積等技術,本技術包括但不限于如下有益效果:
46、其一,本技術能夠大大提高點云采樣與特征提取的精確度,密度因子和曲率因子的引入,在采樣階段優化了數據點的選擇,使得模型能夠根據點的局部幾何特性來挑選更具代表性的點,這些點攜帶著更豐富的幾何信息,從而提高了后續模型的特征表達能力和識別精度。密度因子有助于衡量點云數據的局部密度,可以識別稠密區域與稀疏區域,從而更好地選取具有代表性的樣本點。曲率因子則衡量了點云數據的局部彎曲程度,能夠幫助模型更準確地捕捉植物結構的復雜幾何特征,例如植物表面或器官的細節。
47、其二,本技術能夠顯著增強的多尺度特征表示,本技術改進的pointnet++模型引入離散小波變換,使得點云數據能夠在多個尺度上進行處理,從而有效地增強了點云數據的多尺度特征表示能力。小波變換有助于提取不同尺度的細節信息,對于植物表型數據中不同尺寸的器官、枝葉等結構的識別尤為重要。
48、這種多尺度表示可以更好地捕捉植物形態的局部變化,使得模型對不同尺度的植物表型參數(如葉片大小、莖干粗細等)有更強的辨識能力。
49、其三,本技術能夠極大提高局部特征捕捉能力,本技術改進的pointnet++模型引入核點卷積(kpconv),解決了原始pointnet++在捕捉局部特征時的一些固有限制。kpconv基于點云的空間關系,利用核點對局部區域進行卷積操作,能夠更精準地聚合局部點云的幾何信息。與傳統的卷積方法不同,kpconv更適應稀疏和不規則的點云結構,有助于提高點云數據中的局部特征提取能力,從而在植物器官的分割任務中,提升對細節和邊界的敏感性。
50、其四,本技術具有高效且準確的植物器官分割,通過在原始的最遠點采樣算法(fps)中引入密度因子、曲率因子和采樣距離等因素,增強了采樣的有效性和代表性,能夠更好地覆蓋植物點云中的重要區域。這不僅提升了點云數據的表達能力,還避免了不必要的冗余采樣,從而提高了后續分割任務的效率。在特征提取階段,結合了離散小波變換和核點卷積,進一步優化了對局部特征的提取,從而提高了植物器官分割的精度。