本發明涉及圖像處理，具體涉及語義分割模型的訓練方法、語義分割方法及裝置。

背景技術：

1、在深度學習和計算機視覺領域，圖像分割任務，尤其是語義分割任務，在多個應用場景中都具有重要意義，如自動駕駛、醫學影像分析、遙感圖像處理等。在這些應用中，模型的目標是對輸入圖像中的每個像素進行分類，從而生成精確的像素級分割圖。

2、其中，教育機器人亦可以利用卷積神經網絡（cnn）等技術對樹木圖像進行分析，幫助學生學習和實踐計算機視覺和機器學習的基本原理。例如，通過訓練模型識別不同樹種，學生可以掌握圖像預處理、特征提取和模型優化等技能。

3、但在樹木圖像進行分析的過程，如教育機器人所包括的對樹木圖像的語義分割中，還存在如下問題：

4、在樹木圖像中，背景類別的像素數量通常遠大于樹木類別（樹干、樹葉等），這種類別不平衡使得傳統的損失函數（如交叉熵損失）無法很好地訓練模型，因為模型會傾向于預測背景類；

5、并且，樹木的邊緣部分（如樹葉、樹枝）通常較為復雜且細小，需要模型能夠精細捕捉細節特征，而由于背景像素數量龐大，模型往往容易忽視這些精細區域，導致分割效果不理想；

6、其次目前的深度神經網絡的訓練常常面臨梯度爆炸、梯度消失等問題，特別是在網絡較深、訓練數據較復雜的情況下，學習率的設置直接影響模型的收斂速度和最終性能。

技術實現思路

1、針對現有技術所存在的上述缺點，本發明提供了語義分割模型的訓練方法、語義分割方法及裝置，能夠有效解決現有技術中對于樹木圖像的語義分割模型無法提升分割精度和模型泛化能力的問題。

2、為實現以上目的，本發明通過以下技術方案予以實現：

3、本發明提供語義分割模型的訓練方法、語義分割方法及裝置，至少包括：

4、包括如下步驟：

5、獲取包含樹木的圖像并預處理，構建圖像集；

6、基于u-net架構進行圖像分割，u-net架構包括編碼器、解碼器、跳躍連接；

7、引入空洞卷積感受野，捕捉不同尺度的樹木結構，其中，空洞卷積的表達式為：

8、；

9、其中，表示卷積結果在位置s的值，表示輸入圖像在位置s的值，表示卷積核的第i個權重，表示空洞率，表示卷積核的大小；

10、基于dice系數損失和加權交叉熵損失確定總損失函數優化圖像背景和樹木類別不平衡；

11、通過adam優化器結合梯度的一階矩估計和二階矩估計以在每個訓練步驟中調整學習率，并結合余弦退火調度實現adam優化器學習率衰減調整，其中，學習率衰減調整的表達式為：

12、；

13、其中，表示當前步數的學習率，表示最大學習率閾值，表示最小學習率，表示訓練的最大步數，通過得到學習率作為adam優化器中學習率的衰減調整；

14、基于配置的adam優化器和余弦退火調度實現語義分割模型的訓練，直至收斂得到語義分割模型。

15、編碼器包括：

16、卷積層，進行3x3卷積對輸入的圖像進行卷積操作來提取局部特征；

17、池化層，進行2x2最大池化操作。

18、進一步地，引入1x1卷積優化不同層次的特征融合，則有：

19、設輸入的圖像為特征圖，h和w分別表示高和寬，表示輸入的通道數，輸出為特征圖，表示輸出的通道數，則1x1卷積的計算公式為：

20、；

21、其中，?表示輸入特征圖在位置（i,j）和通道c上的值，表示卷積核的第c個通道上的權重，表示偏置頂。

22、進一步地，所述總損失函數的確定方法為：

23、對于dice系數：

24、；

25、其中，表示真實標簽的第i個像素值，表示模型預測的第i個像素值；

26、定義dice系數損失：

27、；

28、加權交叉熵損失：

29、；

30、其中，表示類別總數，表示第i類的權重；

31、結合dice系數和加權交叉熵損失定義總損失函數為：

32、；

33、表示平衡兩種損失的系數。

34、進一步地，所述adam優化器結合梯度的一階矩估計和二階矩估計以在每個訓練步驟中調整學習率的方法為：

35、一階矩估計：

36、；

37、其中，表示一階矩的衰減系數，表示當前的梯度，表示梯度的一階矩估計；

38、二階矩估計：

39、；

40、其中，表示二階矩的衰減系數，表示梯度的二階矩估計；

41、修正一階和二階矩估計：

42、；

43、其中，和分別表示修正后的一階矩估計、二階矩估計，表示當前步數；

44、進行參數更新：

45、；

46、其中，表示第步的參數，表示學習率，表示常數，表示梯度噪聲。

47、進一步地，所述梯度噪聲根據如下關系式確定：

48、；

49、其中，表示噪聲比例因子，表示從均值為0，方差為的正態分布中抽取的噪聲，表示噪聲的標準差。

50、進一步地，所述噪聲比例因子根據如下關系式進行確定：

51、；

52、其中，表示當前步數的噪聲比例因子，表示初始噪聲強度。

53、一種語義分割方法，包括：

54、確定待分割的圖像；

55、將所述待分割的圖像輸入至上述中任一項訓練的所述語義分割模型，得到所述待分割的圖像的語義分割結果。

56、一種語義分割模型的訓練裝置，根據上述中任一項所述的語義分割模型的訓練方法予以實現。

57、一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現上述中任一項所述的方法的步驟。

58、本發明提供的技術方案，與已知的現有技術相比，具有如下有益效果：

59、1、通過引入空洞卷積，增強模型對不同尺度樹木特征的捕捉能力，提升對大樹、小樹或不同形態樹木的分割能力，通過dice系數損失來幫助模型更好地處理多尺度特征的重疊度，優化模型的整體分割效果；

60、2、通過結合adam優化器與動量，adam優化器能夠自適應調整每個參數的學習率，在訓練過程中更有效地優化參數，結合余弦退火策略平滑地調整學習率，避免訓練初期學習率過大導致的震蕩，實現平穩的訓練過程；

61、3、通過余弦退火調度的余弦函數平滑地降低學習率，以在訓練過程中，學習率在初期較大，幫助模型快速收斂；而在訓練后期，學習率逐漸減小，從而使得模型能夠進行更精細的參數調整，避免過擬合，由此能夠便于后續于教育機器人中進行圖像的分割處理應用。

技術特征：

1.語義分割模型的訓練方法，包括如下步驟：

2.根據權利要求1所述的語義分割模型的訓練方法，其特征在于，所述編碼器包括：

3.根據權利要求1所述的語義分割模型的訓練方法，其特征在于，所述u-net架構中，引入1x1卷積優化不同層次的特征融合，則有：

4.根據權利要求1所述的語義分割模型的訓練方法，其特征在于，所述總損失函數的確定方法為：

5.根據權利要求1所述的語義分割模型的訓練方法，其特征在于，所述adam優化器結合梯度的一階矩估計和二階矩估計以在每個訓練步驟中調整學習率的方法為：

6.根據權利要求5所述的語義分割模型的訓練方法，其特征在于，所述梯度噪聲根據如下關系式確定：

7.根據權利要求6所述的語義分割模型的訓練方法，其特征在于，所述噪聲比例因子根據如下關系式進行確定：

8.一種語義分割方法，其特征在于，包括：

9.一種語義分割模型的訓練裝置，其特征在于，根據權利要求1-7中任一項所述的語義分割模型的訓練方法予以實現。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法的步驟。

技術總結
本發明涉及圖像處理技術領域，具體涉及語義分割模型的訓練方法、語義分割方法及裝置。包括獲取包含樹木的圖像并預處理，構建圖像集；基于U?Net架構進行圖像分割，U?Net架構包括編碼器、解碼器、跳躍連接；基于Dice系數損失和加權交叉熵損失確定總損失函數優化圖像背景和樹木類別不平衡；通過Adam優化器結合梯度的一階矩估計和二階矩估計以在每個訓練步驟中調整學習率，并結合余弦退火調度實現Adam優化器學習率衰減調整；基于配置的Adam優化器和余弦退火調度實現語義分割模型的訓練，直至收斂得到語義分割模型。由此基于得到的語義分割模型能夠便于后續于教育機器人中進行圖像的分割處理應用。

技術研發人員：龍飛菲,呂遠,張建忠
受保護的技術使用者：北京愛賓果科技有限公司
技術研發日：
技術公布日：2025/3/10