本發明涉及提示學習和農作物病害識別，尤其是一種基于提示學習的農作物病害識別方法。

背景技術：

1、及時準確地識別和防治農業病害，對保障糧食安全和農業可持續發展具有重要意義。在傳統的農作物病害識別實踐中，主要依賴農業專家通過目視檢查來診斷病害，不僅耗時耗力，且在面對大規模農田時效率低下，難以滿足現代農業生產的需求。隨著計算機視覺技術的發展，基于深度學習的農作物病害識別方法逐漸成為研究熱點。但傳統深度學習模型往往表現出較差的泛化性能,在面對新的病害類型或不同環境條件時難以維持穩定的識別效果，這種泛化能力的不足嚴重影響了深度學習方法在農業生產實踐中的廣泛應用。

2、近年來,視覺語言預訓練模型的興起為解決上述問題提供了新的思路。其中，clip(contrastive?language?imagepre-training)通過在大規模圖像-文本對數據上進行對比學習預訓練，展現出了強大的零樣本遷移能力。提示學習能夠在保持預訓練模型參數不變的情況下，提升模型在特定任務上的表現，為優化clip在下游任務中的性能提供了新的思路。然而，目前將提示學習應用于農業方向的方法還比較少。

3、農業領域對模型的實用性往往要求更明顯，模型泛化能力對模型的實際部署至關重要，傳統做法主要聚焦于構建涵蓋更大的分布的訓練數據集，通過使模型在訓練階段學到大量的特征來增強其泛化能力，然而農作物病害種類繁多，表現形式多樣，且不同作物可能出現相同的病害，因此對于農業病害圖像而言，構建大型且可靠的數據集是一項困難的工作。測試時自適應的核心思想是直接利用測試階段的數據來調整模型，自適應的優化測試結果，這為解決農業領域中的域泛化問題提供了一個新的思路。因此需要一種基于提示學習的農作物識別方法，并且可以實現在測試時直接對測試結果進行調優的方法。

技術實現思路

1、為解決農業場景下特有的數據稀缺和類別不平衡的問題，本發明的目的在于提供一種將提示學習引入農作物病害識別任務，能夠更好地利用預訓練模型所蘊含的豐富知識，根據視覺主干網絡的層次深度對特征進行混合，有效融合不同層次的特征信息，顯著提升模型對基類的識別精度和新類的泛化性能的基于提示學習的農作物病害識別方法。

2、為實現上述目的，本發明采用了以下技術方案：一種基于提示學習的農作物病害識別方法，該方法包括下列順序的步驟：

3、(1)獲取農作物病害圖像數據并組成農作物病害圖像數據集，將農作物病害圖像數據集劃分為訓練集、驗證集和測試集；

4、(2)構建提示學習模型：在clip模型基礎上加入漸進式特征混合模塊和可學習的上下文向量，得到提示學習模型，通過提示學習模型得到提示向量；所述clip模型包括用于提取病害圖像的特征信息的圖像編碼器，以及用于處理病害類別文本描述的文本編碼器；

5、(3)將訓練集輸入提示學習模型進行訓練：漸進式特征混合模塊對提取的病害的多層級特征信息進行混合，得到混合后的特征，使用混合后的特征調整提示向量，得到調整后的提示向量；

6、(4)采用動態校準策略進行動態校準：將測試集、調整后的提示向量輸入預訓練后的clip模型，得到校準后的提示向量和測試結果；

7、(5)校準后的提示向量通過動量緩沖機制進行更新，得到更新后的提示向量，用更新后的提示向量替換步驟(3)中調整后的提示向量，得到更新后的提示學習模型；

8、(6)將待識別的農作物病害圖像輸入更新后的提示學習模型，得到識別結果。

9、所述步驟(1)具體是指：所述農作物病害圖像數據集包括玉米葉病數據集、水稻葉病數據集、甘蔗葉病數據集、柑橘葉病數據集、蘋果葉病數據集、plantvillage、plantdoc和lwdcd2020。

10、所述步驟(2)具體是指：將漸進式特征混合模塊加入到圖像編碼器的主干網絡中，圖像編碼器的主干網絡采用vit-b/16，可學習的上下文向量位于文本編碼器處理的提示文本中，提示文本的格式為：[v]1[v]2...[v]m[class]，其中，[v]1[v]2...[v]m為可學習的上下文向量，[class]為第i個類別的病害名稱，m表示可學習的上下文向量的長度。

11、在步驟(3)中，所述漸進式特征混合模塊對提取的病害的多層級特征信息進行混合具體是指：漸進式特征混合模塊選擇圖像編碼器主干網絡的淺層特征、中層特征和深層特征進行特征混合，其中，淺層特征選擇圖像編碼器主干網絡的第4層卷積層的輸出，用于提取農作物病害的基礎視覺特征；中層特征選擇圖像編碼器主干網絡的第8層卷積層的輸出，用于提取病害的中層結構特征；深層特征選擇圖像編碼器主干網絡第11層卷積層的輸出，用于提取病害的高層語義特征；每一層的特征混合均遵循以下步驟：

12、對每一層的混合系數λl從beta分布中采樣：

13、λl～beta(αl,αl)

14、其中，λl表示第l層beta分布的參數，beta代表beta分布；αl是常數，淺層特征、中層特征、深層特征的αl一一對應為常數0.4、0.2、0.1，較大的λl值使得淺層特征混合更加均衡，較小的λl值使得深層特征混合更加聚焦；在每一層將前一層傳遞的混合特征與當前層新選擇的樣本特征進行混合：

15、

16、其中，fl是從前一層傳遞來的混合特征，fl′是當前層新選擇的樣本特征；是混合后的特征；混合后的特征將繼續向更深層傳播；

17、對于混合后特征的標簽，繼承于當前層樣本的標簽y′，混合后特征的損失函數計算公式為：

18、

19、其中，lce表示交叉熵損失函數。

20、在步驟(3)中，使用混合后的特征調整提示向量，得到調整后的提示向量具體是指：首先，通過提示向量、圖像編碼器得到的圖像特征計算余弦相似度，即計算該圖像屬于各個類別的概率：

21、

22、其中，p(y＝i|g(v))表示圖像屬于類別i的概率，sim(·,·)表示余弦相似度，h(t)和g(v)分別表示提示學習模型的文本編碼器提取的文本特征和圖像編碼器提取的圖像特征，τ是用于調節概率分布平滑程度的溫度參數，k為病害類別總數；

23、然后，通過預測的屬于各個類別的概率與該圖像真正屬于的類別計算損失函數，使用損失函數計算梯度，反向傳播梯度調整提示向量；損失函數l的計算公式為：

24、

25、隨后通過文本編碼器反向傳播梯度調整提示向量，提升提示學習模型的識別精度。

26、所述步驟(4)具體是指：對于一張測試圖片v，首先使用n個不同的數據增強器進行處理，獲得多個不同視角的圖片，只保留測試熵h(p(t|v))較低的樣本，選取其中熵值最低的前10％作為校準目標樣本，對于每個被選中的低熵視圖，取其前k種預測的類別名稱計算校準分數，最后通過梯度下降優化可學習參數以最大化期望校準；p(t|v)為測試結果，其中，p是概率，t是提示文本，p(t|v)即圖片屬于各種類別的概率；

27、基于clip模型定義余弦相似度：

28、clip(t,v)＝sim(h(t)clip,g(v)clip)

29、其中，h(t)clip和g(v)clip分別表示clip模型的文本編碼器提取的文本特征和圖像編碼器提取的圖像特征；

30、計算clip分數：

31、clips(t,v)＝w×max(clip(t,v),0)

32、其中，w＝2.5為常數系數；

33、定義校準函數：

34、

35、其中，為采樣圖像文本對的平均clip分數；

36、為計算不可微動態校準函數的梯度，采用reinforce算法計算不可微動態校準函數的梯度：

37、

38、其中，θ為待調優的提示向量；是校準函數r(t,v)的期望值關于θ的梯度，r(t,v)是校準函數，p(t|v；θ)是概率分布；

39、在每次迭代后，θ更新為相應的動量緩存ψ按動量緩沖機制進行更新：

40、

41、其中，γ∈[0,1)為動量因子。

42、由上述技術方案可知，本發明的有益效果為：第一，本發明首次將提示學習引入農作物病害識別任務，相比傳統深度學習方法，提示學習能夠更好地利用預訓練模型所蘊含的豐富知識，為解決農業場景下數據稀缺和類別不平衡等問題提供了新的思路；第二，本發明中的提示學習模型根據視覺主干網絡的層次深度對特征進行混合，有效融合了不同層次的特征信息，顯著提升了模型對基類的識別精度和新類的泛化性能；第三，設計了基于clip知識的動態校準策略即動態校準策略，用于提升模型的域泛化能力，無需額外訓練數據，利用clip模型中的跨模態知識在測試時對結果直接調優，有效解決了傳統熵最小化方法存在的特征偏移和性能衰減問題。