本發明涉及遙感影像分類，具體涉及一種基于空-譜聯合增強對比學習的遙感影像農作物分類方法。

背景技術：

1、近年來，隨著衛星遙感技術的不斷進步，高分辨率遙感影像為準確提取農作物信息提供了豐富的數據基礎。通過利用遙感影像數據對農田中不同農作物進行的監測和精準分類，有助于深入了解農業生產結構、農作物分布和種植狀況，對于實現精準農業、推動農業現代化具有重要意義。深度學習模型以其自動提取圖像深層次特征的優勢在遙感智能解譯領域已得到了廣泛應用。然而，由于農作物分類領域面臨著遙感數據標注困難、農作物生長種植結構復雜、不同地域農作物特征差異較大等問題，現有的深度學習方法難以適應不同地域和時空條件下的作物分類需求。因此，如何基于遙感數據的時空譜特性和農作物生長種植規律，在不依賴標簽數據的條件下實現農作物的自動分類成為研究熱點。

2、迄今為止，國內外研究人員對高分辨率遙感影像的農作物分類進行了廣泛的研究。最初的算法通常是基于遙感影像的時間特征和光譜特征，利用植被指數或光譜反射率進行農作物的識別分類。例如文獻：kang?y,hu?x,meng?q,et?al.land?cover?and?cropclassification?based?on?red?edge?indices?features?of?gf-6wfv?time?series?data[j].remote?sensing,2021,13(22):4522.證明了上述觀點。但該類方法依賴于研究者對光譜特征的人工設計和操作，受限于人為的主觀經驗和領域知識，難以充分挖掘大規模、高維度遙感數據的潛在信息，從而影響分類精度，例如文獻：luo?c,meng?s,hu?x,etal.cropnet:deep?spatial-temporal-spectral?feature?learning?network?for?cropclassification?from?time-series?multi-spectral?images[c].ieee?internationalgeoscience?and?remote?sensing?symposium(igarss).waikoloa,hi,usa:ieee,2020:4187～4190.證明了該表述。近年來，智能計算技術迅速發展，以卷積神經網絡(convolutional?neural?network,cnn)為代表的深度學習技術備受關注，它可以自適應地從數據中學習高級語義特征，以其強大的辨別能力、特征提取能力在遙感智能解譯領域取得了較大的進展，文獻：khan?a?h,fraz?m?m,shahzad?m.deep?learning?based?landcover?and?crop?type?classification:a?comparative?study[c].2021internationalconference?on?digital?futures?and?transformative?technologies(icodt2).islamabad,pakistan:ieee,2021:1～6.以及文獻：wang?l,bai?y,wang?j,etal.histogram?matching-based?semantic?segmentation?model?for?cropclassification?with?sentinel-2satellite?imagery[j].giscience&remote?sensing,2023,60:1.證明了以上表述。然而深度學習模型大多是以監督訓練的方式自動學習大規模遙感數據中的特征，但絕大多數遙感影像數據的獲取過程中無法自動生成準確的標簽，人工標注成本又高，極大地限制了深度學習方法在真實農作物分類場景下的應用。最近的研究嘗試使用自監督對比學習的方式從海量無標注遙感數據中自動挖掘光譜、空間判別性特征。

3、在光譜維，通常對遙感圖像的波段進行隨機分組以從中構建兩個光譜視圖作為對比學習的正樣本對，文獻:xue?z,liu?b,yu?a,et?al.self-supervised?featurerepresentation?and?few-shot?land?cover?classification?of?multimodal?remotesensing?images[j].ieee?transactions?on?geoscience?and?remote?sensing,2022,60:1～18.以及文獻：liu?b,yu?a,yu?x,et?al.deep?multiviewlearning?for?hyperspectralimage?classification[j].ieee?transactions?on?geoscience?and?remote?sensing,2020,59(9):7758～7772.證明了上述觀點。然而，農作物生長過程中伴隨著復雜的光譜特征變化，不同作物類型對不同波段的敏感性不同，現有的光譜對比學習方法忽略了農作物對不同波段響應變化，無法充分利用農作物的光譜信息。空間分辨率的逐漸提高所帶來的細節性和結構性信息在實際應用中未得到充分考慮，難以實現土地利用準確分類。

4、在空間維，通?；谶b感影像的地理空間關系設計對比學習方法，通過定義空間鄰域為錨點樣本選擇鄰近樣本和遠處樣本，挖掘空間分布上相鄰的樣本的一致性信息。文獻:jean?n,wang?s,samar?a,et?al.tile2vec:unsupervised?representation?learningforspatially?distributed?data[j].arxiv,2018.以及文獻：kang?j,fernandez-beltranr,duan?p,et?al.deep?unsupervised?embedding?for?remotely?sensed?images?basedon?spatially?augmented?momentum?contrast[j].ieee?transactions?on?geoscienceand?remote?sensing,2021,59(3):2598～2610.證明了上述觀點。然而，僅依靠地理距離約束相鄰樣本之間的相關性，認為距離相近的樣本特征一定相似，可能會錯誤地拉近不同作物類型的特征，降低模型的穩健性。

5、針對上述問題，本發明提出了一種基于空-譜聯合增強對比學習的遙感影像農作物分類方法，以解決上述技術問題。

技術實現思路

1、本發明的目的是提供一種基于空-譜聯合增強對比學習的遙感影像農作物分類方法，以解決現有對比學習方法無法充分挖掘農作物的空間、光譜特征的問題。首先設計了三維時-空-譜特征提取模塊(3d?spatial-spectral-temporal?feature?extractionmodule，3d?sstfem)，其次，設計了基于最優波段特征選擇的光譜增強模塊(spectralaugment?module?based?on?optimal?band?feature?selection，samobs)和基于光譜相似性建模的空間增強模塊(spatial?augment?module?based?on?spectral?similaritymodelling，samssm)以分別增強模型對光譜細節特征的提取能力和增強地理空間上相鄰樣本之間的相似性，最后設計了空譜特征融合模塊(spatial?spectral?feature?fusionmodule，ssffm)以融合不同分支模塊提取的特征，并靈活學習光譜細節特征和地理空間特征之間的互補關系。相比于其他最新的農作物分類方法，本發明提出的基于空-譜聯合增強對比學習的遙感影像農作物分類方法，在精度、時間復雜度和泛化能力均有提升。

2、本發明的目的是這樣實現的：

3、一種基于空-譜聯合增強對比學習的遙感影像農作物分類方法，其特征在于：包括基于空-譜聯合增強的對比學習模型ssacl，所述基于空-譜聯合增強的對比學習模型ssacl包括三維時-空-譜特征提取模塊3d?sstfem、基于最優波段特征選擇的光譜增強模塊samobs、基于光譜相似性建模的空間增強模塊samssm和空譜特征融合模塊ssffm，空譜特征融合模塊ssffm通過對比損失將光譜增強模塊samobs和空間增強模塊samssm的特征進行加權融合；

4、所述基于空-譜聯合增強對比學習的遙感影像農作物分類方法，包括以下步驟：

5、步驟s1、設計三維時-空-譜特征提取模塊3d?sstfem：

6、所述三維時-空-譜特征提取模塊3d?sstfem是基于三維卷積神經網絡，利用農作物的空間分布和光譜特性，同時從時間維度捕獲農作物的生長動態信息；三維時-空-譜特征提取模塊3d?sstfem包括四個塊，其中每一塊包含卷積層、歸一化層和激活函數，在卷積層后加入批處理標準化bn層，以加快模型擬合速度，避免過擬合現象，并使用relu激活函數，有效地避免梯度爆炸或消失，使網絡訓練更快；通過三維卷積同時提取遙感影像的時空譜特征，能夠在挖掘空間和光譜特征的同時保留農作物生長過程中的時間變化信息，充分建模農作物生長過程中復雜的時空譜變化特征；

7、步驟s2、設計基于最優波段特征選擇的光譜增強模塊samobs：

8、基于最優波段特征選擇的光譜增強模塊samobs設計了基于oif最佳指數因子的特征波段優選方法；通過計算多光譜圖像中各個波段相關性與信息量選取最佳波段，將最優波段組合成的特征圖作為原始圖像的光譜增強視圖，增強模型對光譜細節特征的提取能力；遙感數據的各波段之間具有高的相關性，通過對波段進行合理選擇和組合，提取具有高區分度和敏感性的波段有助于突出不同地物的特征，提高模型的分類性能；

9、步驟s3、設計基于光譜相似性建模的空間增強模塊samssm：

10、基于光譜相似性建模的空間增強模塊samssm利用空間關系挖掘地理位置上分布相近的農作物之間的一致性特征；基于多個相鄰的圖像樣本，利用光譜相似性矩陣建模相鄰樣本之間的語義關系，通過動態調整相鄰樣本之間的相關性，增強地理空間上相鄰樣本之間的相似性同時減少由于錯誤選擇最近鄰樣本引起的噪聲影響；在充分利用相鄰作物樣本相關性的同時避免由于錯誤聚集不同作物類型的特征，從而提高空間分布相近農作物的分類準確性和魯棒性；

11、步驟s4、設計空譜特征融合模塊ssffm：

12、空譜特征融合模塊ssffm設計了空譜聯合對比損失，以融合步驟s2和步驟s3中不同分支模塊提取的特征，并學習光譜細節特征和地理空間特征之間的互補關系，為農作物分類任務帶來更好的模型性能和更高的準確率；通過動態學習空間維與光譜維的互補關系，有效促進空譜自監督特征融合；

13、步驟s5、利用數據集驗證和對比模型的方法：

14、對基于空-譜聯合增強的對比學習模型ssacl進行比較驗證，用于驗證所提方法在復雜的農作物分類場景下突出性能。

15、所述步驟s2具體步驟為：

16、提出基于最優波段特征選擇的光譜增強模塊samobs，用于對波段進行選擇和組合，提取具有區分度和敏感性的波段以突出關鍵作物特征，對于采樣出的每張圖像樣本，分別計算每個波段的標準差與波段間的相關系數：

17、

18、式中，si表示第i個波段的標準差，ri，j為i、j兩個波段的相關系數，w表示錨點瓦片的寬、高，為第i個波段的反射率，為第i個波段的反射率均值；

19、圖像數據的標準差越大，其包含的信息量也越大，而波段間的相關系數越小，表明各波段之間圖像獨立性越高，信息冗余度越小；然后，根據標準差與相關系數計算不同波段組合的oif指數：

20、

21、式中，p為波段組合數；oif可平衡各光譜波段的信息量和相關性，提取信息量大且波段間信息冗余較低的波段從而確定最優的特征波段組合，作為本文的光譜增強視圖xspe，然后通過對比學習拉近光譜增強視圖組{xq，xspe}的一致性特征。

22、所述步驟s3具體步驟為：

23、基于光譜相似性建模的空間增強模塊samssm基于多個相鄰的圖像樣本，利用光譜相似性矩陣建模相鄰樣本之間的語義關系，通過動態調整相鄰樣本之間的相關性，增強地理空間上相鄰樣本之間的相似性同時減少由于錯誤選擇最近鄰樣本引起的噪聲影響；首先給定空間鄰域半徑r，以錨點圖像xq為中心，在其鄰域范圍內裁剪出一組數量為n的鄰居圖像利用余弦相似度評估鄰域內鄰居圖像與錨點圖像之間的光譜相似性并建立光譜相似性矩陣：

24、

25、si表示矩陣中第i個鄰居圖像與錨點圖像之間的余弦相似度，從中選擇一張與錨點圖像具有最大余弦相似度即空間語義相似性最高的鄰居圖像作為空間增強視圖xspa，然后通過對比學習拉近空間增強視圖組{xq，xspa}的一致性特征。

26、所述步驟s4具體步驟為：

27、經過空間-光譜增強變換后得到的多視圖集合{xq，xspe，xspa}由特征提取網絡f(·)編碼為在公共嵌入空間中的表示{hq，hspe，hspa}；非線性投影網絡g(·)將每個中間表示投影到2個歸一化嵌入子空間{z1，z2}中，每個嵌入子空間被專門應用于一個單一的增強；嵌入子空間z1用于挖掘光譜信息，的正對是負對是該嵌入空間中其他樣本的嵌入和嵌入子空間z2用于挖掘地理空間信息，的正對是負對是該嵌入空間中其他樣本的嵌入和為使每個嵌入子空間中正樣本特征之間差距更小，負樣本特征之間的差距更大以達到對比學習的目的，構造對比損失函數l1，l2：

28、

29、式中，l1為光譜對比損失，l2為空間對比損失，n為負樣本數量，表示負樣本隊列，是溫度超參數；

30、為了融合兩個嵌入子空間的特征進行聯合訓練，提出了空譜聯合增強的對比損失函數ltotal：

31、ltotal＝αl1+βl2

32、式中，α、β為權重超參數，用于平衡光譜細節特征和地理空間特征之間的互補關系。

33、本發明的有益效果是：本發明構建了一個三維時-空-譜特征提取網絡，旨在全面挖掘遙感數據的空間和光譜特征的同時融合時間特征。然后針對遙感數據的光譜和空間域構建了多視圖聯合表征對比學習方法。在光譜域，設計了融合oif指數的最優特征選擇策略，根據信息量與相關性對光譜波段進行優選，增強模型對農作物關鍵光譜特征的表達能力；在空間域，利用遙感數據的空間相關性并結合光譜相似性建模，增強空間約束下相鄰樣本之間的語義關系。最后，在空譜特征融合模塊通過空-譜聯合對比損失函數，使模型靈活學習光譜細節特征與空間語義特征之間的互補關系。利用所提出的對比學習方法應用于農作物分類，基于實驗數據集calcrop21、germany進行了驗證，與現有的最新、應用最廣泛的對比學習方法相比，本發明在高分辨率遙感影像農作物分類任務中綜合表現最佳。