本發明涉及遙感影像處理，特別涉及一種基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法及系統。

背景技術：

1、土地覆蓋分類是遙感影像解譯領域的重要課題，旨在對地表像元級的覆蓋進行提取和分類，該技術在城市規劃、變化檢測、災害監測以及環境監測與保護等方面具有廣泛應用。遙感影像在獲取地表覆蓋信息方面具有顯著優勢：一方面，它能覆蓋全球范圍；另一方面，不同類型的遙感影像能夠揭示不同的地表信息，如高度信息、紋理結構、光譜亮度和反射率。隨著對地觀測傳感器技術的不斷進步，同一區域的opt影像和sar影像的獲取越來越普遍。由于其較高的空間分辨率和豐富的紋理信息，opt影像在眾多應用中被廣泛采用。然而，opt影像在特定條件下存在局限性，尤其容易受到天氣條件的影響。相比之下，sar傳感器能在全天候條件下正常工作，并在識別地表特定特征方面具有特殊優勢。

2、多模態融合策略在不同數據特性下對模型性能具有顯著影響。在土地覆蓋分類任務中，傳統的opt與sar影像融合方法主要包括數據級融合、特征級融合和決策級融合三種。在這些基本方法的基礎上，新的技術和策略不斷涌現。例如，近年來，注意力機制已被廣泛應用于多模態融合，如通過引入通道和空間注意力機制，有效捕捉不同模態特征間的互補信息；此外，損失函數是融合方法中的一個關鍵環節，它準確構建了輸入數據與融合結果之間的對應關系，如通過引入懲罰項保持單模態與多模態特征的一致性。然而，這些融合方法可能忽視了關鍵的高層語義信息，例如特征之間的幾何關系及其復雜的空間結構，而這些信息對土地覆蓋分類任務至關重要。為此，亟需一種能夠利用不同模態之間高層語義特征及多尺度特征信息的遙感影像處理手段，以提升復雜環境下土地覆蓋分類效果。

技術實現思路

1、為此，本發明提供一種基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法及系統，解決現有不同模態之間的高層語義信息融合不足以及多尺度特征信息利用不足的問題。

2、按照本發明所提供的設計方案，一方面，提供一種基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法，包含：

3、獲取目標區域光學影像數據和合成孔徑雷達影像數據；

4、將目標區域的光學影像數據和合成孔徑雷達影像數據輸入至預訓練的多模態膠囊網絡模型進行土地覆蓋分類預測，利用多模態膠囊網絡模型得到目標區域土地覆蓋分類預測結果；

5、其中，所述多模態膠囊網絡模型通過多模態膠囊對不同模態間影像高層特征進行互補并通過高層特征和淺層特征融合來預測輸出土地覆蓋分類標簽，所述多模態膠囊利用多模態膠囊學習機制對不同模態間影像高層特征進行互補，所述高層特征和所述淺層特征為利用對應模態主干網絡提取的不同尺度特征。

6、作為本發明基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法，進一步地，所述多模態膠囊網絡模型包括：用于提取光學影像淺層特征和高層特征的第一骨干網絡、用于提取合成孔徑雷達影像淺層特征和高層特征的第二骨干網絡、用于結合光學影像和合成孔徑雷達影像兩者高層特征并基于多模態膠囊學習機制進行特征互補以獲取高層聯合語義特征的多模態膠囊、用于將光學影像和合成孔徑雷達影像兩者淺層特征及高層聯合語義特征進行特征級聯融合的多尺度融合單元和用于基于級聯融合特征對土地覆蓋進行分類預測的分割頭。

7、作為本發明基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法，進一步地，基于多模態膠囊學習機制對不同模態間影像高層特征進行互補，包含：

8、針對光學影像高層特征和合成孔徑雷達影像高層特征，利用交叉注意力機制對不同影像模態語義信息和抽象信息進行建模融合并生成低級膠囊；

9、利用動態路由機制將低級膠囊進行歸納并獲取多模態高層聯合語義特征。

10、作為本發明基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法，進一步地，利用交叉注意力機制對不同影像模態語義信息和抽象信息建模并融合生成低級膠囊，包含：

11、針對光學影像高層特征，將合成孔徑雷達影像高層特征組成光學查詢向量，并基于光學影像高層特征生成光學鍵向量和值向量，基于光學查詢向量、鍵向量和值向量在光學特征空間中搜索并挖掘獲取與合成孔徑雷達影像存在潛在關系的光學特征向量；

12、針對合成孔徑雷達影像高層特征，將光學影像高層特征組成合成孔徑雷達查詢向量，并基于合成孔徑雷達高層特征組成合成孔徑雷達鍵向量和值向量，基于合成孔徑雷達查詢向量、鍵向量和值向量在合成孔徑雷達空間中搜索并挖掘與光學影像存在潛在關系的合成孔徑雷達特征向量；

13、對搜索挖掘獲取的光學特征向量和合成孔徑雷達特征向量進行連接獲取多模態低級膠囊。

14、作為本發明基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法，進一步地，利用動態路由機制將低級膠囊進行歸納并獲取多模態高層聯合語義特征，包含：

15、利用耦合系數對多模態低級膠囊進行加權求和，所述耦合系數為低級膠囊對高級膠囊的貢獻程度系數；

16、利用squash函數獲取低級膠囊加權求和的激活值，并依據底層膠囊對高層膠囊之間的標量積動態更新耦合系數，以通過動態更新耦合系數對多模態低級膠囊進行重塑壓縮。

17、作為本發明基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法，進一步地，利用耦合系數對多模態低級膠囊進行加權求和的過程表示為：其中，ei為第i個底層膠囊pi的耦合系數。

18、作為本發明基于多模態膠囊網絡進行影像融合的土地覆蓋分類方法，進一步地，高層特征和淺層特征融合過程，包含：

19、在元素級別將不同模態影像對應尺度的淺層特征組合，形成聯合淺層特征；

20、將不同模態影像高層特征互補后的特征作為待拼接特征，將待拼接特征與聯合淺層特征進行拼接，并利用殘差結構進行特征融合，所述殘差結構由卷積層、批歸一化層和relu激活函數構成，且殘差結構的個數依據影像淺層特征提取的尺度數量進行設置；

21、當殘差結構個數大于1時，將特征融合后的特征作為待拼接特征，并將該待拼接特征與相應尺度的聯合淺層特征進行拼接，以利用相應的殘差結構進行特征融合處理。

22、再一方面，本發明還提供一種基于多模態膠囊網絡進行影像融合的土地覆蓋分類系統，包含：數據獲取模塊和分類預測模塊，其中，

23、數據獲取模塊，用于獲取目標區域光學影像數據和合成孔徑雷達影像數據；

24、分類預測模塊，用于將目標區域的光學影像數據和合成孔徑雷達影像數據輸入至預訓練的多模態膠囊網絡模型進行土地覆蓋分類預測，利用多模態膠囊網絡模型得到目標區域土地覆蓋分類預測結果；

25、其中，所述多模態膠囊網絡模型通過多模態膠囊對不同模態間影像高層特征進行互補并通過高層特征和淺層特征融合來預測輸出土地覆蓋分類標簽，所述多模態膠囊利用多模態膠囊學習機制對不同模態間影像高層特征進行互補，所述高層特征和所述淺層特征為利用對應模態主干網絡提取的不同尺度特征。

26、本發明的有益效果：

27、本發明通過將不同模態遙感影像之間的高層語義信息和抽象關系表示為向量，能夠有效地建立高級語義信息和抽象空間關系，生成具有高度辨別力和魯棒性的多模態聯合特征，促進聯合多模態特征的高判別性和魯棒性提取；通過特征級聯整合各種特征尺度，在每一層同時處理深層多模態特征、淺層opt特征和淺層sar特征，確保對局部細節和全局語義的精確描述，充分利用不同模態和尺度的特性，有效克服單模態土地覆蓋分類的限制。并進一步通過實驗數據驗證，本案方案在whu-opt-sar數據集上的分類精度提高了2.86％～12.9％，表明本案方案能夠有效利用多模態遙感影像，實現復雜環境下高精度且自動化的土地覆蓋分類，在土地利用狀況和變化的監測等領域具有較好的應用前景。