本發明公開基于全局感知選擇性融合的多時相遙感圖像去云方法，屬于圖像去云。

背景技術：

1、受大氣條件影響，云層遮擋導致的光譜信息缺失嚴重破壞了影像的連續性，極大制約了其在后續分析與應用中的有效性。隨著深度學習技術的快速發展，基于數據驅動的云去除方法逐漸成為研究熱點，在環境動態監測、災害應急響應等關鍵領域展現出巨大應用潛力。特別是在高分辨率對地觀測衛星數據激增的背景下，如何突破傳統方法的性能瓶頸，開發高效穩健的云去除算法，已成為提升遙感數據產品可用性與時效性的迫切需求。

2、當前主流的遙感影像去云方法可歸納為四類：基于空間修復的方法、基于光譜分析的方法、混合方法以及基于多時相數據的方法。近年來，多時相去云技術因其獨特的優勢受到廣泛關注，該方法通過整合同一地理區域不同時相的數據實現對云覆蓋區域的修復。相較于空間域去云方法易受完全云覆蓋限制，以及sar圖像融合存在的異源數據配準難題，多時相方法既能突破連續云層遮擋的瓶頸，又可規避多模態數據融合的復雜性，展現出顯著的應用價值。

3、早期研究多采用傳統多時相圖像拼接策略，如基于最優像元合成的modis產品方法，但此類方法對時相間輻射差異和地表變化敏感，易導致修復結果存在時空不連續現象。隨著深度學習的發展，基于神經網絡的去云方法展現出強大的數據建模能力，通過大規模時序數據學習云層分布規律，但其特征融合機制缺乏有效的時空關聯建模。后續研究通過引入注意力機制和swin?transformer架構逐步改進特征選擇與全局建模能力，但仍存在兩個關鍵瓶頸，其一，現有注意力模塊多采用通道與空間權重獨立計算模式，割裂了時空特征的固有關聯；其二，transformer架構直接移植自通用視覺任務，未針對多時相數據特性進行適應性改進，限制了全局上下文建模效能。

技術實現思路

1、本發明的目的在于提供基于全局感知選擇性融合的多時相遙感圖像去云方法，以解決現有技術中，基于神經網絡的去云方法割裂了時空特征的固有關聯以及限制了全局上下文建模效能的問題。

2、基于全局感知選擇性融合的多時相遙感圖像去云方法，包括將三時相有云遙感圖像輸入生成對抗網絡框架，得到輸出結果后重新輸入生成對抗網絡框架，重復循環直到得到滿足要求的無云圖像。

3、所述生成對抗網絡框架包括生成器和判別器，生成器包括編碼器、高級特征提取模塊和解碼器，判別器輸出概率值表示圖像來源，多尺度卷積層提取圖像紋理特征，對抗損失函數優化網絡參數，對抗損失包含像素級重建損失和對抗訓練損失。

4、所述編碼器包括下采樣模塊、三重權重選擇模塊和特征融合層；

5、所述下采樣模塊包括三組并行的下采樣單元，每組下采樣單元包括卷積層、relu激活函數和批量歸一化層，通過不同步長的卷積核實現特征圖的尺寸縮減和通道數倍增；

6、所述三重權重選擇模塊包括三個并行處理分支和動態權重生成器。

7、三重權重選擇模塊的輸入特征的尺寸為，為通道數，為高度，為寬度；

8、將輸入第一個處理分支，通過第一旋轉層后，的尺寸為，經過空間注意力層，再通過第二旋轉層后，的尺寸為；

9、將輸入第二處理分支，經過空間注意力層；

10、將輸入第三個處理分支，通過第一旋轉層后，的尺寸為，經過空間注意力層，再通過第二旋轉層后，的尺寸為；

11、對三個處理分支的結果分別通過全局池化、平均池化、卷積層生成三個權重圖，得到每個處理分支的特征圖中的重要部分，對輸入特征進行加權后恢復原始維度。

12、動態權重生成器包括第一特征變換層、第二特征壓縮層和權重預測層；

13、第一特征變換層采用3×3卷積核，步長1，輸出通道數擴展至輸入特征的32倍，通過relu激活函數進行非線性映射；

14、第二特征壓縮層通過3×3卷積核實現空間特征聚合，輸出通道數縮減至16倍，并連接relu激活函數強化特征稀疏性；

15、權重預測層使用1×1卷積核將通道數壓縮至3，經過softmax激活函數后生成原始特征圖的三維權重系數。

16、特征融合層將三維權重系數分別與對應的權重圖相乘，然后求和得到增強后的特征圖。

17、高級特征提取模塊采用unet結構，包括四個殘差下采樣塊和六個轉置卷積上采樣塊；

18、殘差下采樣塊通過3×3卷積提取高層語義特征，上采樣塊的每個塊包含relu激活函數、反卷積層和批量歸一化層，逐步恢復特征圖尺寸。

19、解碼器包括兩個reswin階段，每個reswin階段包括reln歸一化層和可變模塊；

20、所述reln歸一化層包括三條分支，所述三條分支對應三個輸出，第一分支包括均值層、點卷積層，形成第一輸出，第二分支包括方差層、點卷積層，形成第二輸出，中央分支包括層歸一化，層歸一化的輸出與第一輸出結合，然后與第二輸出進行特征融合得到中央輸出。

21、解碼器的輸入特征依次輸入至reln歸一化層，產生三個輸出，中央輸出進入可變模塊，第二輸出與可變模塊的輸出結合，然后與第一輸出進行特征融合，最后輸出。

22、第一個reswin階段的可變模塊為窗口化多頭自注意力單元w-msa，第二個reswin階段的可變模塊為多層感知機mlp。

23、相對比現有技術，本發明具有以下有益效果：本發明有效解決多時相數據融合中的時空不連續問題，在云覆蓋區域特征重建中實現地表細節保留與時序變化規律捕捉，獲得了質量較好的去云圖像。

技術特征：

1.基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，包括將三時相有云遙感圖像輸入生成對抗網絡框架，得到輸出結果后重新輸入生成對抗網絡框架，重復循環直到得到滿足要求的無云圖像。

2.根據權利要求1所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，所述生成對抗網絡框架包括生成器和判別器，生成器包括編碼器、高級特征提取模塊和解碼器，判別器輸出概率值表示圖像來源，多尺度卷積層提取圖像紋理特征，對抗損失函數優化網絡參數，對抗損失包含像素級重建損失和對抗訓練損失。

3.根據權利要求2所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，所述編碼器包括下采樣模塊、三重權重選擇模塊和特征融合層；

4.根據權利要求3所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，三重權重選擇模塊的輸入特征的尺寸為，為通道數，為高度，為寬度；

5.根據權利要求4所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，動態權重生成器包括第一特征變換層、第二特征壓縮層和權重預測層；

6.根據權利要求5所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，特征融合層將三維權重系數分別與對應的權重圖相乘，然后求和得到增強后的特征圖。

7.根據權利要求6所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，高級特征提取模塊采用unet結構，包括四個殘差下采樣塊和六個轉置卷積上采樣塊；

8.根據權利要求7所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，解碼器包括兩個reswin階段，每個reswin階段包括reln歸一化層和可變模塊；

9.根據權利要求8所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，解碼器的輸入特征依次輸入至reln歸一化層，產生三個輸出，中央輸出進入可變模塊，第二輸出與可變模塊的輸出結合，然后與第一輸出進行特征融合，最后輸出。

10.根據權利要求9所述的基于全局感知選擇性融合的多時相遙感圖像去云方法，其特征在于，第一個reswin階段的可變模塊為窗口化多頭自注意力單元w-msa，第二個reswin階段的可變模塊為多層感知機mlp。

技術總結
本發明公開基于全局感知選擇性融合的多時相遙感圖像去云方法，屬于圖像去云技術領域，用于圖像去云，包括將三時相有云遙感圖像輸入生成對抗網絡框架，得到輸出結果后重新輸入生成對抗網絡框架，重復循環直到得到滿足要求的無云圖像。所述生成對抗網絡框架包括生成器和判別器，生成器包括編碼器、高級特征提取模塊和解碼器，判別器輸出概率值表示圖像來源，多尺度卷積層提取圖像紋理特征，對抗損失函數優化網絡參數，對抗損失包含像素級重建損失和對抗訓練損失。本發明有效解決多時相數據融合中的時空不連續問題，在云覆蓋區域特征重建中實現地表細節保留與時序變化規律捕捉，獲得了質量較好的去云圖像。

技術研發人員：王圣杰,竇奧喆,周浩然,陳俊名,劉寶弟,劉偉鋒
受保護的技術使用者：中國石油大學（華東）
技術研發日：
技術公布日：2025/4/24