本發明屬于計算機，涉及一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法。

背景技術：

1、近年來，隨著航空和衛星傳感器技術的迅猛進步，高分辨率遙感圖像在多個領域得到了廣泛應用。這些領域涵蓋了城市規劃、土地利用分類、農業監測、環境評估以及災害管理等眾多方面。在城市規劃中，高分辨率遙感圖像能夠清晰呈現城市的建筑布局、道路網絡等信息，為城市的合理規劃提供精確依據；在農業監測方面，可以準確監測農作物的生長狀況、種植面積等，助力農業生產決策。語義分割作為遙感圖像分析的關鍵技術之一，其核心任務是將遙感圖像中的每個像素精準分類到特定的語義類別中。這一技術對于從遙感圖像中提取有價值的信息具有不可替代的重要性，能夠為后續的各種應用提供基礎數據支持。例如，在土地利用分類中，通過語義分割可以明確區分出不同類型的土地，如耕地、建設用地、林地等，從而實現對土地資源的有效管理和合理規劃。

2、經典的深度學習網絡如fcn(全卷積網絡)unet和deeplab等，在遙感圖像分割任務中表現出色。但依然存在一些挑戰，例如小目標的精確分割、復雜背景干擾的處理，以及目標邊緣細節的捕捉等問題。由于高分辨率遙感圖像包含豐富的光譜、紋理和空間結構信息，將多尺度特征提取與多源數據融合的策略應用于遙感圖像語義分割領域成為一種必然趨勢。多尺度多模態的分割方法逐漸成為該領域內一種備受矚目的新興技術。因此，如何充分挖掘不同數據源的互補信息，如何有效提取多尺度特征，更加精準地對遙感圖像中的各類目標進行語義分割，以提升高分辨率遙感圖像語義分割的精度和效率，滿足眾多實際應用場景對高精度遙感圖像分析的迫切需求成為關鍵問題。

技術實現思路

1、有鑒于此，本發明的目的在于提供一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法，通過雙分支結構分別處理vis(可見光數據)和dsm(數字表面模型)數據，在淺層特征提取融合模塊將兩者特征融合，使網絡能同時學習到光譜信息(vis)和地形高度信息(dsm)，充分挖掘不同數據源的互補信息。通過淺層與深層的特征提取融合模塊提取不同尺度數據特征，從而更好地適應高分辨率遙感圖像中不同尺度目標的分割需求。

2、為達到上述目的，本發明提供如下技術方案：

3、一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法，包括如下步驟：

4、步驟1)采集數據集，從網上下載公開數據集potsdam和vaihingen，potsdam來源為德國波茨坦(potsdam)地區的航空影像；分辨率為每像素5cm的空間分辨率；圖像類型為多光譜(rgb+近紅外)與激光雷達生成的數字表面模型(dsm)；圖像大小為6000×6000像素；數據集共包含38幅圖像；共有6類地物標簽：建筑物(building)地面(ground)樹木(trees)灌木(low?vegetation)汽車(cars)背景(impervious?surfaces)；vaihingen數據集數據來源為德國菲興根(vaihingen)小鎮的航空影像。分辨率為每像素9cm的空間分辨率；標簽與圖像類型與potsdam數據集相同；圖像大小為2000×2000像素；數據集共包含33幅圖像；

5、步驟2)將原始數據進行預處理，使用重疊裁剪的方式擴充數據集數量；

6、步驟3)將處理后的可見光數據(vis)數字表面模型數據(dsm)以及標簽數據劃分為訓練集與測試集；

7、步驟4)搭建多尺度雙分支語義分割網絡，其中，所述網絡模型包括：主分支vis分支和輔助分支dsm分支構成的淺層特征提取融合模塊、基于空間與通道協同注意力層(scsa)和跨模態自注意力層(cma)的深層特征提取融合模塊以及級聯編碼器；

8、步驟5)將訓練集的vis數據和dsm分別輸入到vis分支和dsm分支中；

9、步驟6)將vis數據輸入vis分支，由多個卷積層提取可見光圖像的多尺度特征；

10、步驟7)將dsm數據輸入dsm分支，由獨立的多層卷積層提取地形高度信息的特征；

11、步驟8)對雙分支卷積中每層的特征進行特征融合，具體包括：在通道維度上拼接vis和dsm特征圖；使用空間注意力機制調整特征權重；生成融合后的特征圖，作為下一部分的輸入，且每層融合后的特征圖保留作為跳躍連接到級聯編碼器的輸入；

12、步驟9)將雙分支中最終輸出特征輸入到深層特征提取與融合模塊中，深層特征提取與融合模塊包括兩個注意力層，具體包括：空間與通道協同注意力層(scsa)和跨模態自注意力層(cma)，scsa層通過滑動窗口劃分子特征；使用深度可分離1d卷積提取多語義空間信息。生成空間注意力圖并調整vis和dsm特征圖；cma層通過自注意力機制計算vis和dsm特征之間的相互關系；將注意力結果融合，生成跨模態特征圖。

13、步驟10)上述跨模態特征圖通過級聯解碼器逐步恢復特征圖的空間分辨率；具體包括：使用跳躍連接，將解碼器和編碼器對應層的特征圖進行融合，經過多次上采樣，生成最終融合的特征圖；使用分割頭生成每像素的類別預測。

14、本發明的有益效果在于：

15、(1)多模態融合能力：本發明利用雙分支結構分別處理可見光(vis)圖像和數字表面模型(dsm)數據，有針對性地提取兩種模態的特征。與傳統僅使用單模態數據(如vis)的方法相比，能夠更全面地捕捉遙感影像中的豐富信息。本發明通過特征融合模塊將vis和dsm特征在空間注意力基礎上有效結合，顯著提升了多模態特征的協同性。

16、(2)本發明具有更高的語義分辨能力：引入空間與通道協同注意力層，對不同位置和特征通道的重要性進行自適應調整。跨模態自注意力層進一步強化了vis和dsm特征之間的相互聯系，能夠更準確地區分復雜場景中的不同地物類別。

17、(3)支持多尺度特征提取：從淺層到深層，網絡在不同階段采用了多尺度特征提取機制，淺層采用多層卷積提取細節特征，深層結合scsa和cma提取全局語義特征。

18、本發明的其他優點、目標和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領域技術人員而言將是顯而易見的，或者可以從本發明的實踐中得到教導。本發明的目標和其他優點可以通過下面的說明書來實現和獲得。

技術特征：

1.一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法，其特征在于：該方法包括以下步驟：

2.根據權利要求1所述的一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法，其特征在于：所述步驟1)進一步包括：

3.根據權利要求1所述的一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法，其特征在于：步驟2)淺層特征提取融合模塊具體為：

4.根據權利要求1所述的一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法，其特征在于：所述步驟2)中深層特征提取融合模塊具體為：

5.根據權利要求1所述的一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法，其特征在于：所述步驟2)最后解碼器中對特征圖xfused進行上采樣操作，以逐步恢復到原始圖像的分辨率；在編碼器中，每個卷積層提取的特征圖都保留了不同層次的信息；在解碼器中，通過跳躍連接將上采樣后的特征圖與編碼器中對應層次的特征圖進行融合；經過多次上采樣和跳躍連接后，得到最終融合后的特征圖xfinal；最后，通過一個分割頭對進行處理，將其轉換為每個像素的類別預測。

技術總結
本發明涉及一種面向高分辨率遙感圖像的多尺度雙分支語義分割方法，屬于計算機技術領域。該方法包括：采集數據集并預處理；構建淺層特征提取融合模塊，該模塊通過雙分支結構的ResNet分別處理VIS和DSM數據，利用卷積層提取特征后經特征融合模塊融合，能充分挖掘不同數據源特征并融合；構建深層特征提取融合模塊，該模塊的SCSA層結合通道與空間注意力處理特征圖，跨模態自注意力層計算跨模態注意力并融合結果；接著構建級聯解碼器，再用訓練集訓練網絡，最后用測試集測試網絡。該方法解決了高分辨率遙感圖像語義分割中地物特征復雜多樣、空間分布不均及VIS和DSM數據信息融合不充分等問題。

技術研發人員：袁正午,張哲齊,楊漢卿,楊智威
受保護的技術使用者：重慶郵電大學
技術研發日：
技術公布日：2025/4/24