本發明涉及圖像處理，具體涉及一種基于雙分支網絡的多模態遙感圖像關鍵點檢測與描述方法。

背景技術：

1、隨著傳感器技術的不斷進步和多源數據的廣泛應用，多模態遙感數據在地理信息提取和分析中發揮著越來越重要的作用。近年來，深度學習的快速發展為多模態遙感圖像的特征提取和信息融合提供了有力的技術支持，特別是在關鍵點檢測與描述方面取得了顯著的進展。在遙感領域，關鍵點檢測是指在圖像中識別具有顯著性和穩定性的像素點，關鍵點描述則進一步提取這些點的局部特征信息，用于匹配、識別和分析。該任務對遙感圖像的幾何校正、目標識別和變化檢測具有重要意義。

2、相較于單一模態圖像，多模態遙感數據（如光學和sar數據）具有顯著優勢。多模態數據不僅能夠提供更全面的目標特性信息，還可以補充單模態數據中因光照條件、天氣變化或地物復雜性導致的信息缺失。例如，光學數據擅長提供豐富的紋理和顏色信息，而?sar數據則對天氣和光照條件具有魯棒性。將多模態數據進行有效的融合，能夠更全面、準確地刻畫地物目標的關鍵特征，極大地提升關鍵點檢測和描述的可靠性與精度。

3、為此，近年來提出的深度雙分支網絡成為解決多模態遙感圖像關鍵點檢測與描述的有效方法。通過共享和獨立分支提取各模態數據的特征，并在特征融合階段充分利用不同模態的互補性，該方法能夠避免信息混淆和特征丟失，增強模型的魯棒性和泛化能力。

4、因此，如何利用多模態遙感圖像的互補性和空間信息，將不同模態的特性有機結合，構建高精度、強魯棒性的關鍵點檢測與描述模型，是當前遙感圖像分析領域亟待解決的重要問題。

技術實現思路

1、為了解決上述背景技術中的問題，本發明旨在提供一種雙分支網絡架構的多模態遙感圖像關鍵點檢測與描述方法，該方法能夠充分利用訓練數據集的多模態遙感圖像訓練模型，從而讓模型自動檢測出關鍵點的位置和其特征描述符。

2、為解決上述技術問題，本發明提供一種基于雙分支網絡架構的多模態遙感圖像關鍵點檢測方法，所述方法包括如下步驟：

3、步驟1：獲取多模態遙感圖像數據集，所述多模態遙感圖像數據集包含rgb圖像和sar圖像；

4、步驟2：劃分所述多模態遙感圖像數據集構成訓練數據庫；

5、步驟3：構建多模態遙感圖像關鍵點檢測與描述的深度神經網絡模型，所述深度神經網絡模型包含兩個分支，每個分支分別由編碼器網絡、多尺度局部共享卷積模塊、全局信息提取模塊和輕量級檢測頭四部分組成，模型的輸入分別為兩個配準的rgb圖像和sar圖像，全局信息提取模塊輸出為兩個圖像各自的特征描述符，輕量級檢測頭部分的輸出為兩個模態圖像各自的關鍵點得分；

6、步驟4：采用所述訓練數據庫訓練步驟3的深度神經網絡模型，得到訓練后的多模態遙感圖像關鍵點檢測與描述的深度神經網絡模型；

7、步驟5：將待檢測的多模態圖像輸入步驟4中訓練后的深度神經網絡模型，全局信息提取模塊輸出得到每個像素點的特征描述符，輕量級檢測頭最后一層的輸出值經過softmax函數計算得到每個像素的關鍵點得分，實現多模態圖像的關鍵點檢測與描述。

8、進一步的，所述步驟3具體為：

9、步驟3.1，將rgb圖像和sar圖像輸入至編碼器網絡，采用輕量級的編碼器網絡分別通過6個參數不共享的標準卷積層將通道維度升至128維，快速得到第一特征圖f；

10、步驟3.2，建立多尺度局部共享卷積模塊：對于從編碼器網絡得到的第一特征圖f，經過空洞卷積后的輸出用如下公式表示：

11、；

12、式中，表示卷積核，表示第一特征圖f上的位置，表示對應卷積核上的位置，表示空洞率，經過空洞卷積前后的特征圖大小保持不變；

13、在各模態中，分別使用三個連續的空洞卷積來獲取多尺度特征，得到第二特征圖，如下公式表示：

14、；

15、式中，為3×3的空洞卷積，為批量標準化層；

16、步驟3.3，建立全局信息提取模塊：將得到的多尺度局部共享卷積模塊的輸出作為全局信息提取模塊的輸入，將其進行拉伸至扁平化的2d圖像塊，之后通過疊加相對位置編碼來關注元素之間的位置關系；

17、步驟3.4，建立輕量級檢測頭：通過訓練獲取顯著性分數和通道最大分數，所述顯著性分數計算如下公式所示：

18、；

19、式中，表示在3×3范圍進行平均池化操作；

20、通過計算通道最大分數為每個點選擇最優通道，如下公式所示：

21、；

22、最后通過將顯著性分數與通道最大分數相乘，再通過softmax操作得到關鍵點檢測得分圖，如下公式所示：

23、。

24、進一步的，使用跳躍連接的方式將第一特征圖與經過空洞卷積的輸出特征進行連接，得到第三特征圖，如下公式所示：

25、；

26、表示一個1×1的逐點卷積運算，之后是一個bn層和relu激活函數。

27、進一步的，將所述第三特征圖在兩個維度上的每個位置分別編碼成長度為128的向量，最后將各模態向量采用concat運算后得到最終的編碼向量，具體地，

28、對每個維度進行編碼時，偶數位置采用sin函數，奇數位置采用cos函數，計算編碼如下公式所示：

29、；

30、；

31、；

32、；

33、再進行拼接得到長度為256的向量，為了與第三特征圖的形狀保持一致，通過一個1×1的卷積將其長度降至128；

34、之后通過三個線性映射層，權重矩陣為,,，表示在不同映射層中每個像素點的特征維度；

35、將第三特征圖映射為維度相同的查詢,?關鍵字和值：；

36、采用基于互協方差的自注意力函數，沿著通道維度計算注意力系數，如下公式所示：

37、；

38、采用殘差結構和linear層對特征進行再次映射得到最終的輸出，如下公式所示：

39、。

40、本發明的有益效果為：本發明可以使用較小數據量的圖像對模型進行訓練，對多模態遙感圖像數據配準后，通過深度學習實現自動從訓練數據庫中學習不同模態所需特征并進行關鍵點檢測與描述，在訓練過程中不斷糾正用于判斷的數據特征以及調整深度神經網絡中的超參數，從而實現多模態圖像的關鍵點檢測與描述。

技術特征：

1.基于雙分支網絡架構的多模態遙感圖像關鍵點檢測方法，其特征在于，所述方法包括如下步驟：

2.如權利要求1所述的基于雙分支網絡架構的多模態遙感圖像關鍵點檢測方法，其特征在于，所述步驟3具體為：

3.如權利要求1所述的基于雙分支網絡架構的多模態遙感圖像關鍵點檢測方法，其特征在于，使用跳躍連接的方式將第一特征圖與經過空洞卷積的輸出特征進行連接，得到第三特征圖，如下公式所示：

4.如權利要求3所述的基于雙分支網絡架構的多模態遙感圖像關鍵點檢測方法，其特征在于，將所述第三特征圖在兩個維度上的每個位置分別編碼成長度為128的向量，最后將各模態向量采用concat運算后得到最終的編碼向量，具體地，

技術總結
本發明公開一種基于雙分支網絡架構的多模態遙感圖像關鍵點檢測方法，包括如下步驟：將RGB圖像和SAR圖像分別輸入到兩個具有相同結構的分支網絡，各分支包含：編碼器、多尺度局部共享卷積模塊、全局信息提取模塊和輕量級檢測頭；在各分支中，圖像先通過6個參數不共享的標準卷積層將通道維度升，以最小成本快速得到密集特征描述符；通過參數共享的串行多尺度空洞卷積來獲取圖像不同感受野區域的局部的特征；再采用Transformer中的多頭注意力架構將全局信息與局部特征進行交互結合，得到每個像素的特征描述符；之后采用平均池化和最大值操作獲取每個點與局部區域點的相對顯著性，最后通過softmax得到關鍵點檢測得分圖。

技術研發人員：岳晨珂,閆鈞華,張寅,王達偉,劉明,侯作勛
受保護的技術使用者：南京航空航天大學
技術研發日：
技術公布日：2025/4/24