本技術屬于圖像變化檢測領域,具體涉及一種遙感圖像變化檢測方法、裝置和電子設備。
背景技術:
1、遙感圖像變化檢測是快速識別和評估地表特征變遷的關鍵技術,廣泛服務于資源勘探、環境監測、城市規劃及管理等多個領域。通過對比不同時間點的遙感圖像,該技術能夠揭示出地表的變化模式,為各行業的決策提供重要依據。
2、然而,在處理高分辨率遙感圖像時,準確地檢測到所有變化區域仍面臨挑戰。一方面,由于采集條件(如天氣狀況、光照角度)和傳感器特性的差異,即使是未發生變化的地物,在不同時間點拍攝的影像中也可能呈現出顯著的不同。例如,同一棟建筑物在不同傳感器下的紋理表現可能表現出明顯差異,由此增加了檢測變化區域的難度。另一方面,對于面積較小且變化細微的區域,其特征往往不夠明顯,難以被現有的變化檢測算法捕捉,導致變化細節在最終檢測結果中被遺漏。
3、針對上述問題,本技術提出了一種多尺度交叉注意網絡(以下簡稱msca-net)。msca-net旨在通過整合多尺度信息和利用交叉注意力機制來提升對變化區域的檢測精度和完整性。該網絡不僅能夠有效減少因環境和傳感器差異帶來的干擾,還能更敏銳地感知到微小變化的存在,從而確保不同時期影像之間的變化得到全面而精確的識別。這一改進有望顯著提高變化檢測的效果,為用戶提供更加可靠的數據支持。
技術實現思路
1、本技術實施例的目的是提供一種遙感圖像變化檢測方法、裝置和電子設備,能夠解決由于環境和傳感器差異為圖像差異檢測帶來干擾、細節變化難以被檢測往往被忽略的問題。
2、為了解決上述技術問題,本技術是這樣實現的:
3、第一方面,本技術實施例提供了一種遙感圖像變化檢測方法,該方法包括:
4、將雙時相遙感圖像輸入至多尺度交叉注意網絡;其中,多尺度交叉注意網絡基于多尺度特征編碼、差分特征增強算法和上下文信息鏈接構成;
5、基于不同特征尺度提取雙時相遙感圖像的低層次特征,將低層次特征融合,獲取低層次融合特征;其中,低層次融合特征分別對應于不同的時相;
6、基于交叉注意力機制,對低層次融合特征進行差分增強處理,獲得加強融合特征圖;其中,差分增強處理用于降低低層次融合特征的域間隙,并增強低層次融合特征之間的關鍵變化信息;
7、基于上下文信息鏈接算法,對加強融合特征圖進行重構操作,以獲得重構特征圖;其中,重構操作用于基于空間權重增強加強融合特征圖中的關鍵變化信息;
8、根據不同時相對重構特征圖進行相減操作,獲得最終識別圖像。
9、與現有技術相比較,本技術提供的上述技術方案至少包括以下有益效果:
10、本技術首先將雙時相遙感圖像輸入至多尺度交叉注意網絡;其次,基于不同特征尺度提取雙時相遙感圖像的低層次特征,將低層次特征融合,獲取低層次融合特征,以增強多尺度交叉注意網絡對微小變化區域的特征刻畫能力;再基于交叉注意力機制,對低層次融合特征進行差分增強處理,獲得加強融合特征圖,以通過差分特征引導網絡關注變化區域,增強網絡對變化區域的識別能力,同時通過未變化區域信息共享解決域間隙問題;接著,基于上下文信息鏈接算法,對加強融合特征圖進行重構操作,以獲得重構特征圖,能夠將微小區域的變化信息融入到最終的特征表達中,強化網絡對微小變化區域的識別能力;最后,根據對不同時相對重構特征圖進行相減操作,獲得最終識別圖像。本技術通過強調遙感圖像中微小變化區域特征的同時利用未變化區域消除域間隙,共同表達最終圖像檢測結果,提高識別不同時期遙感圖像變化區域的完整度與準確度。
11、優選地,基于不同特征尺度提取雙時相遙感圖像的低層次特征,將低層次特征融合,獲取低層次融合特征,的具體步驟包括:
12、對雙時相遙感圖像進行上采樣和下采樣操作,以獲取多尺度圖像;
13、對多尺度圖像應用低層次特征提取,獲取低層次特征;
14、基于串接操作融合低層次特征,獲得低層次融合特征。
15、在該方案中,通過學習跨不同尺度的圖像特征,并利用串接操作整合多尺度特征信息,可以增強多尺度交叉注意網絡的特征表達能力。此外,通過加入更大尺度的特征信息,易于讓網絡關注到微小的變化區域,從而提升變化區域的精準度和完整性。
16、優選地,基于串接操作融合低層次特征,獲得低層次融合特征,的運算公式為:
17、
18、其中,表示低層次融合特征;表示雙時相遙感圖像,其下標表示對雙時相遙感圖像進行上采樣與下采樣操作的縮放倍率; i表示處于不同時期的圖像或特征的分類標識;和分別表示上采樣和下采樣操作;表示串接操作;表示vgg網絡采用前7層的結構。
19、優選地,基于交叉注意力機制,對低層次融合特征進行差分增強處理,獲得加強融合特征圖,的具體步驟包括:
20、通過卷積自適應融合低層次融合特征,獲得卷積特征信息;
21、基于交叉注意力機制,根據卷積特征信息,計算得到交叉注意力輸出;
22、按照時相將交叉注意力輸出與卷積特征信息相加,得到融合特征組合;其中,融合特征組合分別對應于不同的時相;
23、串接融合特征組合,獲得串接融合特征;
24、采用多層感知機處理串接融合特征,得到深度融合特征;
25、將深度融合特征進行變形操作,得到加強融合特征圖。
26、在該方案中,通過交叉注意力機制,將不同時相的特征差異與初始特征進行交互,增強了多尺度交叉注意網絡對變化信息的敏感度,提高了識別變化區域的能力;
27、優選地,基于交叉注意力機制,根據卷積特征信息,計算得到交叉注意力輸出,的具體步驟包括:
28、基于卷積特征信息運算得到差異特征;
29、運算得到差異特征的運算公式為:
30、
31、其中, d為差異特征,和分別代表處于不同時期的卷積特征信息;
32、根據差異特征構建查詢特征;構建查詢特征的公式為:
33、
34、其中, q表示查詢特征, wq表示多尺度交叉注意網絡自動學習的查詢變換矩陣;
35、基于卷積特征信息構建鍵特征和值特征,構建鍵特征和值特征的公式為:
36、
37、其中, k表示鍵特征, v表示值特征; wk和 wv分別表示多尺度交叉注意網絡自動學習的鍵變換矩陣和值變換矩陣; i表示處于不同時期的圖像或特征的分類標識;
38、采用交叉注意力機制,根據查詢特征、鍵特征和值特征運算得到交叉注意力輸出;
39、運算得到交叉注意力輸出的運算公式為:
40、
41、其中, d為通道維度。
42、在該方案中,通過交叉注意力操作,將差異特征融入到各個時相的特征圖中,實現了來自不同源的特征充分交互與融合。使得多尺度交叉注意網絡能夠準確識別變化區域,同時忽略未變化區域。同時,對于異質圖像中的不變區域,通過差分操作和監督信息強制進行統一,從而在特征空間中解決域間隙問題。
43、優選地,基于上下文信息鏈接算法,對加強融合特征圖進行重構操作,以獲得重構特征圖,的具體步驟包括:
44、賦予低層次特征以相應的權重;
45、基于權重拼接低層次特征,得到拼接特征圖;
46、對拼接特征圖應用卷積操作,得到空間權重特征圖;
47、將空間權重特征圖與加強融合特征圖相乘,獲得重構特征圖。
48、在該方案中,分別增強了網絡識別變化區域和區分未變化區域的能力。此外,空間權重特征圖充分保留了變化信息,為獲得變化區域的更全面的特征表達提供了豐富的語義信息。同時,結合加強融合特征圖,為未變化區域提供了空間分布特征信息。
49、優選地,基于上下文信息鏈接算法,對加強融合特征圖進行重構操作,以獲得重構特征圖,的運算公式為:
50、
51、其中,表示重構特征圖;表示加強融合特征圖;、和分別表示不同尺度的低層次特征; i表示處于不同時期的圖像或特征的分類標識; a、 b和 c分別代表低層次特征對應的權重值;relu表示激活函數,bn表示批量歸一化,conv表示卷積操作。
52、優選地,遙感圖像變化檢測方法的具體步驟還包括:
53、根據最終識別圖像的圖像參數構建損失函數;其中,圖像參數包括最終識別圖像的高度、寬度、像素真實值與像素預測值;
54、基于損失函數訓練多尺度交叉注意網絡,以得到目標多尺度交叉注意網絡。
55、在該方案中,構建損失函數在多尺度交叉注意網絡中起到指導模型優化方向的核心作用,它明確地定義了預測的檢測圖像與實際檢測圖像之間的差異度量,從而通過優化算法最小化這類差異,以調整模型參數并提升性能,得到目標多尺度交叉注意網絡。
56、第二方面,本技術實施例提供了一種遙感圖像變化檢測裝置,包括:
57、網絡構建模塊,用于將雙時相遙感圖像輸入至多尺度交叉注意網絡;其中,多尺度交叉注意網絡基于多尺度特征編碼、差分特征增強算法和上下文信息鏈接構成;
58、多尺度特征融合模塊,用于基于不同特征尺度提取雙時相遙感圖像的低層次特征,將低層次特征融合,獲取低層次融合特征;其中,低層次融合特征分別對應于不同的時相;
59、差分特征編碼模塊,用于基于交叉注意力機制,對低層次融合特征進行差分增強處理,獲得加強融合特征圖;其中,差分增強處理用于降低低層次融合特征的域間隙,并增強低層次融合特征之間的關鍵變化信息;
60、上下文信息鏈接模塊,用于基于上下文信息鏈接算法,對加強融合特征圖進行重構操作,以獲得重構特征圖;其中,重構操作用于基于空間權重增強加強融合特征圖中的關鍵變化信息;
61、識別圖像輸出模塊,用于根據不同時相對重構特征圖進行相減操作,獲得最終識別圖像。
62、第三方面,本技術實施例提供了一種電子設備,該電子設備包括處理器、存儲器及存儲在存儲器上并可在處理器上運行的程序或指令,程序或指令被處理器執行時實現如第一方面所述的方法的步驟。
63、可以理解的是,上述第二方面和第三方面提供技術方案的有益效果可以參見上述第一方面中的相關描述,在此不再贅述。
64、本技術的附加方面和優點將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本技術的實踐了解到。