本發明屬于遙感圖像處理,尤其涉及一種基于小波變換卷積的遙感圖像語義分割方法及裝置。
背景技術:
1、遙感圖像語義分割是計算機視覺和遙感領域的一個關鍵任務,它涉及將遙感圖像中的每個像素分配到一個預定義的類別標簽,如城市、森林、水體等。這種技術對于環境監測、城市規劃、農業管理和災害評估等多種應用至關重要。傳統的遙感圖像語義分割方法通常依賴于手工特征提取和經典的機器學習算法。傳統方法通常需要專家知識和手動特征提取,這個過程既耗時又復雜,且難以適應新的數據集或變化的環境條件。而且它們往往泛化能力比較差,難以適應現代高精度遙感圖像中豐富的地物特征。
2、目前,更加主流的方法是基于深度學習的方法。深度學習,深度學習,特別是卷積神經網絡(cnns),已經成為遙感圖像語義分割的核心技術。這些模型能夠自動從大量數據中學習復雜的特征表示,無需依賴手工特征提取,這在傳統方法中是必不可少的步驟。深度學習模型通過端到端的訓練方式,直接從像素級標簽學習映射,提高了分割的精度和效率。
技術實現思路
1、針對遙感語義分割的效率問題,本發明的目的在于提供一種基于小波變換卷積的遙感圖像語義分割方法及裝置,通過采用小波變換卷積,捕獲特征中的語義上下文信息,增強地物分類可區分性,達到遙感圖像語義分割目標精準提取的目的。
2、為達到上述目的,本發明采用的技術方案如下:
3、第一方面,本發明提供一種基于小波變換卷積的遙感圖像語義分割方法,包括:
4、獲取待預測的遙感圖像;
5、將所述待預測的遙感圖像輸入預先構建的遙感圖像語義分割預測模型中,得到遙感圖像的語義分割結果;所述遙感圖像的語義分割結果是指對遙感圖像中每個像素進行目標地物分類;
6、所述遙感圖像語義分割預測模型的構建方式為:
7、構建遙感圖像語義分割網絡模型;所述遙感圖像語義分割網絡模型包括:編碼器、跳躍連接和解碼器;所述編碼器用于提取輸入圖像的語義信息特征圖,所述跳躍連接用于增強編碼器輸出特征,所述解碼器用于輸出預測結果;所述預測結果是指一張與輸入圖像尺寸相同的預測圖,所述預測圖對遙感圖像中每個像素進行目標地物分類;
8、獲取遙感圖像基準數據集進行標簽標注,并劃分為訓練集和測試集,基于訓練集對所述遙感圖像語義分割網絡模型進行訓練,得到參數最優的網絡模型,作為遙感圖像語義分割預測模型。
9、優選的,每次迭代訓練前,均對所述訓練集和測試集中的圖像進行隨機裁剪、隨機水平滑動、隨機翻轉、旋轉和色彩增強操作。
10、優選的,所述遙感圖像語義分割網絡模型包括:四個編碼器、四個跳躍連接和四個解碼器;
11、所述編碼器基于小波變化卷積提取輸入圖像的語義信息特征圖;
12、所述跳躍連接基于通道交叉注意力和空間交叉注意力,增強語義信息特征圖。
13、優選的,所述編碼器基于小波變化卷積提取輸入圖像的語義信息特征圖,包括:
14、對輸入遙感圖像使用卷積提取特征,得到特征圖;
15、對特征圖使用小波分解,設初始低通分量,中間特征,其中為初始權重,通過級聯小波分解得到四個不同頻率的通量:,,分別對應不同層的編碼器得到的語義信息特征圖,同時對不同頻率的通量進行卷積操作得到四個不同頻率的中間特征:;其中,指小波變換,為卷積操作,為權重。
16、優選的,所述跳躍連接基于通道交叉注意力和空間交叉注意力,增強語義信息特征圖,包括:
17、對編碼器輸出的中間特征進行分塊處理,得到,:
18、,
19、其中,表示二維平均池化操作,表示重塑,表示一維深度可分離卷積;
20、對進行通道交叉注意力處理,首先生成三個變量,分別表示為查詢,鍵,值,表示為:
21、,,,
22、最終得到特征圖:,
23、其中,是一個常數,表示通道交叉注意力,指激活函數;
24、對特征圖進行空間交叉注意力處理,首先生成三個變量,分別表示為查詢,鍵,值,表示為:
25、,,;
26、最終得到增強語義信息特征圖:,其中,是一個常數。
27、優選的,所述解碼器輸出預測結果,包括:
28、設混合特征,對于,;
29、使,得到;其中iwt表示逆小波變換,
30、第一層解碼器中對所得到進行上采樣,將恢復到原始圖像大小,并使用卷積輸出最終的預測結果。
31、優選的,所述遙感圖像語義分割網絡模型訓練過程中,使用交叉熵損失函數進行損失計算,并通過反向傳播的方式更新模型參數。
32、第二方面本發明還提供一種基于小波變換卷積的遙感圖像語義分割裝置,用于實現上述的基于小波變換卷積的遙感圖像語義分割方法,所述裝置包括:
33、數據獲取模塊,用于獲取待預測的遙感圖像;
34、遙感圖像語義分割預測模型訓練模塊,用于訓練遙感圖像語義分割預測模型;
35、預測輸出模塊,用于將所述待預測遙感圖像輸入所述遙感圖像語義分割預測模型中,得到遙感圖像的語義分割結果;所述遙感語義分割結果是指,對遙感圖像內的每個像素進行地物識別和分類;
36、所述遙感圖像語義分割預測模型訓練模塊的訓練過程為:
37、構建遙感圖像語義分割網絡模型;所述遙感圖像語義分割網絡模型包括:編碼器、跳躍連接和解碼器;所述編碼器用于提取輸入圖像的語義信息特征圖,所述跳躍連接用于增強編碼器輸出特征,所述解碼器用于輸出預測結果;所述預測結果是指一張與輸入圖像尺寸相同的預測圖,所述預測圖對遙感圖像中每個像素進行目標地物分類;
38、獲取遙感圖像基準數據集進行標簽標注,并劃分為訓練集和測試集,基于訓練集對所述遙感圖像語義分割網絡模型進行訓練,得到參數最優的網絡模型,作為遙感圖像語義分割預測模型。
39、第三方面,本發明提供一種存儲一個或多個程序的計算機可讀存儲介質,所述一個或多個程序包括指令,所述指令當由計算設備執行時,使得所述計算設備執行根據上述的基于小波變換卷積的遙感圖像語義分割方法中的任一方法。
40、第四方面,本發明提供一種計算設備,包括,一個或多個處理器、存儲器以及一個或多個程序,其中一個或多個程序存儲在所述存儲器中并被配置為由所述一個或多個處理器執行,所述一個或多個程序包括用于執行根據上述的基于小波變換卷積的遙感圖像語義分割方法中的任一方法的指令。
41、本發明的有益效果為:
42、本發明提供一種基于小波變換的遙感圖像語義分割方法,其通過編碼器解碼器結構構建遙感圖像語義分割預測模型,該遙感圖像語義分割預測模型是由傳統卷積神經網絡(cnn)和小波變化結合而成,它可以在不顯著增加參數的情況下獲得接近全局的感受野,從而高效提取遙感圖像中的語義信息;其次,本發明使用雙交叉注意力來連接編碼器和解碼器,該注意力通過串聯使用通道交叉注意力和空間交叉注意力,增強編碼器輸出的特征信息,增強編碼器和解碼器之間跳躍連接的有效性,減少他們之間的語義差距;最后,使用傳統cnn解碼器用于特征圖從而得到預測結果。本發明能夠克服地物分類目標差異帶來的困難,高效捕捉遙感圖像中的語義上下文信息,實現模型對于地物分類目標的精確分割,提高語義分割的精度。