本發明涉及遙感圖像處理,具體涉及一種基于半監督對抗學習的遙感圖像語義分割方法及裝置。
背景技術:
1、隨著遙感技術的快速發展,遙感圖像在城市規劃、環境監測、農業管理等領域的應用日益廣泛。在這些應用中,遙感圖像語義分割技術扮演著至關重要的角色,它能夠將圖像中的每個像素分配到相應的地物類別,從而實現對圖像中地物的精確識別和管理。
2、傳統的遙感圖像語義分割方法主要依賴于手工特征和經典機器學習算法,如支持向量機(svm)和隨機森林(rf)。然而,這些方法在處理高分辨率和多光譜遙感圖像時存在局限性,主要表現在以下幾個方面:(1)特征工程依賴性:傳統方法依賴于專家手工設計的特征,這些特征往往難以捕捉遙感圖像的復雜和高維度信息。(2)泛化能力有限:由于缺乏足夠的訓練樣本,傳統方法在面對不同地區和不同條件下的遙感圖像時,其泛化能力受限。(3)標注數據獲取成本高:高質量的標注數據對于訓練深度學習模型至關重要,但在遙感領域,獲取大規模的標注數據成本高昂且耗時。
3、近年來,深度學習方法,尤其是卷積神經網絡(cnn),在圖像語義分割領域取得了顯著進展。然而,這些方法通常需要大量的標注數據來訓練模型,這在遙感圖像領域仍然是一個挑戰。此外,深度學習模型在訓練過程中容易過擬合,尤其是在標注數據有限的情況下。
4、目前語義分割雖已取得飛速進步,但仍有很多諸如:資源消耗大、分割邊界粗糙、上下文處理方式仍有待優化、小物體分割困難等問題亟待解決。因此,如何使用深度學習技術充分利用圖像豐富的內部信息,從而實現更為有效的語義分割仍然具有著重要的現實意義和應用價值。
技術實現思路
1、本發明目的在于提供一種基于半監督對抗學習的遙感圖像語義分割方法及裝置,可以利用無標簽數據生成偽標簽以實現半監督學習過程,這些偽標簽作為額外監督,有效指導了網絡的半監督訓練,增強了模型的泛化能力。
2、為達到上述目的,本發明采用如下技術方案實現:
3、第一方面,本發明提供一種基于半監督對抗學習的遙感圖像語義分割方法,包括:
4、獲取待檢測的遙感圖像;
5、將所述待檢測的遙感圖像輸入預先構建的遙感圖像語義分割模型中,得到遙感圖像語義分割結果,所述遙感語義分割結果是指,對遙感圖像內的每個像素進行地物識別和分類;
6、所述遙感圖像語義分割模型的構建方式為,
7、獲取遙感圖像基準數據集,并劃分帶標簽的訓練集和無標簽的訓練集,所述標簽是指對遙感圖像內的每個像素進行地物識別和分類;
8、構建分割網絡和判別器網絡,所述分割網絡用于提取輸入圖像的語義信息特征圖并進行特征增強,輸出遙感圖像的語義分割結果;所述判別器網絡用于區分輸入數據是來自真實數據標注還是分割網絡產生的數據標注;
9、采用所述帶標簽的訓練集訓練所述分割網絡,并基于訓練后的分割網絡得到所述無標簽的訓練集中數據的預測圖;
10、基于所述無標簽的訓練集中數據的預測圖和所述帶標簽的訓練集訓練所述判別器網絡,并基于所述判別器網絡輸出的置信分數選擇偽標簽;
11、基于所述偽標簽與對應的無標簽圖像對所述分割網絡進行自訓練,更新分割網絡參數;基于更新后的分割網絡重新獲取所述無標簽的訓練集中數據的預測圖;采用上述方式進行迭代訓練,保存最優分割網絡參數作為遙感圖像語義分割模型。
12、優選的,每次迭代前,均對訓練集中的圖像進行隨機裁剪、隨機水平滑動、隨機翻轉、旋轉和色彩增強操作。
13、優選的,所述分割網絡包括:
14、特征提取模塊,基于resnet-18骨干網絡構建編碼器進行特征提取,提取輸入圖像的語義信息特征圖;所述特征提取模塊網絡結構分為5層,每層提取的語義信息特征圖為;
15、特征增強模塊,基于空間注意力機制和通道注意力機制對語義信息特征圖進行特征增強;
16、預測模塊,包括5次上采樣操作,用于將增強后的特征圖通過上采樣恢復到原始圖像的大小,并使用1×1卷積輸出最終的預測結果。
17、優選的,所述分割網絡訓練過程中采用交叉熵損失函數,并通過反向傳播優化分割網絡參數。
18、優選的,所述判別器網絡包括4個卷積核大小為4×4的卷積層,每個卷積層后面都跟著1個leaky?relu激活函數和1個dropout層,最后的卷積層之后連接1個全局平均池化層和1個全連接層;最后通過sigmoid激活函數輸出置信分數。
19、優選的,所述判別器網絡訓練過程中采用二元交叉熵損失函數,并通過反向傳播優化判別器網絡參數。
20、優選的,所述基于所述判別器網絡輸出的置信分數選擇偽標簽,包括:
21、將無標簽的訓練集數據的預測圖經過判別器網絡得到置信分數,選擇分數高于預設的置信度閾值的預測圖為偽標簽。
22、優選的,所述基于所述偽標簽與對應的無標簽圖像對所述分割網絡進行自訓練,包括:
23、將所述偽標簽與對應的無標簽圖像組成訓練樣本,輸入分割網絡生成無標簽圖像的新的預測圖;
24、計算生成的預測圖與所述偽標簽之間的交叉熵損失,即自訓練損失,并通過反向傳播更新分割網絡參數。
25、第二方面,本發明提供一種基于半監督對抗學習的遙感圖像語義分割裝置,用于實現上述的基于半監督對抗學習的遙感圖像語義分割方法,所述裝置包括:
26、數據獲取模塊,用于獲取待檢測的遙感圖像;
27、遙感圖像語義分割模型訓練模塊,用于訓練遙感圖像語義分割模型;
28、檢測輸出模塊,用于將所述待檢測的遙感圖像輸入所述遙感圖像語義分割模型中,得到遙感圖像語義分割結果,所述遙感語義分割結果是指,對遙感圖像內的每個像素進行地物識別和分類;
29、所述遙感圖像語義分割模型訓練模塊的訓練過程為:
30、獲取遙感圖像基準數據集,并劃分帶標簽的訓練集和無標簽的訓練集,所述標簽是指對遙感圖像內的每個像素進行地物識別和分類;
31、構建分割網絡和判別器網絡,所述分割網絡用于提取輸入圖像的語義信息特征圖并進行特征增強,輸出遙感圖像的語義分割結果;所述判別器網絡用于區分輸入數據是來自真實數據標注還是分割網絡產生的數據標注;
32、采用所述帶標簽的訓練集訓練所述分割網絡,并基于訓練后的分割網絡得到所述無標簽的訓練集中數據的預測圖;
33、基于所述無標簽的訓練集中數據的預測圖和所述帶標簽的訓練集訓練所述判別器網絡,并基于所述判別器網絡輸出的置信分數選擇偽標簽;
34、基于所述偽標簽與對應的無標簽圖像對所述分割網絡進行自訓練,更新分割網絡參數;基于更新后的分割網絡重新獲取所述無標簽的訓練集中數據的預測圖;采用上述方式進行迭代訓練,保存最優分割網絡參數作為遙感圖像語義分割模型。
35、第三方面,本發明提供一種存儲一個或多個程序的計算機可讀存儲介質,所述一個或多個程序包括指令,所述指令當由計算設備執行時,使得所述計算設備執行根據上述的基于半監督對抗學習的遙感圖像語義分割方法中的任一方法。
36、與現有技術相比,本發明的有益效果為:
37、1.本發明采用了半監督學習策略,這大大減少了對大量精確標注數據的依賴。在傳統監督學習中,獲取大量精確標注的數據是昂貴且耗時的。本方法通過引入無標簽數據,利用半監督學習機制,使得模型能夠在有限的有標簽數據條件下進行有效學習。這種方法不僅降低了數據準備的成本,而且提高了模型在標注數據稀缺情況下的性能,特別是在遙感圖像處理領域,這一優勢尤為明顯。可用于提高遙感圖像中重要地物信息的提取和識別效率。
38、2.本發明的特征增強模塊通過引入空間和通道注意力機制,顯著增強了模型對噪聲和干擾的魯棒性。在遙感圖像中,部分區域可能受到云層、陰影或其他地物的遮擋,這些因素都可能影響地物的準確提取。特征增強模塊通過精確地識別和加權關鍵特征,同時抑制不相關或噪聲特征,提高了模型對這些干擾因素的抵抗能力。這樣,即使在圖像質量不一或環境條件復雜的情況下,模型也能穩定地輸出高質量的圖像提取結果。這種魯棒性對于提高模型在實際應用中的可靠性和適用性至關重要。