本發明屬于遙感高光譜圖像，尤其涉及一種基于混合神經網絡的遙感高光譜圖像超分辨率重建方法。

背景技術：

1、得益于捕獲觀測場景中豐富光譜信號的能力，高光譜圖像能夠為圖像解譯提供更加精確的指導。隨著硬件技術的升級，高光譜圖像逐漸成為遙感信息處理技術中十分重要的信息來源。然而，由于成像光譜儀的物理限制，高光譜圖像在采集過程中通常面臨空間分辨率較低的問題。較低的空間分辨率很大程度上限制了其應用潛力，尤其是面向于精細化物種分類及異常檢測等任務。而圖像超分辨率技術可以在較低成本下實現高光譜圖像的空間分辨率提升，有效拓寬了高光譜圖像的應用范疇。

2、高光譜圖像超分辨率技術旨在通過算法手段，利用現有的低分辨率圖像重構出具有更高空間分辨率的高質量圖像。該技術追求更加精細的空間細節的同時，盡可能地保留光譜信息。相對于簡單直接的插值算法，高光譜圖像超分辨率重建需要在實施過程中同時考慮空間信息和光譜信號，這增加該任務的挑戰性。針對該領域的早期研究，學者們聚焦于傳統算法。小波變換、最大后驗估計以及混合像元分析是其中的熱點技術路線。隨著機器學習在圖像處理領域的發展與創新，基于深度學習網絡的高光譜圖像超分辨率重建方法已經成為該領域的研究熱點。

3、相對于傳統方法，深度學習的優勢在于能夠借助大量的訓練數據，自動學習圖像中的復雜模式，通常具有較強的性能和泛化性。在重建過程中，圖像中攜帶的豐富的光譜信息必須要被考慮。3d卷積的計算模式對于提取光譜特征具有獨特的優勢，因此被部分學者引入該領域。然而，3d卷積也帶來了高額的計算負擔，這對于模型的設計帶來了一定的限制性。遙感圖像中的局部特征有著明顯的跨區域跨尺度復現性，因此全局信息的提取似乎是十分關鍵的。隨著transformer在多個視覺任務中嶄露頭角，自注意力機制的優秀性能逐漸得到關注。自注意力機制將全局范圍內不同位置的像素關聯起來，自主分配權重。而transformer的學習過程均由網絡自主完成，缺乏先驗信息的引導以及學習側重性，這限制了網絡的學習效率和任務導向性。

4、近年來，超圖學習作為一種有著巨大潛力的學習模式被逐漸引入到圖像處理領域。超圖是一種更加靈活復雜的數據表達格式，能夠基于特定的先驗信息連接全局內的具有依賴關系的特征點。這就意味著，可以通過將節點信息映射入更加明確和任務導向的特征空間，為網絡的學習過程施加指導和傾向性。遙感圖像超分辨率重建通常對應較大的觀測面積，在單個像元中復雜成分高度耦合，這使得對圖像內部信息的表征十分具有挑戰性，而對多個維度的特征的完備表征和充分利用是實現圖像精確重構的關鍵。超圖這種特征空間轉換的優勢尤其適合處理高光譜圖像這種高維復雜的數據，并且可以彌補上述卷積神經網絡以及transformer架構的劣勢。

技術實現思路

1、有鑒于此，本發明創造旨在提供一種基于混合神經網絡的遙感高光譜圖像超分辨率重建方法，以超圖學習作為基準學習模式，小波變換和光譜混合分析作為數據分析方法，將光譜信息和空間信息進行表征和利用的同時，超圖學習實現了對像素間的長程相關性的捕捉，提升了網絡學習過程中的豐富性和廣度。

2、為達到上述目的，本發明創造的技術方案是這樣實現的：

3、一種基于混合神經網絡的遙感高光譜圖像超分辨率重建方法，包括：

4、s1：獲取遙感高光譜圖像數據集，并對數據集進行預處理，得到訓練集；

5、s2：構建混合神經網絡，利用步驟s1得到的訓練集對混合神經網絡進行訓練，得到混合網絡模型；

6、混合神經網絡包括：光譜超圖支路，提取輸入圖像中的光譜特征；空間超圖支路，提取輸入圖像中的空間特征；語義超圖支路，提取輸入圖像中的語義特征；敏感波段提取支路，對光譜特征、空間特征以及語義特征進行融合，并利用融合后的特征提取輸入圖像的高質量語義特征；恢復重建支路，以輸入圖像的初步超分辨率圖像為基礎，結合光譜特征、空間特征、語義特征以及高質量語義特征，得到重建遙感高光譜圖像；

7、s3：將待重建的低分辨率遙感高光譜圖像輸入步驟s2得到的混合網絡模型中，得到對應的重建遙感高光譜圖像。

8、進一步的，在步驟s1中，對數據集的預處理過程包括：對數據集進行分割、擴增以及降質，得到低分辨率的輸入圖像。

9、進一步的，在步驟s2中的光譜超圖支路中：對輸入圖像進行一維小波變換，得到逼近系數和細節系數；根據逼近系數和細節系數，構建得到低頻特征超圖和高頻特征超圖，再分別對低頻特征超圖和高頻特征超圖通過下式轉換得到低頻特征超圖算子和高頻特征超圖算子：

10、；

11、；

12、其中，表示低頻特征超圖算子，表示高頻特征超圖算子，表示低頻特征超圖，表示高頻特征超圖，和分別表示超邊度和頂點度的對角矩陣，e初始化為單位矩陣；

13、將輸入圖像作為輸入特征，與低頻特征超圖算子和高頻特征超圖算子輸入到光譜超圖互注意力模塊中，輸出的特征再與低頻特征超圖算子和高頻特征超圖算子經不少于1個的光譜超圖互注意力模塊處理，得到光譜特征。

14、進一步的，在光譜超圖互注意力模塊中：

15、對輸入特征分別與低頻特征超圖算子和高頻特征超圖算子相乘，得到低頻光譜特征圖和高頻光譜特征圖，即：

16、；

17、；

18、其中，，n表示光譜超圖互注意力模塊的個數，n表示光譜超圖互注意力模塊的總數，表示上一個光譜超圖互注意力模塊輸出的光譜特征，表示輸入光譜超圖互注意力模塊的特征為輸入圖像，表示低頻光譜特征圖，表示高頻光譜特征圖，和表示計算低頻光譜特征圖和高頻光譜特征圖的權重系數；

19、從低頻光譜特征圖中提取查詢矩陣，從高頻光譜特征圖中提取鍵矩陣以及值矩陣，再將查詢矩陣、鍵矩陣以及值矩陣進行多頭互注意力機制操作，得到當前光譜超圖互注意力模塊輸出的光譜特征，即：

20、；

21、其中，表示當前光譜超圖互注意力模塊輸出的光譜特征，表示查詢矩陣，表示鍵矩陣，表示值矩陣，表示多頭互注意力機制操作。

22、進一步的，在步驟s2中的空間超圖支路中：

23、對輸入圖像進行降維，再將降維后的圖像進行二維小波變換，得到輸入圖像的低頻分量和高頻分量，即：

24、；

25、其中，表示低頻分量，表示輸入圖像中水平方向、垂直方向和對角線方向的高頻分量，表示二維小波變換，表示輸入圖像經降維后保留的圖像；

26、將低頻分量和高頻分量進行二倍雙三次插值，將提取到的頻率特征延展開，通過下式構造輸入圖像的低頻空間信息超圖和高頻空間信息超圖：

27、；

28、其中，表示低頻空間信息超圖，表示高頻空間信息超圖，表示構建低頻空間信息超圖和高頻空間信息超圖的完整函數；

29、將低頻空間信息超圖和高頻空間信息超圖對應元素相加，得到輸入圖像的空間信息超圖，并對空間信息超圖通過下式轉換得到空間信息超圖算子：

30、；

31、其中，表示空間信息超圖算子，表示空間信息超圖，和分別表示超邊度和頂點度的對角矩陣，e初始化為單位矩陣；

32、將輸入圖像作為輸入特征，與空間信息超圖算子輸入到空間超圖自注意力模塊中，輸出的特征再與空間信息超圖算子經不少于1個的空間超圖自注意力模塊處理，得到空間特征。

33、進一步的，在空間超圖自注意力模塊中：

34、對輸入特征與空間信息超圖算子相乘，得到空間信息特征圖，即：

35、；

36、其中，，m表示空間超圖自注意力模塊的個數，m表示空間超圖自注意力模塊的總數，表示上一個空間超圖自注意力模塊輸出的空間特征，表示輸入空間超圖自注意力模塊的特征為輸入圖像，表示空間信息特征圖，表示計算空間信息特征圖的權重系數；

37、從空間信息特征圖中提取查詢矩陣、鍵矩陣以及值矩陣，再將查詢矩陣、鍵矩陣以及值矩陣進行多頭自注意力機制操作，得到當前空間超圖自注意力模塊輸出的空間特征，即：

38、；

39、其中，表示當前空間超圖自注意力模塊輸出的空間特征，表示查詢矩陣，表示鍵矩陣，表示值矩陣，表示多頭自注意力機制操作。

40、進一步的，在步驟s2中的語義超圖支路中：

41、以非負矩陣分解算法從輸入圖像中解析得到豐度矩陣；

42、根據豐度矩陣，通過下式構建輸入圖像的語義超圖：

43、；

44、其中，表示語義超圖，表示豐度矩陣，表示構建語義超圖的完整函數；

45、通過下式將語義超圖轉換得到語義超圖算子：

46、；

47、其中，表示語義超圖算子，和分別表示超邊度和頂點度的對角矩陣，e初始化為單位矩陣；

48、將輸入圖像作為輸入特征，與語義超圖算子輸入到語義超圖3d模塊中，輸出的特征再與語義超圖算子經不少于1個的語義超圖3d模塊處理，得到語義特征。

49、進一步的，在語義超圖3d模塊中：

50、對輸入特征與語義超圖算子相乘，得到語義信息特征圖，即：

51、；

52、其中，，o表示語義超圖3d模塊的個數，表示語義超圖3d模塊的總數，表示上一個語義超圖3d模塊輸出的語義特征，表示輸入語義超圖3d模塊的特征為輸入圖像，表示語義信息特征圖，表示計算語義信息特征圖的權重系數；

53、再對語義信息特征圖進行三維卷積處理，得到當前語義超圖3d模塊輸出的語義特征。

54、進一步的，步驟s2中的敏感波段提取支路包括權重獲取模塊和基準殘差模塊；其中：

55、在權重獲取模塊中，對光譜特征、空間特征以及語義特征中的各個波段進行像素值統計，估計每個波段的像素值概率分布；通過最大熵公式計算每個特征中每個波段的熵值，選擇熵最大的波段作為每個特征的敏感波段；

56、基準殘差模塊包括不少于3個的級聯的殘差塊，在其中兩個相鄰的殘差塊之間，以三個特征的敏感波段作為權重，與前一殘差塊的輸入特征對應元素相乘，相乘后的特征再與后一殘差塊的輸入特征相加，得到輸出特征；每個殘差塊包括不少于2個的級聯的卷積層，當前殘差塊的輸入特征經卷積層的卷積操作后，再與當前殘差塊的輸入特征對應元素相加，得到輸出特征；最后一個殘差塊得到的輸出特征即為高質量語義特征。

57、進一步的，在步驟s2中的恢復重建支路中，

58、將光譜特征、空間特征、語義特征以及高質量語義特征對應元素相加，將相加后的特征依次進行不少于1次的卷積操作以及轉置卷積操作，將得到的特征與對所述輸入圖像進行上采樣得到的初步超分辨率圖像對應元素相加，再將相加后的特征依次進行不少于1次的卷積操作后，得到重建遙感高光譜圖像。

59、與現有技術相比，本發明創造能夠取得如下有益效果：

60、（1）本發明創造所述的基于混合神經網絡的遙感高光譜圖像超分辨率重建方法中，提供了一種以超圖學習作為基準學習模式，小波變換和光譜混合分析作為數據分析方法的遙感高光譜圖像超分辨率混合網絡模型，基于空間和光譜中的高低頻特征捕捉圖像中的主體結構和細節變化特性；結合敏感波段提取支路，對光譜特征、空間特征以及語義特征進行融合，加強語義信息的傳播和重構，提升了重建效果；

61、（2）本發明創造所述的基于混合神經網絡的遙感高光譜圖像超分辨率重建方法中，光譜超圖支路結合了一維小波變換、超圖學習以及互注意力機制，以更好地對光譜信息進行表征和利用；在光譜超圖互注意力模塊中，各個信號節點的頻率特征被考慮和處理，能夠有效提高重構光譜的保真度；在同一場景內，由于目標具有較強的跨區域復現性，而超圖表示了全局范圍內的各節點之間的依賴關系，超圖學習實現了對像素間的長程相關性的捕捉，從而提升了網絡學習過程中的豐富性和廣度；

62、（3）本發明創造所述的基于混合神經網絡的遙感高光譜圖像超分辨率重建方法中，空間超圖支路結合二維小波變換、超圖學習以及自注意力機制，以實現對圖像結構信息和細節紋理的精確重構；空間超圖自注意力模塊中，基于主體結構和輸入圖像的空間特征的超圖學習，能夠高效利用圖像中反復出現的相似特征，實現特征點之間的相互增強和空間信息的精確重構；

63、（4）本發明創造所述的基于混合神經網絡的遙感高光譜圖像超分辨率重建方法中，語義超圖支路中結合解混、超圖學習以及3d卷積的語義學習模塊，通過將高度耦合的復雜信息映射入更加明確的高級語義空間，有效降低了信息傳播的難度，有利于更加精確的細節重構；

64、（5）本發明創造所述的基于混合神經網絡的遙感高光譜圖像超分辨率重建方法中，敏感波段提取支路中敏感波段注意力的介入，動態地調整了各特征在信息融合時的權重，以更精準地引導光譜與空間及高級語義信息的交互。這種方式確保了不同特征域的協同工作，最終提升超分辨率效果。