本發明涉及單圖像超分辨領域，具體是一種基于區域退化感知的超分辨率圖像重建方法。

背景技術：

1、超分辨率圖像重建作為計算機視覺和圖像處理領域的重要研究方向，旨在從低分辨率圖像重建出具有更高分辨率的高質量圖像。其應用領域廣泛，包括醫學影像、衛星遙感、視頻監控、圖像增強等。近年來，隨著深度學習的快速發展，基于卷積神經網絡的超分方法取得了顯著進展。通過訓練端到端的深度模型，能夠實現從低分辨率圖像中重建出更清晰、細節更豐富的高分辨率圖像。

2、傳統的超分模型通常采用全區域退化假設進行訓練，即假設圖像中所有像素的退化過程是均勻一致的。在訓練數據集的準備階段，通常對高分辨率圖像進行統一的退化處理(例如下采樣、模糊或添加噪聲)以生成低分辨率圖像。這種訓練方式簡化了退化建模的復雜性，使得模型的訓練和優化更為便捷。然而在實際應用中，低分辨率圖像的退化過程往往并非均勻一致，而是具有區域差異性。例如，某些區域可能由于運動模糊、光照條件變化或壓縮算法失真而嚴重退化，而其他區域則可能退化較輕甚至接近原始高分辨率質量。

3、這種退化區域的差異性對傳統超分模型的性能提出了挑戰。在實際場景中，當模型面對具有空間差異性退化的低分辨率圖像時，往往難以準確復原各區域的真實信息。一方面，由于全局優化的傾向，模型可能會對退化較輕的區域進行過度超分，從而引入偽影或紋理過銳等不自然的現象；另一方面，對于退化較嚴重的區域，模型可能無法充分重建細節，導致該區域的效果遠低于期望。這種現象不僅降低了超分模型的魯棒性，還在一定程度上影響了用戶體驗和應用效果。

技術實現思路

1、針對現有技術的不足，本發明擬解決的技術問題是，提供一種基于區域退化感知的超分辨率圖像重建方法。

2、本發明解決所述技術問題的技術方案是，提供一種基于區域退化感知的超分辨率圖像重建方法，其特征在于，該方法包括以下步驟：

3、步驟1、分別構建用于退化區域估計器的dse訓練數據集和用于超分模型的sr訓練數據集；

4、步驟2、構建退化區域估計器和掩碼圖像編碼器，使用隨機掩碼生成器生成n個隨機掩碼mask；再用隨機掩碼mask和步驟1得到的dse訓練數據集來訓練退化區域估計器和掩碼圖像編碼器；

5、步驟3、構建超分模型，使用隨機掩碼生成器生成n個隨機掩碼mask′；再用隨機掩碼mask′和步驟1得到的sr訓練數據集來訓練超分模型，訓練完成，超分模型輸出重建圖像；

6、其中，將結合退化區域特征的edsr模型作為超分模型。

7、與現有技術相比，本發明的有益效果在于：

8、(1)本發明公開了一種能夠感知退化區域差異性的超分辨率圖像重建方法，不僅通過設計多樣化退化形狀的空域差異性退化作為數據增強，還對退化區域進行感知和區域適應性優化，提升超分模型在實際場景中的表現，進而增強了模型的魯棒性和適應性，改善了超分效果。

9、(2)本發明引入了隨機掩碼生成器，生成了多樣化復雜的掩碼圖像來模擬真實世界中不同退化區域的情況。在訓練超分模型過程中，通過將退化低分辨率圖像與干凈低分辨率圖像根據掩碼進行合成，產生用于輸入模型的低質圖像。這種方法能夠有效地增加訓練數據的多樣性，并且通過強化網絡對退化區域的感知，提升模型對不同退化情況的魯棒性。

10、(3)本發明設計了一個退化區域估計器，其能夠根據輸入的低質圖像預測圖像中退化區域的分布。通過使用退化區域估計器提取的退化區域特征，模型能夠更加精確地處理不同退化區域，避免了傳統方法中對某些退化區域過度處理的問題。

11、(4)本發明提出了一種基于動態神經網絡思想的門控機制，用于增強模型對復雜數據的適應能力。該機制通過退化區域估計器預測的退化區域信息，動態地控制數據流經的網絡路徑。具體而言，根據退化區域的分布，門控機制判斷圖像的退化程度，并選擇性地激活一個動態網絡分支。該動態網絡分支對淺層特征進行處理，然后與edsr模型的深層特征提取模塊的輸出相結合，提升了超分模型在重建低分辨率圖像時的靈活性和重建質量。門控機制與動態網絡分支采用模塊化設計，具備即插即用的特性，能夠輕松集成到現有的超分模型中。

12、(5)本發明的動態網絡分支增強了退化區域感知能力。結合數據增強策略，退化區域估計和門控動態網絡分支三個改進，本發明能夠更高效、更精確地重建復雜退化條件下的高質量圖像。

技術特征：

1.一種基于區域退化感知的超分辨率圖像重建方法，其特征在于，該方法包括以下步驟：

2.根據權利要求1所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟1中，用于退化區域估計器的dse訓練數據集的構建是：從干凈低分辨率數據集中裁剪出統一尺寸的干凈低分辨率圖像clean_lr，再通過退化操作獲得退化低分辨率圖像degraded_lr，然后將每張干凈低分辨率圖像clean_lr和與其對應的退化低分辨率圖像degraded_lr進行一一配對形成若干個數據對，并將所有的數據對構成的數據集作為用于退化區域估計器的訓練數據集；

3.根據權利要求2所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟1中，干凈低分辨率數據集采用div2k低分辨率數據集；真實世界超分數據集采用realsr_v3數據集；hr圖像塊的尺寸是lr圖像塊的尺寸的四倍；退化操作包括高斯模糊、添加噪聲和jepg壓縮。

4.根據權利要求1所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟2中，退化區域估計器由依次順序連接的一個淺層特征提取模塊、一個深層特征提取模塊和一個全局特征提取模塊組成；

5.根據權利要求1所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟2中，使用隨機掩碼生成器生成隨機掩碼的具體過程是：首先初始化一個全零的掩碼矩陣，用于存儲掩碼；然后在掩碼矩陣上隨機生成n個曲線起點，再通過曲線生成函數生成n條長度不等的曲線，然后對曲線上的每個點繪制以此點為中心、半徑長度在3～最大圓形半徑的圓；最后使用高斯濾波器平滑掩碼的邊緣，生成的平滑掩碼矩陣即為隨機掩碼；隨機掩碼用于模擬不同區域的退化模式；掩碼值為0代表非退化區域，掩碼值為1代表退化區域；

6.根據權利要求1所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟2中，訓練退化區域估計器和掩碼圖像編碼器的具體步驟是：利用隨機掩碼mask生成低質圖像lq；然后將低質圖像lq輸入到退化區域估計器中，提取得到退化區域特征；同時將隨機掩碼mask輸入到掩碼圖像編碼器中，獲取掩碼圖像特征；然后對退化區域特征和掩碼圖像特征做矩陣乘法操作；最后通過損失函數拉近相匹配特征的距離、拉遠不匹配特征的距離，從而優化退化區域估計器和掩碼圖像編碼器的參數；

7.根據權利要求6所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟2中，退化區域特征的獲取如下：低質圖像lq經過退化區域估計器的淺層特征提取模塊進行特征提取，輸出淺層特征fsf；再將淺層特征fsf傳輸至退化區域估計器的深層特征提取模塊的第一個殘差組和深層特征提取模塊的殘差連接；然后淺層特征fsf經過依次順序連接的殘差組處理，其中前一個殘差組的輸入與輸出的相加結果作為后一個殘差組的輸入；然后在殘差連接處將最后一個殘差組的輸出與淺層特征fsf進行逐元素相加；再經過卷積層進行特征增強，獲得深層特征fdf；最后將深層特征fdf輸入到退化區域估計器的全局特征提取模塊，經過五層vit的處理，得到此次圖像的退化區域特征；

8.根據權利要求1所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟3中，超分模型由步驟2得到的訓練后的退化區域估計器、門控模塊gate、線性層fc、動態網絡分支dynamicnet和edsr模型構成；edsr模型由依次順序連接的淺層特征提取模塊、深層特征提取模塊和上采樣模塊構成；

9.根據權利要求1所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟3中，訓練超分模型的過程是：利用掩碼mask'生成低質圖像lq'，然后將低質圖像lq'輸入到超分模型中；超分模型中，低質圖像lq'經過一個淺層特征提取模塊獲得淺層特征xfirst；同時訓練后的退化區域估計器從低質圖像lq'提取到維度為ndim的退化區域特征；然后將維度為ndim的退化區域特征輸入到門控模塊gate獲得gate；同時使用一個可學習的線性層對維度為ndim的退化區域特征進行維度轉換，降至64維，再在高和寬兩個維度上進行復制，獲得新的退化區域特征xdse；然后將淺層特征xfirst與新的退化區域特征xdse相加的結果分別輸入到edsr的深層特征提取模塊和動態網絡分支dynamicnet中，分別獲得深層特征xbody和分支特征xdyn；然后分支特征xdyn與gate的第一個元素相乘后跟淺層特征xfirst和深層特征xbody相加，得到相加結果res；最后相加結果res輸入到上采樣模塊，從而獲得重建圖像；

10.根據權利要求9所述的基于區域退化感知的超分辨率圖像重建方法，其特征在于，步驟3中，動態網絡分支dynamicnet由依次順序連接的核大小為3×3的卷積層、核大小為1×1的卷積層、核大小為3×3的卷積層、核大小為1×1的卷積層以及核大小為3×3的卷積層組成；每個卷積層使用自適應激活函數；自適應激活函數的公式如下：

技術總結
本發明公開了一種基于區域退化感知的超分辨率圖像重建方法，包括分別構建用于退化區域估計器的Dse訓練數據集和用于超分模型的SR訓練數據集；再構建退化區域估計器和掩碼圖像編碼器，使用隨機掩碼生成器生成N個隨機掩碼mask；再用隨機掩碼mask和Dse訓練數據集來訓練退化區域估計器和掩碼圖像編碼器；然后構建結合退化區域特征的EDSR模型作為超分模型，使用隨機掩碼生成器生成N個隨機掩碼mask'；再用隨機掩碼mask'和SR訓練數據集來訓練超分模型，訓練完成，超分模型輸出重建圖像。本發明不僅通過設計多樣化退化形狀的空域差異性退化作為數據增強，還對退化區域進行感知和區域適應性優化，增強了模型的魯棒性和適應性，改善了超分效果。

技術研發人員：賈永娜,蔡雍,馮帆,崔世豪,李晨旭,午占創,王澤奇
受保護的技術使用者：河北工業大學
技術研發日：
技術公布日：2025/4/28