本文件涉及圖像處理，尤其涉及一種圖像超分辨率重建模型的訓練方法、系統及存儲介質。

背景技術：

1、圖像超分辨率(super-resolution，sr)技術是人工智能領域的分支，可以將低分辨率圖像，通過算法重建為高分辨率圖像，高分辨率圖像的像素密度更高，可以攜帶更多的細節信息。圖像超分辨率技術可以應用于視頻壓縮、圖像渲染、醫療影像、航天衛星等各個領域且有廣泛的應用場景。

2、目前，圖像超分辨率技術通常將算法實現在提供計算資源的嵌入式設備和/或服務器等設備上，而圖像超分辨率算法的模型常采用龐大規模的卷積網絡、尺度變換模塊以及拼接模塊等，這需要較長的運行時長支持和消耗大量的內存/硬盤等存儲空間，會導致設備成本增加，同時，在現存設備上算法處理效率很低，且很難在現存設備上使用更少的功率，也難以實現更大規模的算法模型。

技術實現思路

1、本說明書實施例目的是提供一種圖像超分辨率重建模型的訓練方法、系統及存儲介質，避免因圖像超分辨率重建模型計算資源消耗大導致的過高設備成本，進而在模型被使用時，在同等計算能力的設備上實現圖像超分辨率重建模型的計算資源消耗突破，改善處理效率以及改善算法設備實現成本。

2、為了實現上述目的，本說明書實施例采用下述方案：

3、第一方面，提供一種圖像超分辨率重建模型的訓練方法，所述訓練方法包括：

4、將原始圖像的圖像塊作為訓練樣本，分別輸入至教師模型和學生模型，以獲得由所述教師模型中自適應推理子網絡輸出的基準特征和由所述學生模型中自適應推理子網絡中各層網絡模塊的輸出特征；

5、將所述學生模型中各層網絡模塊的輸出特征輸入至跳出模型，以獲得各層網絡模塊對應的跳出得分，所述跳出得分用于指示所述學生模型中作為跳出層的網絡模塊；

6、基于所述學生模型中目標層的網絡模塊的輸出特征與所述基準特征之間的第一差異值，以及所述目標層的下一層網絡模塊的輸出特征與所述基準特征的第二差異值，確定與所述跳出得分對應的所述跳出模型的損失值和與所述圖像塊對應的標記；

7、基于聯合損失值，調整所述學生模型的模型參數和所述跳出模型的模型參數，所述聯合損失值是基于所述跳出模型的損失值和學習損失值確定的。

8、第二方面，提供一種圖像超分辨率重建方法，所述圖像超分辨率重建方法包括：獲取原始圖像；將所述原始圖像輸入至圖像超分辨率重建模型中，以獲得超分辨率圖像；其中，所述圖像超分辨率重建模型被配置有作為子網絡的跳出模型；所述圖像超分辨率重建模型是前述的圖像超分辨率重建模型的訓練方法中的學生模型，且是通過所述訓練方法訓練后的學生模型。

9、第三方面，提供一種應用于圖像超分辨率重建的系統，所述系統包括：

10、輸入模塊，用于將原始圖像的圖像塊作為訓練樣本，分別輸入至教師模型和學生模型，以獲得由所述教師模型中自適應推理子網絡輸出的基準特征和由所述學生模型中自適應推理子網絡中各層網絡模塊的輸出特征；

11、訓練模塊，用于將所述學生模型中各層網絡模塊的輸出特征輸入至跳出模型，以獲得各層網絡模塊對應的跳出得分，所述跳出得分用于指示所述學生模型中作為跳出層的網絡模塊；

12、所述訓練模塊還用于基于所述學生模型中目標層的網絡模塊的輸出特征與所述基準特征之間的第一差異值，以及所述目標層的下一層網絡模塊的輸出特征與所述基準特征的第二差異值，確定與所述跳出得分對應的所述跳出模型的損失值和與所述圖像塊對應的標記；

13、所述訓練模塊還用于基于聯合損失值，調整所述學生模型的模型參數和所述跳出模型的模型參數，所述聯合損失值是基于所述跳出模型的損失值和學習損失值確定的。

14、第四方面，提供一種電子設備，該電子設備包括：

15、至少一個處理器；

16、存儲器，與所述至少一個處理器連接；

17、其中，所述存儲器存儲有能被所述至少一個處理器執行的指令，所述至少一個處理器通過執行所述存儲器存儲的指令，所述至少一個處理器通過執行所述存儲器存儲的指令實現前述的方法。

18、第五方面，提供一種機器可讀存儲介質，存儲有機器指令，當所述機器指令在機器上運行時，使得機器執行前述的方法。

19、本說明書實施例的方案中，采用蒸餾學習框架，使用原始圖像和教師模型，訓練學生模型，獲得基準特征和學生模型中輸出特征，能夠通過基準特征為學生模型提供識別圖像特征的參考知識基礎，而不是重構學生模型和/或教師模型的卷積層結構。通過跳出模型得到學生模型中各層網絡模塊的輸出特征的跳出得分，從而通過跳出模型評估學生模型中各層網絡模塊對當前的圖像塊的特征的感知水平，某層網絡模塊對應的跳出得分越高，說明該層網絡模塊的輸出特征對于重建所需的特征的信息越充分，輸出特征對于重建所需的特征的信息是充足時，該層網絡模塊能夠作為跳出層的網絡模塊，能夠在模型被使用時，提前結束學生模型感知圖像塊的特征的前向計算過程，以達到降低計算資源開銷的目的。學生模型中在目標層和下一層網絡模塊之間使用輸出特征，與教師模型中基準特征的差異值，構建了跳出模型的損失值和標記，能夠評估跳出模型的特征打分能力以及自動形成與圖像塊對應的標記，同時，不需要單獨為跳出模型提供樣本和樣本標記，也不需要為跳出模型提供參考模型。最后，使用聯合損失值調整學生模型和跳出模型，同步優化二者的模型參數，以使得跳出模型的特征打分能力變化能夠建立在學生模型對圖像塊的感知水平變化之上，保持跳出模型和學生模型被同步優化，能夠保證原始圖像對應的高分辨率圖像重建的圖像信息準確性。

20、本說明書實施例的其它特征和優點將在隨后的具體實施方式部分予以詳細說明。

技術特征：

1.一種圖像超分辨率重建模型的訓練方法，其特征在于，所述訓練方法包括：

2.根據權利要求1所述的圖像超分辨率重建模型的訓練方法，其特征在于，

3.根據權利要求1所述的圖像超分辨率重建模型的訓練方法，其特征在于，所述基于所述學生模型中目標層的網絡模塊的輸出特征與所述基準特征之間的第一差異值，以及所述目標層的下一層網絡模塊的輸出特征與所述基準特征的第二差異值，確定與所述跳出得分對應的所述跳出模型的損失值和與所述圖像塊對應的標記，包括：

4.根據權利要求3所述的圖像超分辨率重建模型的訓練方法，其特征在于，所述學習損失值包括信息增強損失值和超分損失值；所述訓練方法還包括確定信息增強損失值，所述確定信息增強損失值包括：

5.根據權利要求4所述的圖像超分辨率重建模型的訓練方法，其特征在于，所述訓練方法還包括確定超分損失值，所述確定超分損失值包括：

6.根據權利要求5所述的圖像超分辨率重建模型的訓練方法，其特征在于，所述聯合損失值為所述跳出模型的損失值、所述學生模型的信息增強損失值、所述學生模型的超分損失值之和。

7.根據權利要求1所述的圖像超分辨率重建模型的訓練方法，其特征在于，所述訓練方法還包括：

8.一種圖像超分辨率重建方法，其特征在于，所述圖像超分辨率重建方法包括：

9.根據權利要求8所述的圖像超分辨率重建方法，其特征在于，所述將所述原始圖像輸入至圖像超分辨率重建模型中，以獲得超分辨率圖像，包括：

10.根據權利要求9所述的圖像超分辨率重建方法，其特征在于，所述圖像超分辨率重建方法還包括：

11.一種應用于圖像超分辨率重建的系統，其特征在于，所述系統包括：

12.一種機器可讀存儲介質，存儲有機器指令，當所述機器指令在機器上運行時，使得機器執行權利要求1至10中任意一項權利要求所述的方法。

技術總結
本說明書實施例公開了圖像超分辨率重建模型的訓練方法、系統及存儲介質，屬于圖像處理技術領域，可以在同等計算能力的設備上實現圖像超分辨率重建模型的計算資源消耗突破，以及改善算法設備實現成本。所述方法包括：將原始圖像的圖像塊作為訓練樣本，分別輸入至教師模型和學生模型，以獲得基準特征和輸出特征；將輸出特征輸入至跳出模型，以獲得各層網絡模塊對應的跳出得分；基于輸出特征與基準特征之間的第一差異值，以及目標層的下一層網絡模塊的輸出特征與基準特征的第二差異值，確定與跳出得分對應的跳出模型的損失值和與圖像塊對應的標記；基于聯合損失值，調整學生模型的模型參數和跳出模型的模型參數。

技術研發人員：趙暐,張淵,謝迪,浦世亮
受保護的技術使用者：杭州海康威視數字技術股份有限公司
技術研發日：
技術公布日：2025/4/28