以下描述涉及具有基于模糊分割來增強(qiáng)圖像的方法及電子裝置。

背景技術(shù)：

1、基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)通常用于不同種類的圖像處理。神經(jīng)網(wǎng)絡(luò)可基于深度學(xué)習(xí)被訓(xùn)練，然后通過對處于非線性關(guān)系的輸入數(shù)據(jù)和輸出數(shù)據(jù)進(jìn)行互相映射來執(zhí)行用于期望目的的推斷。生成這種映射的訓(xùn)練能力可稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。為了特定目的（諸如，圖像增強(qiáng)）而訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可具有響應(yīng)于尚未被專門訓(xùn)練的輸入模式而生成相對準(zhǔn)確的輸出的泛化能力。

技術(shù)實現(xiàn)思路

1、提供本
技術(shù)實現(xiàn)要素：
是為了以簡化的形式介紹在下面的具體實施方式中進(jìn)一步描述的構(gòu)思的選擇。本發(fā)明內(nèi)容不意圖確定要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意圖用于幫助確定所要求保護(hù)的主題的范圍。

2、在一個總體方面，一種增強(qiáng)圖像的方法包括：生成包括模糊圖像的各個像素的模糊特性的指示的模糊分割圖，其中，模糊特性在預(yù)定模糊特性類別中，其中，通過將模糊圖像的每個像素的模糊特性分類為預(yù)定模糊特性類別中的一個來執(zhí)行所述生成步驟；將模糊分割圖轉(zhuǎn)換成與模糊圖像的模糊分量對應(yīng)的圖像殘差；以及基于模糊圖像和圖像殘差生成去模糊圖像。

3、所述指示可以是特征表示，并且每個特征表示可表示模糊圖像的相應(yīng)像素的模糊特性。

4、特征表示可與模糊圖像的在位置上對應(yīng)的像素形成對，并且所述對中的第一對可包括特征表示中的第一特征表示和像素中的第一像素，并且第一特征表示可表示第一像素的模糊特性。

5、可通過基于模糊特性類別對模糊分割圖執(zhí)行離散至連續(xù)轉(zhuǎn)換來生成圖像殘差，并且圖像殘差可包括連續(xù)格式的像素值。

6、可使用被預(yù)訓(xùn)練為基于對輸入模糊圖像的模糊特性進(jìn)行聚類來分割輸入模糊圖像的第一神經(jīng)模型來生成模糊分割圖，以及可使用被預(yù)訓(xùn)練為將分割圖轉(zhuǎn)換為具有連續(xù)像素值的圖像的第二神經(jīng)網(wǎng)絡(luò)將模糊分割圖轉(zhuǎn)換為圖像殘差。

7、將模糊分割圖轉(zhuǎn)換為圖像殘差的步驟可包括：將模糊圖像和模糊分割圖輸入到第二神經(jīng)網(wǎng)絡(luò)中。

8、可基于以下步驟來訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)模型：使用神經(jīng)核估計模型生成第一訓(xùn)練模糊圖像的基核；通過使用所述基核執(zhí)行第一訓(xùn)練模糊圖像的去卷積來生成第一中間去卷積結(jié)果；使用第一神經(jīng)網(wǎng)絡(luò)模型生成第一樣本模糊圖像的第一訓(xùn)練模糊分割圖；通過使用第一樣本模糊分割圖的特征表示，從第一中間去卷積結(jié)果對第一最終去卷積結(jié)果的像素進(jìn)行采樣，生成第一最終去卷積結(jié)果；以及訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)模型和第二神經(jīng)網(wǎng)絡(luò)模型，使得第一最終去卷積結(jié)果與第一訓(xùn)練清晰圖像之間的差減小。

9、所述基核的數(shù)量被設(shè)置為與預(yù)定模糊特性類別的數(shù)量相同。

10、生成第一最終去卷積結(jié)果的步驟可包括：基于第一訓(xùn)練模糊分割圖的特征表示之中的第一位置處的特征表示，通過選擇第一中間去卷積結(jié)果的像素值中的與第一位置對應(yīng)的位置處的像素值，確定第一最終去卷積結(jié)果的與第一位置對應(yīng)的位置處的像素值。

11、可基于以下步驟來訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)模型：在第一神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練完成之后，使用第一神經(jīng)網(wǎng)絡(luò)模型生成第二訓(xùn)練模糊圖像的第二訓(xùn)練模糊分割圖；使用第二神經(jīng)網(wǎng)絡(luò)模型將第二訓(xùn)練模糊分割圖轉(zhuǎn)換為訓(xùn)練圖像殘差，訓(xùn)練圖像殘差對應(yīng)于第二訓(xùn)練模糊圖像與第二訓(xùn)練去模糊圖像之間的差；基于第二訓(xùn)練模糊圖像和訓(xùn)練圖像殘差生成第二訓(xùn)練去模糊圖像；以及訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)模型，使得第二訓(xùn)練去模糊圖像與第二訓(xùn)練清晰圖像之間的差減小。

12、訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)模型的步驟可包括：在沒有第一神經(jīng)網(wǎng)絡(luò)模型的權(quán)重被更新時，重復(fù)地更新第二神經(jīng)網(wǎng)絡(luò)模型的權(quán)重。

13、在另一總體方面，一種電子裝置包括：一個或多個處理器；以及存儲器，存儲指令，所述指令被配置為使所述一個或多個處理器：通過將模糊圖像的像素的模糊特性分類為預(yù)定模糊特性類別并且在模糊分割圖中存儲模糊圖像的各個像素的確定的模糊特性類別的指示，從模糊圖像生成模糊分割圖；基于模糊分割圖生成圖像殘差，圖像殘差與模糊圖像的模糊分量對應(yīng)；以及通過將圖像殘差應(yīng)用于模糊圖像以去除模糊圖像的模糊分量來生成去模糊圖像。

14、模糊圖像的像素各自可具有頻率分量和運動分量，并且預(yù)定模糊特性類別可與頻率-運動域中的像素的相應(yīng)簇對應(yīng)。

15、模糊圖像的像素被分類為哪個預(yù)定模糊特性類別取決于像素的運動分量和像素的模糊分量。

16、模糊分割圖可以是模糊圖像中的像素值的頻率-運動值的離散化。

17、所述指令還可被配置為使得所述一個或多個處理器：通過將模糊圖像輸入到第一神經(jīng)網(wǎng)絡(luò)模型來生成模糊分割圖，第一神經(jīng)網(wǎng)絡(luò)模型已經(jīng)被預(yù)訓(xùn)練為根據(jù)模糊圖像的像素的頻率分量和運動分量對模糊圖像的像素進(jìn)行聚類，第一神經(jīng)網(wǎng)絡(luò)模型生成模糊分割圖；以及通過將模糊分割圖輸入到第二神經(jīng)網(wǎng)絡(luò)模型來生成圖像殘差，第二神經(jīng)網(wǎng)絡(luò)模型已經(jīng)被預(yù)訓(xùn)練為將模糊圖像的分割圖轉(zhuǎn)換為非分割的圖像殘差。

18、可基于以下步驟來訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)模型：使用被訓(xùn)練為估計模糊圖像的模糊核的第三神經(jīng)模型來生成第一訓(xùn)練模糊圖像的基核；通過使用所述基核執(zhí)行第一訓(xùn)練模糊圖像的去卷積來生成第一中間去卷積結(jié)果；使用第一神經(jīng)網(wǎng)絡(luò)模型生成第一訓(xùn)練模糊圖像的第一訓(xùn)練模糊分割圖；通過使用第一訓(xùn)練模糊分割圖的頻率-運動特征指示，從第一中間去卷積結(jié)果對第一最終去卷積結(jié)果的像素進(jìn)行采樣，生成第一最終去卷積結(jié)果；以及訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)模型和第三神經(jīng)網(wǎng)絡(luò)模型，使得第一最終去卷積結(jié)果與第一訓(xùn)練清晰圖像之間的差減小。

19、所述基核可分別與預(yù)定模糊特性類別對應(yīng)。

20、在另一總體方面，一種從模糊圖像生成去模糊圖像的方法，所述方法由一個或多個處理器執(zhí)行，并且所述方法包括：根據(jù)模糊圖像的像素的頻率-運動模糊分量來確定模糊圖像的像素的頻率-運動模糊類別，以及將確定的頻率-運動模糊類別的指示存儲在模糊分割圖中，其中，模糊分割圖中的每個指示表示模糊圖像中的其在位置上對應(yīng)的像素的確定的頻率-運動模糊類別；以及基于模糊分割圖生成去模糊圖像。

21、頻率-運動模糊類別可在模糊圖像的頻率-運動域中，其中，頻率-運動模糊類別與頻率-運動域中的模糊圖像的像素的簇對應(yīng)，并且所述方法還可包括：生成與模糊圖像的模糊分量對應(yīng)的圖像殘差，以及將圖像殘差應(yīng)用于模糊圖像以生成去模糊圖像。

22、根據(jù)以下具體實施方式、附圖和權(quán)利要求，其他特征和方面將是清楚的。

技術(shù)特征：

1.一種圖像增強(qiáng)的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述指示是特征表示，并且每個特征表示表示模糊圖像的相應(yīng)像素的模糊特性。

3.根據(jù)權(quán)利要求2所述的方法，其中，

4.根據(jù)權(quán)利要求1至權(quán)利要求3中任意一項所述的方法，其中，通過基于模糊特性類別對模糊分割圖執(zhí)行離散至連續(xù)轉(zhuǎn)換來生成圖像殘差，圖像殘差包括連續(xù)的像素值。

5.根據(jù)權(quán)利要求1至權(quán)利要求3中任意一項所述的方法，其中，

6.根據(jù)權(quán)利要求5所述的方法，其中，將模糊分割圖轉(zhuǎn)換為圖像殘差的步驟包括：將模糊圖像和模糊分割圖輸入到第二神經(jīng)網(wǎng)絡(luò)模型中。

7.根據(jù)權(quán)利要求5所述的方法，其中，基于以下步驟來訓(xùn)練第一神經(jīng)網(wǎng)絡(luò)模型：

8.根據(jù)權(quán)利要求7所述的方法，其中，所述基核的數(shù)量被設(shè)置為與預(yù)定模糊特性類別的數(shù)量相同。

9.根據(jù)權(quán)利要求7所述的方法，其中，生成第一最終去卷積結(jié)果的步驟包括：

10.根據(jù)權(quán)利要求5所述的方法，其中，基于以下步驟來訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)模型：

11.根據(jù)權(quán)利要求10所述的方法，其中，訓(xùn)練第二神經(jīng)網(wǎng)絡(luò)模型的步驟包括：在沒有第一神經(jīng)網(wǎng)絡(luò)模型的權(quán)重被更新時，重復(fù)地更新第二神經(jīng)網(wǎng)絡(luò)模型的權(quán)重。

12.一種電子裝置，包括：

13.根據(jù)權(quán)利要求12所述的電子裝置，其中，模糊圖像的像素各自具有頻率分量和運動分量，其中，預(yù)定模糊特性類別與頻率-運動域中的像素的相應(yīng)簇對應(yīng)。

14.根據(jù)權(quán)利要求13所述的電子裝置，其中，

15.根據(jù)權(quán)利要求12至權(quán)利要求14中任意一項所述的電子裝置，其中，模糊分割圖是模糊圖像中的像素值的頻率-運動值的離散化。

16.根據(jù)權(quán)利要求12至權(quán)利要求14中任意一項所述的電子裝置，其中，所述指令還被配置為使所述一個或多個處理器：

17.根據(jù)權(quán)利要求16所述的電子裝置，其中，第一神經(jīng)網(wǎng)絡(luò)模型基于以下步驟來訓(xùn)練：

18.根據(jù)權(quán)利要求17所述的電子裝置，其中，所述基核分別與預(yù)定模糊特性類別對應(yīng)。

19.一種從模糊圖像生成去模糊圖像的方法，所述方法由一個或多個處理器執(zhí)行，所述方法包括：

20.根據(jù)權(quán)利要求19所述的方法，其中，頻率-運動模糊類別在模糊圖像的頻率-運動域中，其中，頻率-運動模糊類別與頻率-運動域中的模糊圖像的像素的簇對應(yīng)，其中，所述方法還包括：生成與模糊圖像的模糊分量對應(yīng)的圖像殘差，以及將圖像殘差應(yīng)用于模糊圖像以生成去模糊圖像。

技術(shù)總結(jié)
提供一種基于模糊分割的圖像增強(qiáng)的方法及電子裝置。所述圖像增強(qiáng)的方法包括：生成包括模糊圖像的各個像素的模糊特性的指示的模糊分割圖，其中，模糊特性在預(yù)定模糊特性類別中，其中，通過將模糊圖像的每個像素的模糊特性分類為預(yù)定模糊特性類別中的一個來執(zhí)行所述生成的步驟；將模糊分割圖轉(zhuǎn)換成與模糊圖像的模糊分量對應(yīng)的圖像殘差；以及基于模糊圖像和圖像殘差生成去模糊圖像。

技術(shù)研發(fā)人員：金仁洙,徐健錫,崔在碩,李炯旭
受保護(hù)的技術(shù)使用者：三星電子株式會社
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28