本披露一般涉及圖像處理。更具體地，本披露涉及一種用于增強局部過曝圖像的方法、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、在夜間或封閉環(huán)境等情況下，攝像頭采集的圖像畫面通常會存在昏暗導(dǎo)致畫面清晰度不佳的情況。針對這類低光照圖像，目前常用各種圖像增強技術(shù)進行處理，以對暗光條件下拍攝的圖像進行畫質(zhì)增強，使其變得清晰或接近于肉眼效果。

2、然而，現(xiàn)階段國內(nèi)外的圖像增強算法往往都是基于圖像整體進行增強，對于畫面中存在的局部過曝區(qū)域的處理效果并不理想。但是這種局部過曝的現(xiàn)象在夜間駕駛的場景中出現(xiàn)頻率非常高，尤其是當(dāng)車燈過亮或者正對攝像頭的時候，往往這部分區(qū)域會非常亮，此時采用基于整體增強的方案會導(dǎo)致畫面暗部和畫面亮部相互牽制，增強效果不佳。

3、有鑒于此，亟需提供一種局部過曝圖像增強方案，以便針對局部過曝圖像進行針對性的圖像增強處理，提高局部過曝圖像的圖像增強效果。

技術(shù)實現(xiàn)思路

1、為了至少解決如上所提到的一個或多個技術(shù)問題，本披露在多個方面中提出了局部過曝圖像增強方案。

2、在第一方面中，本披露提供一種用于增強局部過曝圖像的方法包括：根據(jù)局部過曝圖像生成用于區(qū)分局部過曝圖像的非過曝區(qū)域的掩膜；利用掩膜和通道注意力機制為局部過曝圖像的非過曝區(qū)域加權(quán)；以及利用生成對抗網(wǎng)絡(luò)處理加權(quán)后的局部過曝圖像，以得到非過曝區(qū)域優(yōu)先增強的增強圖像。

3、在一些實施例中，其中利用掩膜和通道注意力機制為局部過曝圖像的非過曝區(qū)域加權(quán)包括：將掩膜和局部過曝圖像合并成預(yù)分割圖像；以及將預(yù)分割圖像輸入至具有通道注意力機制的生成對抗網(wǎng)絡(luò)，以增加非過曝區(qū)域在生成對抗網(wǎng)絡(luò)中的特征通道權(quán)重。

4、在一些實施例中，其中利用生成對抗網(wǎng)絡(luò)處理加權(quán)后的局部過曝圖像包括：利用生成對抗網(wǎng)絡(luò)的生成器提取局部過曝圖像的圖像特征；基于提取的圖像特征形成重建圖像；以及利用生成對抗網(wǎng)絡(luò)的判別器判別重建圖像，直至判別器判別為真后，將重建圖像輸出為非過曝區(qū)域優(yōu)先增強的增強圖像。

5、在一些實施例中，其中利用生成對抗網(wǎng)絡(luò)的判別器判別重建圖像包括：判斷圖像損失函數(shù)是否最小化；以及響應(yīng)于圖像損失函數(shù)最小化，判別器判別為真；其中，圖像損失函數(shù)為圖片相似損失函數(shù)與生成對抗網(wǎng)絡(luò)的對抗損失函數(shù)之和。

6、在一些實施例中，其中生成對抗網(wǎng)絡(luò)包括：生成器和判別器；生成器為編碼器解碼器結(jié)構(gòu)，其依次包括：下采樣層、殘差塊、上采樣層和卷積層；判別器包括若干卷積形式的下采樣層，其中最后一層卷積層為單通道輸出，輸出值為真假布爾值。

7、在一些實施例中，其中根據(jù)局部過曝圖像生成用于區(qū)分局部過曝圖像的非過曝區(qū)域的掩膜包括：利用語義分割網(wǎng)絡(luò)處理局部過曝圖像，以生成用于區(qū)分過曝區(qū)域和非過曝區(qū)域的掩膜。

8、在一些實施例中，其中語義分割網(wǎng)絡(luò)包括：unet網(wǎng)絡(luò)，unet網(wǎng)絡(luò)包括主干特征提取子網(wǎng)絡(luò)和加強特征提取子網(wǎng)絡(luò)，其中利用語義分割網(wǎng)絡(luò)處理局部過曝圖像包括：利用主干特征提取子網(wǎng)絡(luò)從局部過曝圖像中提取若干初步有效特征層；利用加強特征提取子網(wǎng)絡(luò)對若干初步有效特征層進行上采樣和特征融合，以獲得融合了多尺度的特征的有效特征層；以及利用有效特征層對局部過曝圖像的像素點進行分類，以生成掩膜。

9、在一些實施例中，其中在根據(jù)局部過曝圖像生成用于區(qū)分局部過曝圖像的非過曝區(qū)域的掩膜之前，該方法還包括：采用有監(jiān)督的方式利用帶有標(biāo)注標(biāo)簽的樣本圖像訓(xùn)練語義分割網(wǎng)絡(luò)；和/或采用有監(jiān)督的方式指導(dǎo)生成對抗網(wǎng)絡(luò)的生成器學(xué)習(xí)生成低光照樣本圖像到充足光照樣本圖像的映射，直至生成對抗網(wǎng)絡(luò)收斂至納什平衡。

10、在第二方面中，本披露提供一種電子設(shè)備包括：處理器；以及存儲器，其存儲有可執(zhí)行的程序指令，當(dāng)程序指令由處理器執(zhí)行時，使得設(shè)備實現(xiàn)根據(jù)第一方面任意一項的方法。

11、在第三方面中，本披露提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機可讀指令，該計算機可讀指令被一個或多個處理器執(zhí)行時，實現(xiàn)如第一方面任意一項的方法。

12、通過如上所提供的用于增強局部過曝圖像的方法，本披露實施例通過掩膜將局部過曝圖像的非過曝區(qū)域區(qū)分出來，然后利用通道注意力機制為該非過曝區(qū)域加權(quán)，使得生成對抗網(wǎng)絡(luò)處理更加關(guān)注局部過曝圖的非過曝區(qū)域，從而優(yōu)先增強非過曝區(qū)域。通過上述方式，能夠避免非過曝區(qū)域的圖像增強受到過曝區(qū)域的限制，導(dǎo)致其清晰度的提升無法達到預(yù)期，進而影響局部過曝圖像整體的增強效果。

技術(shù)特征：

1.一種用于增強局部過曝圖像的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中利用所述掩膜和通道注意力機制為所述局部過曝圖像的非過曝區(qū)域加權(quán)包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中利用生成對抗網(wǎng)絡(luò)處理加權(quán)后的局部過曝圖像包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，其中利用所述生成對抗網(wǎng)絡(luò)的判別器判別所述重建圖像包括：

5.根據(jù)權(quán)利要求1-4任一項所述的方法，其特征在于，其中所述生成對抗網(wǎng)絡(luò)包括：生成器和判別器；所述生成器為編碼器解碼器結(jié)構(gòu)，其依次包括：下采樣層、殘差塊、上采樣層和卷積層；所述判別器包括若干卷積形式的下采樣層，其中最后一層卷積層為單通道輸出，輸出值為真假布爾值。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中根據(jù)局部過曝圖像生成用于區(qū)分所述局部過曝圖像的非過曝區(qū)域的掩膜包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，其中所述語義分割網(wǎng)絡(luò)包括：unet網(wǎng)絡(luò)，所述unet網(wǎng)絡(luò)包括主干特征提取子網(wǎng)絡(luò)和加強特征提取子網(wǎng)絡(luò)，其中利用語義分割網(wǎng)絡(luò)處理所述局部過曝圖像包括：

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，其中在根據(jù)局部過曝圖像生成用于區(qū)分所述局部過曝圖像的非過曝區(qū)域的掩膜之前，所述方法還包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機可讀指令，該計算機可讀指令被一個或多個處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1-8任意一項所述的方法。

技術(shù)總結(jié)
本披露公開了一種用于增強局部過曝圖像的方法、電子設(shè)備及存儲介質(zhì)。該方法包括：根據(jù)局部過曝圖像生成用于區(qū)分局部過曝圖像的非過曝區(qū)域的掩膜；利用掩膜和通道注意力機制為局部過曝圖像的非過曝區(qū)域加權(quán)；以及利用生成對抗網(wǎng)絡(luò)處理加權(quán)后的局部過曝圖像，以得到非過曝區(qū)域優(yōu)先增強的增強圖像。通過本披露實施例的方案，能夠讓生成對抗網(wǎng)絡(luò)處理更加關(guān)注局部過曝圖的非過曝區(qū)域，從而優(yōu)先增強非過曝區(qū)域，避免非過曝區(qū)域的圖像增強受到過曝區(qū)域的限制，導(dǎo)致其清晰度的提升無法達到預(yù)期，進而影響局部過曝圖像整體的增強效果。

技術(shù)研發(fā)人員：郭皓明,黃嘉鈴,李想,李威,郭崎
受保護的技術(shù)使用者：上海處理器技術(shù)創(chuàng)新中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/24