本發(fā)明屬于計算機視覺，涉及圖像處理技術(shù)，具體涉及一種基于狀態(tài)空間模型的低光圖像增強方法。

背景技術(shù)：

1、低光圖像增強技術(shù)是指通過特定算法將低光照條件下拍攝的圖像進行處理，提升其亮度、對比度和細(xì)節(jié)表現(xiàn)，從而生成與之對應(yīng)的清晰高質(zhì)量圖像。在低光環(huán)境中，圖像通常會因為光線不足而出現(xiàn)噪點增多、顏色失真以及細(xì)節(jié)模糊等問題，因此有效的低光圖像增強對于提高圖像質(zhì)量具有重要意義。這一技術(shù)在現(xiàn)實生活中具有廣泛應(yīng)用，例如在視頻監(jiān)控中，低光圖像增強可以幫助更好地識別人臉和車牌，從而提升監(jiān)控系統(tǒng)的準(zhǔn)確性和可靠性。然而，傳統(tǒng)的低光圖像增強方法雖然在一定程度上改善了圖像質(zhì)量，但往往伴隨著計算復(fù)雜度和資源消耗的增加，限制了其在實際應(yīng)用中的推廣。因此，如何在保持模型輕量化的同時，提升低光圖像的增強效果，成為了研究中的關(guān)鍵挑戰(zhàn)。

2、目前，低光圖像增強的方法主要分為三類：基于直方圖均衡化的方法、基于圖像復(fù)原的方法以及基于深度學(xué)習(xí)的方法。早期的方法主要依賴于直方圖均衡化，通過調(diào)整圖像像素的分布來增強對比度，這類方法計算簡單，易于實現(xiàn)，但在處理復(fù)雜光照環(huán)境下的圖像時往往表現(xiàn)不足，可能導(dǎo)致細(xì)節(jié)丟失或噪點增多。隨后，基于圖像復(fù)原的方法得到了發(fā)展，這類方法通常通過構(gòu)建圖像的退化模型，并結(jié)合圖像的先驗知識進行約束，從而生成增強的圖像。相比之下，基于深度學(xué)習(xí)的方法通過學(xué)習(xí)從大量數(shù)據(jù)中提取的先驗知識，以更智能的方式增強低光圖像。

3、隨著深度學(xué)習(xí)的發(fā)展，出現(xiàn)了多種基于深度學(xué)習(xí)的低光圖像增強算法。最近，cnn和基于transformer的方法在該領(lǐng)域占據(jù)主導(dǎo)地位，取得了顯著的成績。然而，cnn受到其接受域和權(quán)重共享策略的限制，導(dǎo)致局部減少偏差，并使其對不一致的全局光分布的適應(yīng)性較差。另一方面，基于transformer的方法通過一種自注意機制實現(xiàn)全局感知和建模遠程依賴關(guān)系，能夠更準(zhǔn)確地恢復(fù)弱光圖像中的細(xì)節(jié)和結(jié)構(gòu)。然而，基于變壓器的模型計算復(fù)雜度較高，在實際應(yīng)用中可能導(dǎo)致推理速度慢，資源消耗大。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提出一種基于狀態(tài)空間模型的低光圖像增強方法。該方法可以在保持線性時間復(fù)雜度的同時帶來更大的接受域，恢復(fù)出更多的細(xì)節(jié)特征，緩解了現(xiàn)有低光圖像增強方法無法實現(xiàn)模型性能和大小之間的平衡的問題。

2、為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

3、一種基于狀態(tài)空間模型的低光圖像增強方法包括以下步驟：

4、步驟1：對低光圖像進行預(yù)處理，引入場景光照強度來改善光的結(jié)構(gòu)分布得到光照強度增強的圖片；

5、步驟2：構(gòu)建基于狀態(tài)空間模型的低光圖像增強網(wǎng)絡(luò)，將預(yù)處理好的數(shù)據(jù)輸入到網(wǎng)絡(luò)中；

6、步驟3：采用訓(xùn)練損失函數(shù)進行訓(xùn)練，得到最終的訓(xùn)練好的低光圖像重建網(wǎng)絡(luò)模型；

7、步驟4：加載上述低光圖像重建網(wǎng)絡(luò)模型，將所需要低光的圖片輸入到低光圖像重建網(wǎng)絡(luò)模型中，得到低光圖像所對應(yīng)的高光圖像。

8、進一步的，步驟1具體包括：

9、步驟1.1：使用均值濾波來獲得場景光照強度的先驗，具體的公式如下所示：

10、

11、其中i代表原始輸入；p代表場景光照先驗；代表均值濾波。

12、步驟1.2：對p使用3×3深度卷積和1×1卷積來學(xué)習(xí)有用的特征。然后將這些特征與原始的輸入逐元素相乘得到光照強度增強的圖像，具體的公式如下所示：

13、b＝wdwp(p)⊙i????????????????(2)

14、其中b代表增強后的圖像；⊙代表逐元素相乘；wd和wp分別表示3×3深度卷積和1×1卷積。

15、進一步的，步驟2具體包括：

16、步驟2.1：首先用3×3卷積對輸入b進行淺層特征提取，具體的公式如下所示：

17、fb＝f3×3(b)????????????????(3)

18、其中fb代表經(jīng)過3×3卷積提取到的淺層特征；f3×3(·)表示的是3×3卷積。

19、步驟2.2：將步驟2.1經(jīng)過淺層特征提取得到的結(jié)果輸入到四級對稱的編碼解碼器中，編碼解碼器的結(jié)構(gòu)是包含局部增強狀態(tài)空間模型、通道注意力和雙門控前饋網(wǎng)絡(luò)的全局光照增強曼巴模塊。

20、步驟2.3：全局光照增強曼巴模塊中，淺層特征將會首先進入到局部增強狀態(tài)空間模型(locally?enhanced?state?space?model)中，局部增強狀態(tài)空間模型采用了雙分支結(jié)構(gòu)來進行特征提取，其具體公式如下所示：

21、flessm＝lessm(ln(fb))+fb????????(4)

22、其中flessm代表經(jīng)過局部增強狀態(tài)空間模型提取到的特征，ln表示的是layernorm歸一化方法，lessm表示的是局部增強狀態(tài)空間模型過程。

23、進一步的，步驟2.3中l(wèi)essm具體過程包括：

24、步驟2.3.1：首先，將原始輸入全局光照增強曼巴模塊的特征淺層特征視為x，將x拆分為兩個輸入xlocal和xssm，公式如下：

25、xlocal,xssm＝split(x)????????????(5)

26、步驟2.3.2：將這兩個輸入分別饋送到局部增強分支(local?enhanced)和ssm分支。在局部增強分支中，使用卷積和激活函數(shù)來提取局部特征并增強特征表示，公式如下：

27、x′local＝conv(relu(bn(xlocal)))???????????(6)

28、其中bn代表batch?normalization歸一化過程，x′local表示的是經(jīng)過localenhanced分支的特征。

29、步驟2.3.3：在ssm分支中xssm分為4個分支。其中兩個分支分別通過forwardssm和backwardssm捕獲全局特征，而其余兩個分支則通過silu激活函數(shù)。將forwardssm和backwardssm的分支乘以silu，然后進行連接。ssm分支中的操作公式如下:

30、x1,x2,x3,x4＝split(xssm)?????????????(7)

31、

32、其中fssm表示正向forwardssm,bssm表示backwardssm，為矩陣乘法，表示級聯(lián)操作

33、步驟2.3.4：合并局部增強分支和ssm分支，得到局部增強狀態(tài)空間模型的輸出z，公式如下：

34、

35、步驟2.3.5：最后將原始輸入x和z相加得到經(jīng)過lessm的特征flessm。

36、步驟2.4：將以上得到的結(jié)果flessm經(jīng)過ln之后送入到通道注意力中，公式如下：

37、fca＝ca(ln(flessm))+flessm????????(10)

38、其中，ca表示的是通道注意力過程。

39、進一步的，步驟2.4中ca具體過程包括：

40、步驟2.4.1：通道注意力采用平均池化，兩個二維卷積以及relu激活函數(shù)和sigmoid激活函數(shù)進行特征提取，得到輸出結(jié)果fc，公式如下：

41、fc＝sigmod(conv2d(relu(conv2d(avepool(ln(flessm))))))?(11)

42、步驟2.4.2：將原始輸入flessm和fc相加得到經(jīng)過通道注意力的特征fca。

43、步驟2.5：其次將fca經(jīng)過ln之后送入到雙門控前饋網(wǎng)絡(luò)中得到輸出結(jié)果fdgfn，其具體的公式如下所示：

44、fdgfn＝dgfn(ln(fca))+fca????????(12)

45、其中dgfn表示的是雙門控前饋網(wǎng)絡(luò)過程。

46、步驟2.6：經(jīng)過四級對稱的編碼解碼之后最后送入到一個3×3的卷積當(dāng)中，從而得到最終的重建出來的高光圖像，并且保存訓(xùn)練模型和評價指標(biāo)。

47、進一步的，所述步驟3具體包括：

48、在整個網(wǎng)絡(luò)訓(xùn)練過程中，本發(fā)明僅采用了l1作為損失函數(shù)。具體來說，對于給定成對的訓(xùn)練數(shù)據(jù)l1損失函數(shù)公式可如下表示：

49、

50、其中，表示的是本發(fā)明所提網(wǎng)絡(luò)的參數(shù)設(shè)置，表示的是最終重建高光圖像，n表示的是用來訓(xùn)練圖片的數(shù)量。

51、進一步，所述步驟4具體包括：

52、加載步驟3中訓(xùn)練好的模型model_best，將低光圖像輸入到模型中，并輸出重建的高光圖像以及相應(yīng)的評價指標(biāo)。

53、本發(fā)明的有益效果包括：

54、通過引入場景光照強度先驗并進行預(yù)處理，能夠改善光的結(jié)構(gòu)分布，使得后續(xù)增強處理基礎(chǔ)較好；預(yù)處理步驟提升了圖像的整體亮度，保留了更多的細(xì)節(jié)信息，為后續(xù)的特征提取和重建工作提供了有利條件。構(gòu)建的低光圖像增強網(wǎng)絡(luò)，采用了四級對稱的編碼解碼器結(jié)構(gòu)，并融入了局部增強狀態(tài)空間模型、通道注意力和雙門控前饋網(wǎng)絡(luò)等模塊，增強了網(wǎng)絡(luò)的特征提取能力，提高了模型的泛化性能，使得網(wǎng)絡(luò)能夠更好地適應(yīng)不同場景下的低光圖像增強需求。

55、本發(fā)明集成了狀態(tài)空間模型的特點，可以在保持線性復(fù)雜度的條件下有效地提取圖像的局部以及全局信息，并且在其中引入通道注意力從而激活更多的像素，能夠在保持較低水平的計算量同時提取更多的特征。相比于以往的低光圖像增強方法，本發(fā)明能夠在較低的參數(shù)量以及計算量情況下得到增強效果明顯的高光圖。