本發明屬于計算機視覺領域，涉及圖像處理技術，具體涉及一種基于最大期望算法和局部建模的圖像去雨重建方法。

背景技術：

1、圖像去雨技術是一種旨在消除圖像中因下雨或雨滴遮擋而產生的噪聲和干擾，提升圖像質量的圖像處理方法。在雨天拍攝的圖像中，雨滴或雨絲可能會對視覺質量造成顯著影響，導致物體邊緣模糊、背景細節丟失以及整體視覺噪聲增加。因此，圖像去雨技術在確保圖像清晰度和細節表現方面具有重要作用，尤其在監控、自動駕駛、視覺導航等領域，能夠幫助系統在惡劣天氣條件下保持對環境的準確感知。圖像去雨技術的挑戰主要來源于雨滴和背景之間的復雜關系。雨滴或雨絲在圖像中往往呈現出隨機分布，且其形態、透明度和光照變化等因素使得雨滴與背景的分離難度加大。因此，如何有效去除雨滴，同時保留圖像的背景信息和細節，是圖像去雨領域的研究重點。

2、當前的圖像去雨方法主要可以分為三類：基于傳統圖像處理的方法、基于物理模型的方法以及基于深度學習的方法。

3、基于傳統圖像處理的方法：這些方法主要依賴于圖像的濾波技術，通過對圖像進行空間域或頻率域的處理，嘗試去除雨滴噪聲。例如，使用中值濾波、導向濾波或雙邊濾波可以消除部分雨滴。然而，這類方法往往在復雜場景下表現不足，可能會導致細節丟失或圖像過度平滑。

4、基于物理模型的方法：這些方法通過對雨滴的物理特性進行建模，描述雨滴的運動軌跡、形態以及對圖像亮度的影響。雨滴在圖像中的表現可以視為一種前景遮擋，物理模型方法嘗試通過分離前景(雨滴)與背景的方式，恢復原始圖像。然而，這類方法對雨滴的物理特性假設較強，在實際應用中受限于環境條件的復雜性。

5、基于深度學習的方法：隨著深度學習的迅速發展，基于卷積神經網絡(cnn)和生成對抗網絡(gan)等方法的圖像去雨技術取得了顯著進展。深度學習方法通過大規模訓練數據學習雨滴的特征，并結合自適應的網絡結構來去除雨滴，同時保留背景細節。例如，去雨網絡(derainnet)通過端到端的方式學習去除雨滴的任務，取得了比傳統方法更好的效果。最近，基于transformer的模型也開始應用于圖像去雨任務，它們通過自注意力機制捕捉圖像中的長距離依賴關系，有效處理復雜雨滴場景并恢復更多細節。然而，盡管這些方法在性能上取得了成功，但它們的計算復雜度較高，訓練和推理過程中資源消耗大，限制了它們在實際應用中的推廣。

技術實現思路

1、為解決現有基于深度學習的方法計算復雜度高、資源消耗大的問題，本發明提出了一種基于最大期望算法和局部建模的圖像去雨重建方法，該方法能夠在較低的參數量和計算量下，有效去除圖像中的雨線，恢復出清晰的背景圖像。

2、為實現上述目的，本發明的技術方案為：

3、一種基于最大期望算法和局部建模的圖像去雨重建方法，包括以下步驟：

4、步驟1：對有雨圖像進行淺層特征提取，捕獲圖片的淺層基礎信息；

5、步驟2：將捕獲的圖片的淺層基礎信息輸入到構建的基于最大期望算法和局部建模的圖像去雨網絡中；

6、步驟3：采用ssim作為訓練損失函數對圖像去雨網絡進行訓練，得到最終的訓練好的去雨重建網絡模型；

7、步驟4：加載上述去雨重建網絡模型，將所需要有雨的圖片輸入到去雨重建網絡模型中，得到有雨圖像所對應的無雨圖像。

8、進一步的，步驟1具體包括：

9、給定一張被雨水干擾的圖像，首先使用一個3×3的卷積層進行淺層特征提取，以捕獲圖像的基礎信息，具體的公式如下所示：

10、fb＝f3×3(i)????????????????????(1)

11、其中fb代表經過3×3的卷積層提取到的淺層特征；f3×3(·)表示的是3×3卷積；i代表的是輸入的被雨水干擾的低分辨率圖像。

12、進一步的，步驟2具體包括：

13、步驟2.1：將步驟1經過淺層特征提取得到的結果輸入到四級對稱的編碼解碼器中進行深層特征提取，編碼解碼器的結構是包含最優迭代注意力機制和最優迭代前饋神經網絡，其具體公式如下所示：

14、f′b＝fb+fioab(ln(fb))??????????????(2)

15、fm＝f′b+fiofn(ln(f′b))???????????????(3)

16、其中：f'b代表經過最優迭代注意力機制提取到的特征，ln表示的是layernorm歸一化方法，fioab表示的是最優迭代注意力過程，fm代表經過最優迭代前饋神經網絡提取到的特征，fiofn表示的是最優迭代前饋神經網絡過程。

17、進一步的，步驟2.1中的具體過程包括：

18、步驟2.1.1：根據公式(2)，給定一個輸入張量fz,，fioab過程具體公式如下所示：

19、fz＝ln(fb)????????????????????????(4)

20、

21、式中dt為最優迭代注意的注意權分布，t表示最大期望算法操作的迭代次數，λ表示超參數，v表示注意力機制中的值；

22、步驟2.1.2：根據公式(3)，給定一個輸入張量fk，fiofn過程具體公式如下所示：

23、fk＝ln(f′b)??????????????????????(6)

24、

25、其中⊙表示元素乘法，g(t)表示最優迭代過程數值；wd表示1×1卷積；wp示3×3深度卷積。

26、步驟2.2：為進一步提升模型的局部信息建模能力，引入局部建模殘差塊，通過整合兩個局部模型塊及一系列卷積和激活函數，協同促進局部特征提取，提高細節再現。給定一個輸入張量fl，其具體公式如下所示：

27、f′l＝fl+flmb(relu(conv(fl)))???????(8)

28、fu＝f′l+flmb(relu(conv(f′l)))???????(9)

29、其中f'l表示局部建模殘差塊的中間特征；fu表示局部建模殘差塊的輸出；conv(·)表示1×1卷積函數；relu(·)表示relu激活函數；flmb表示局部模型塊。

30、局部模型塊是局部建模殘差塊的關鍵組件。根據公式9，給定一個輸入張量fi，局部模型塊具體公式如下所示：

31、fi＝relu(conv(fl))?????????????(10)

32、f′i＝fi+sigmoid((avepool(ln(avepool(fi)))))??????????????(11)

33、其中sigmoid(·)表示sigmoid運算；f'i表示局部模型塊的輸出特征；avepool(·)代表平均池化操作。

34、步驟2.3：圖像重建，將深層特征提取和局部建模殘差塊提取到的特征送入圖像重建模塊，使用3×3卷積層進行上采樣，并加上原始輸入圖像，生成最終的清晰背景圖像。

35、進一步的，所述步驟3具體為：

36、在整個網絡訓練過程中，本發明采用了ssim作為訓練損失函數。具體來說，對于給定成對的訓練數據x和y，ssim訓練損失函數公式可如下表示：

37、

38、其中，μx和μy表示的是x和y的均值，σx和σy表示的是x和y的方差，σxy表示的x和y的協方差；c1表示防止被零除的常數為6.5；c2表示防止被零除的常數為58.5。

39、進一步，所述步驟4具體包括：

40、加載步驟3中訓練好的模型model_best，將有雨圖像輸入到模型中，并輸出重建的無雨圖像以及相應的評價指標。

41、本發明的有益效果包括：

42、該方法通過淺層特征提取、深層特征提取(包含最優迭代注意力機制和最優迭代前饋神經網絡)、局部建模殘差塊以及圖像重建等步驟，能夠高效地去除圖像中的雨線，并恢復出清晰的背景圖像；引入局部建模殘差塊，通過整合兩個局部模型塊及一系列卷積和激活函數，協同促進局部特征提取，提高了細節再現能力，使得重建的圖像在細節上更加清晰和準確；在整個網絡訓練過程中，采用結構相似性(ssim)作為訓練損失函數，有助于提升重建圖像與原始無雨圖像之間的結構相似性，從而獲得更好的視覺效果。

43、綜上，本發明集成了最大期望算法與局部建模技術，能夠在保持較低復雜度的同時有效提取圖像的局部和全局信息。通過最大期望算法，逐步優化網絡參數，激活更多像素，在保持較低計算量的前提下提取更多特征。與傳統的去雨方法相比，本發明在減少參數量和計算量的情況下，顯著提高了圖像的去雨效果，使去雨后的圖像更加清晰、細節更豐富。