本發明涉及一種基于snn的紅外可見光圖像融合增強方法，屬于圖像增強。

背景技術：

1、隨著傳感器技術的不斷進步，圖像源呈現出多元化的趨勢。可見光，近紅外，遠紅外，雷達等不同傳感器采集的圖像具有不同的成像原理，提供真實目標的不同方面的特征信息。這些來自不同傳感器的數據具有不同的時間、空間、光譜分辨率和不同的極化方式。由于單一傳感器提供的數據量有限，難以滿足應用需求，在此種背景下，多傳感器數據融合與分析技術應運而生。在地球科學、軍事偵察、醫學圖像、計算機視覺等領域有著廣泛的應用。圖像融合是這一領域的重要分支，通過圖像融合，可以將同一場景的多個不同傳感器獲取的圖像融合成新的圖像，融合的新圖像具有更好的可理解性，較少的模糊以及更高的可信度，更適合人眼視覺，計算機檢測、分類、識別、理解等處理。

2、在多傳感器圖像采集的過程中，常需要對兩種不同類型的圖像進行融合，如中國專利申請號：cn201710050787.6公開了一種基于多尺度分析的可見光圖像與遠紅外圖像融合方法，其考慮到遠紅外圖像條紋噪聲對最終融合結果的影響，針對遠紅外圖像條紋噪聲特點，使用混合全變分多尺度分析處理可見光圖像與遠紅外圖像，在獲得子帶圖像的同時對遠紅外噪聲進行了抑制；然后根據人類視覺顯著性分布特性，對子帶圖像的融合規則進行調整，將可見光圖像與遠紅外細節圖像進行融合；最后根據實際應用對融合結果的需求，調整重建參數，獲得融合結果；上述方法能在圖像多尺度分解過程中對遠紅外圖像中的條紋噪聲進行有效抑制，并根據人類視覺顯著性特點結合可見光圖像與遠紅外圖像各自特點，提供了有效信息更豐富、圖像質量更好的融合結果；但此類圖像融合方法無法實現自適應學習，且處理過程較為復雜，效率較低；因此，為了解決以上問題，亟待提出一種基于snn的紅外可見光圖像融合增強方法。

技術實現思路

1、為解決上述問題，本發明提出了一種基于snn的紅外可見光圖像融合增強方法，能夠高效地融合紅外圖像和可見光圖像的輸入圖像特征，以生成高質量的融合圖像。

2、本發明的基于snn的紅外可見光圖像融合增強方法，包括以下步驟：

3、首先使用相關圖像傳感器設備，將時間戳對齊的紅外圖像和可見光高分辨率圖像作為輸入，送入到相應的ai計算設備，作為紅外可見光圖像融合增強神經網絡的輸入，通過事先大量訓練數據集訓練得到的網絡模型對兩幅圖像進行有效特征的細顆粒提取，給出融合增強后的效果圖。

4、進一步地，所述紅外可見光圖像融合增強神經網絡包括輸入預處理模塊、逐層卷積與脈沖神經元模塊、像素重排模塊和最終融合模塊。

5、進一步地，所述方法具體包括以下步驟：

6、第一步，采用輸入預處理模塊進行輸入預處理及下采樣，

7、給定輸入圖像和首先通過通道拼接形成初始輸入：隨后，采用雙線性插值方法將輸入下采樣至1/161/161/16的分辨率：

8、i'input＝interpolate(iinput,scale_factor＝0.0625,mode＝bilinear),

9、第二步，采用逐層卷積與脈沖神經元模塊進行特征提取，

10、逐層卷積與脈沖神經元模塊包含兩個深度可分離卷積層和一個點卷積層，用以高效提取空間信息，并通過泄漏積分脈沖神經元模擬時間動態；每個模塊的流程可描述為：

11、a、深度可分離卷積，給定輸入首先通過縱向卷積然后通過橫向卷積

12、b、脈沖神經元處理，對卷積的結果通過泄漏積分脈沖神經元：st,mt＝lif(xt,mt-1)，其中，mt表示時間步t的神經元膜電位，st表示脈沖發放，xt表示神經元接收到的輸入；

13、c、點卷積，使用1×1的點卷積將輸出通道數從cin映射至cout：y＝s*kpointwise，逐層卷積與脈沖神經元模塊的輸出結果通過殘差連接與輸入相加，以緩解梯度消失問題并增強特征表達能力：y'＝y+x；

14、第三步，特征融合與上采樣，

15、網絡包含兩個核心路徑：全局路徑和局部路徑；

16、a、全局路徑，

17、在i'input上應用一系列逐層卷積與脈沖神經元模塊和卷積操作：

18、f1＝eerm_snn(eerm_snn(eerm_snn(i'input)))，

19、隨后，通過卷積層提升通道數，并使用像素重排進行上采樣：

20、fglobal＝pixelshuffle(conv(f1))，

21、b、局部路徑，

22、在全局路徑輸出fglobal上進一步應用兩個逐層卷積與脈沖神經元模塊：

23、f2＝eerm_snn(eerm_snn(fglobal)))，

24、然后通過卷積核像素重排得到局部特征：

25、flocal＝pixelshuffle(conv(f2))；

26、c、最終融合，

27、將全局特征fglobal、局部特flocal與初始輸入拼接，并通過最終卷積生成融結果：ifused＝conv(concat(flocal,iinput))，

28、第三步，時間步迭代與多時刻融合，

29、網絡通過多次時間步迭代生成序列輸出，每一步都共享神經元狀態：

30、ifused,t＝fusion_snn(i'input)，

31、最終輸出序列通過堆疊操作stack聚合：

32、ioutput＝{ifused,t|t∈[1,t]}，其中，t為時間步的總長度。

33、與現有技術相比，本發明的基于snn的紅外可見光圖像融合增強方法，使用脈沖神經網絡模塊從訓練圖像中學習到特征參數，對特征激活函數進行自適應學習，提高模型推理時的泛化能力；結合輕量化的snn網絡結構設計，極大減少了網絡的參數量，在輸入尺寸為輸入1280*1024的情況下，6t算力設備上的推理幀率為25fps。

技術特征：

1.一種基于snn的紅外可見光圖像融合增強方法，其特征在于，包括以下步驟：首先使用圖像傳感器設備，將時間戳對齊的紅外圖像和可見光高分辨率圖像作為輸入，送入到ai計算設備，作為紅外可見光圖像融合增強神經網絡的輸入，通過事先大量訓練數據集訓練得到的網絡模型對兩幅圖像進行有效特征的細顆粒提取，給出融合增強后的效果圖。

2.根據權利要求1所述的基于snn的紅外可見光圖像融合增強方法，其特征在于，所述紅外可見光圖像融合增強神經網絡包括輸入預處理模塊、逐層卷積與脈沖神經元模塊、像素重排模塊和最終融合模塊。

3.根據權利要求1所述的基于snn的紅外可見光圖像融合增強方法，其特征在于，所述方法具體包括以下步驟：

技術總結
本發明公開了一種基于SNN的紅外可見光圖像融合增強方法，屬于圖像增強技術領域；包括以下步驟：首先使用相關圖像傳感器設備，將時間戳對齊的紅外圖像和可見光高分辨率圖像作為輸入，送入到相應的AI計算設備，作為紅外可見光圖像融合增強神經網絡的輸入，通過事先大量訓練數據集訓練得到的網絡模型對兩幅圖像進行有效特征的細顆粒提取，給出融合增強后的效果圖；本發明的基于SNN的紅外可見光圖像融合增強方法，能夠高效地融合紅外圖像和可見光圖像的輸入圖像特征，以生成高質量的融合圖像。

技術研發人員：王偉明,萬永松,劉先紅,白雪飛,周斌,孫晨昭,徐暢
受保護的技術使用者：雄安創新研究院
技術研發日：
技術公布日：2025/4/28