本發明涉及圖像優化領域，更具體地說，它涉及一種基于深度特征提取的圖像無損融合方法及系統。

背景技術：

1、隨著計算機視覺和深度學習的迅速發展，圖像融合技術在多個領域得到了廣泛應用，如醫學成像、遙感、安防監控和自動駕駛等。

2、傳統的圖像融合方法通常依賴于手工設計的特征提取和融合策略，難以適應復雜多變的動態場景，尤其是圖像類型是紅外圖像和可見光圖像，紅外圖像的溫感特征與可見光紋理特征的互斥性，造成因傳感器模態沖突而產生因環境干擾導致的信任危機，使融合后的圖像無法快速達到最優狀態。

技術實現思路

1、本發明提供一種基于深度特征提取的圖像無損融合方法及系統，解決相關技術中的技術問題。

2、本發明提供了一種基于深度特征提取的圖像無損融合方法，包括以下步驟：

3、s100，輸入數據準備：收集來自不同傳感器的多模態輸入數據，對多模態輸入數據中的每種模態進行預處理，多模態輸入數據包括可見光圖像、紅外圖像、深度圖；

4、s200，生物啟發特征提取：使用多層脈沖神經元網絡用于模擬生物神經元的脈沖發放特性，對多模態輸入數據進行時序特征提取，捕捉不同層次的特征表示；

5、s300，動態權重調整機制：引入自適應權重調整機制，根據傳感器模態在特定環境下的性能動態調整權重；

6、s400，模態沖突檢測：實施模態沖突檢測算法，識別不同傳感器模態之間的沖突，并使用算法分析模態輸出的一致性，判斷是否存在沖突；

7、s500，特征融合：應用改進的融合策略，在融合過程中，使用動態權重分配和置信度加權融合，使重要模態對最終結果的影響最大化；

8、s600，輸出生成：將壓縮特征解碼為初步圖像數據，利用脈沖時序信息重建圖像，并進行細節增強和顏色校正后，輸出最終圖像。

9、進一步地，多層脈沖神經元網絡包括l1層和l2層，l1層用于視網膜雙極細胞模擬，l2層用于神經節細胞模擬。

10、進一步地，在l1層中，膜電位方程如下：

11、；

12、其中表示脈沖特征輸出，表示短時記憶常數，=10ms，表示邊緣檢測卷積核，，表示l1層中神經元的膜電位，表示l1層中膜電位隨時間的變化率，表示卷積操作；

13、脈沖發放條件：

14、；

15、其中表示高靈敏度閾值，，表示l1層在時間t時刻的脈沖輸出，表示l1層在時間t時刻的膜電位；

16、在l2層中，動態突觸方程如下：

17、；

18、其中表示突觸衰減常數，=30ms，其中表示脈沖響應強度，=0.8，表示l2層的突觸電流，表示接收到的脈沖數量，表示第k個脈沖的時間戳，表示當前時間；

19、特征輸出如下：

20、；

21、其中表示l2層的特征輸出，表示l2層在時間t時刻的突觸電流。

22、進一步地，在s200中，對多模態輸入數據進行時序特征提取中，需通過stdp權重調整，其權重更新規則如下：

23、；

24、；

25、其中，其中表示學習率，=20ms，其中表示時間相關窗口，其中表示脈沖時序差，表示權重變化量，表示前神經元i的脈沖輸出，表示后神經元j的脈沖輸出，表示前神經元i的脈沖時間，表示后神經元j的脈沖時間；

26、約束條件：

27、；

28、其中表示權重上限，=2.5，表示神經元i和j之間的連接權重，表示將權重限制在指定范圍內的操作。

29、進一步地，在s200中，利用脈沖密度門控機制，其脈沖密度的計算公式如下：

30、；

31、；

32、其中表示調節系數，=1.5，表示基準密度，=0.6，表示sigmoid函數，表示時間窗口長度，=8，表示總神經元數，，表示動態融合權重，表示l1層第n個神經元在時間t的脈沖輸出，表示l1層的脈沖密度；

33、；

34、其中表示融合后的特征，表示l1層的特征輸出；表示l2層的特征輸出；

35、通過下采樣脈沖池化：

36、；

37、其中表示金字塔層級，，其中表示尺度衰減系數，，表示第l層下采樣后的特征，表示最大池化操作，表示池化核大小；

38、通過上采樣特征拼接：

39、；

40、其中表示通道拼接操作，表示特征金字塔輸出，表示上采樣操作，表示上采樣的比例因子。

41、進一步地，在s300中，具體包括以下步驟：

42、s310，傳感器輸出置信度監測：根據每個傳感器模態的輸出，計算其置信度；

43、s320，權重初始分配：根據傳感器性能的歷史數據，為每個模態分配初始權重；

44、s330，動態權重更新：基于傳感器輸出置信度實時更新權重；

45、s340，生物啟發的反饋調節機制：引入基于沖突檢測的反饋調節，以優化權重振蕩問題。

46、進一步地，在s400中，模態沖突檢測算法的計算公式如下：

47、沖突判定條件：

48、；

49、其中表示權重差異閾值，=0.4，為第j個神經元在時間t的權重，為第i個神經元在時間t的權重，表示沖突判定結果；

50、構建脈沖門控函數：

51、；

52、其中表示第i個神經元的脈沖密度，其中表示第j個神經元的脈沖密度，表示防除零常數，表示沖突調節系數。

53、進一步地，在s500中，動態權重分配的計算公式如下：

54、；

55、

56、其中表示修正后的動態權重，表示神經元的總數；

57、置信度加權融合的計算公式如下：

58、；

59、；

60、其中表示對特征的增強函數，表示可學習卷積核，，表示偏置項，，表示融合后特征，其中表示注意力加權；

61、；

62、其中表示仿射變換網絡，表示stdp中學習得到的參數，表示第i個神經元的脈沖特征輸出，，表示對齊后的第i個神經元的特征輸出。

63、進一步地，在s600中，編碼網絡的計算公式如下：

64、；

65、其中表示反卷積核，，其中=3對應rgb通道，表示解碼偏置項，，表示relu函數，表示解碼后的特征，表示最終輸出的壓縮特征，表示卷積操作；

66、對圖像重建的計算公式如下：

67、；

68、；

69、其中表示時間衰減函數，表示衰減時長，=25ms，表示重建時間步長，=15，表示重建后的圖像；

70、細節增強的計算公式如下：

71、；

72、其中表示拉普拉斯銳化核，表示增強強度，=0.3，表示增強后的圖像；

73、顏色校正的計算公式如下：

74、；

75、其中表示顏色校正矩陣，，表示顏色校正后的圖像；

76、最終圖像的計算公式如下：

77、；

78、其中表示最終輸出的圖像。

79、本發明還提出一種基于深度特征提取的圖像無損融合系統，執行前述的一種基于深度特征提取的圖像無損融合方法中的步驟，包括：

80、多模態采集與預處理模塊：收集來自不同傳感器的多模態輸入數據，對多模態輸入數據中的每種模態進行預處理；

81、生物脈沖特征編碼模塊：分層脈沖神經元網絡實現視網膜仿生編碼，提取多尺度時空特征金字塔，構建脈沖密度門控的跨層特征關聯；

82、動態權重優化模塊：引入自適應權重調整機制，根據傳感器模態在特定環境下的性能動態調整權重；

83、模態沖突檢測模塊：實施模態沖突檢測算法，識別不同傳感器模態之間的沖突，并使用算法分析模態輸出的一致性，判斷是否存在沖突；

84、跨模態融合決策模塊：應用改進的融合策略，在融合過程中，使用動態權重分配和置信度加權融合，使重要模態對最終結果的影響最大化；

85、脈沖逆映射重建模塊：將壓縮特征解碼為初步圖像數據，利用脈沖時序信息重建圖像，并進行細節增強和顏色校正后，輸出最終圖像。

86、本發明的有益效果在于：

87、本發明通過snn算法進行深度特征提取進行圖像融合，能夠有效解決傳統方法在處理紅外與可見光圖像時面臨的特征互斥和模態沖突問題，可從具象圖像轉換為抽象特征，再將抽象特征轉換到融合圖像的端到端轉換流程，滿足動態場景下的實時性與保真度需求，提升融合圖像的質量和可靠性，確保在動態復雜場景中快速達到最佳效果。