本技術涉及目標檢測及跟蹤的，特別是涉及一種基于critic權重的紅外和可見光圖像的融合方法及系統。

背景技術：

1、紅外光和可見光信號來源于不同的模態，從而從不同方面提供場景信息。可見光圖像捕獲反射光，而紅外圖像捕獲熱輻射；紅外和可見光圖像呈現出幾乎所有物體所固有的特征；可見光圖像通常具有高空間分辨率和相當多的細節和明暗對比，可見光圖像很容易受到惡劣條件的影響，例如照明不足、霧和其他惡劣天氣的影響；紅外圖像可以抵抗這些干擾，但通常分辨率低且紋理較差。因此，由于所利用圖像的普遍性和互補性，可見光和紅外圖像的融合技術可以比其他融合方案用于更多的領域。

2、如中國專利cn116309211a所示，公開了一種聚焦于多模態圖像固有特性的紅外與可見光圖像融合方法；所述方法包括獲取目標圖像的紅外圖像和可見光圖像；將目標圖像的紅外圖像和可見光圖像輸入特征提取器中，提取出紅外圖像的特征圖和可見光圖像的特征圖；將紅外圖像的特征圖和可見光圖像的特征圖使用基于紅外與可見光圖像融合特點改進的通道注意力模塊處理，采用全局梯度方式得到通道注意力的初始權重。紅外圖像的特征和可見光圖像的特征會送到特征判別器加強提取的特征對固定模態信息的表達能力；紅外圖像的最終特征和可見光圖像的最終特征輸入到重構網絡中，生成目標圖像的圖像融合圖像。本發明能夠更好的關注于紅外和可見光圖像的細節信息；生成的融合圖像細節豐富且符合人類的視覺感知。

3、然而，在圖像融合的過程中，不同時刻的圖像對應的特征是在時刻變化的，融合圖像的過程也是在時刻變化的，通過固定的權重系數對基于每一幀的圖像對應的進行融合導致融合圖像的質量不夠穩定。

技術實現思路

1、1.要解決的問題

2、基于此，有必要針對上述技術問題，提供一種能夠基于不同時刻對應的融合圖像進行變化的基于critic權重的紅外和可見光圖像的融合方法及系統。

3、2.技術方案

4、第一方面，本技術提供了一種基于critic權重的紅外和可見光圖像的融合方法。方法包括：

5、對輸入的可見光圖像和紅外圖像分解為可見光特征圖、可見光原始圖、紅外特征圖和紅外原始圖；

6、基于可見光原始圖和可見光特征圖分別計算對應的變權重系數；

7、基于變權重系數對可見光原始圖和紅外原始圖進行融合并獲取可見光融合圖；

8、基于變權重系數對可見特征圖和紅外特征圖進行融合并獲取紅外融合圖；

9、將可見光融合圖和紅外融合圖進行融合獲取最終融合圖。

10、在其中一個實施例中，基于可見光原始圖和可見光特征圖分別計算對應的變權重系數包括：

11、基于實時評估狀態和評估指標構建態勢評估矩陣；

12、規范化所述態勢評估矩陣；

13、計算所述評估指標之間的綜合信息量；

14、基于所述綜合信息量確定評估指標之間的常權重向量；

15、基于狀態變權重向量和常權重向量逐元素相乘獲取變權重向量；

16、基于綜合信息量構建均衡函數并求解獲取對應評估指標的變權重系數。

17、在其中一個實施例中，基于實時評估狀態和評估指標構建態勢評估矩陣包括：

18、獲取預設時刻的實時評估狀態并構成實時評估狀態信息集；

19、獲取預設數量的評估指標并構成指標集；

20、基于實時評估狀態信息集和指標集構建態勢評估矩陣。

21、在其中一個實施例中，規范化所述態勢評估矩陣包括：

22、當所述評估指標為效益指標時，公式如下：

23、；

24、其中，為第個時刻對應的第項指標的規范化評估矩陣，為第個時刻對應的第項指標值，為第個時刻對應的第項指標值的最小值，為第個時刻對應的第項指標值的最大值；

25、當所述評估指標為成本型指標時，公式如下：

26、；

27、其中，為第個時刻對應的第項指標的規范化評估矩陣，為第個時刻對應的第項指標值，為第個時刻對應的第項指標值的最小值，為第個時刻對應的第項指標值的最大值；

28、當所述評估指標為固定型指標時，公式如下：

29、；

30、其中，為第個時刻對應的第項指標的規范化評估矩陣，為第個時刻對應的第項指標值，為固定型指標的最佳取值。

31、在其中一個實施例中，計算所述評估指標之間的綜合信息量包括：

32、基于相關系數和標準差計算綜合信息量，公式如下：

33、；

34、其中，為第項指標的綜合信息量，為第項指標的標準差，為第項指標的相關系數；

35、標準差的公式如下：

36、；

37、其中，為第項指標的標準差，為第個時刻對應的第項指標的規范化評估矩陣，為第項指標的平均值；

38、相關系數的公式如下：

39、；

40、其中，為第項指標的相關系數，為第項指標和第項指標的協方差，為第項指標的標準差，為第項指標的標準差。

41、在其中一個實施例中，基于綜合信息量構建均衡函數并求解獲取對應評估指標的變權重系數包括：

42、基于綜合信息量構建均衡函數并通過均衡函數求導計算狀態變權重向量，公式如下：

43、；

44、其中，為第項指標的狀態變權重向量，為態勢評估指標的均衡函數，為第項指標的評估指標變權重；

45、均衡函數公式如下：

46、；

47、其中，為第項指標的均衡函數，為第項指標的變權重因子，為第項指標的評估指標變權重；

48、各指標的狀態變權重向量，公式如下：

49、；

50、其中，為第項指標的狀態變權重向量，為態勢評估指標的均衡函數，為第項指標的評估指標變權重，為第項指標的變權重因子。

51、第二方面，本技術還提供了一種基于critic權重的紅外和可見光圖像的融合系統。系統包括：

52、特征原始圖像分解模塊，用于對輸入的可見光圖像和紅外圖像分解為可見光特征圖、可見光原始圖、紅外特征圖和紅外原始圖；

53、變權重系數計算模塊，用于基于可見光原始圖和可見光特征圖分別計算對應的變權重系數；

54、紅外可見光原始圖融合模塊，用于基于變權重系數對可見光原始圖和紅外原始圖進行融合并獲取可見光融合圖；

55、紅外可見光特征圖融合模塊，用于基于變權重系數對可見特征圖和紅外特征圖進行融合并獲取紅外融合圖；

56、可見光紅外光融合圖融合模塊，用于將可見光融合圖和紅外融合圖進行融合獲取最終融合圖。

57、第三方面，本技術還提供了一種計算機設備。計算機設備包括存儲器和處理器，存儲器存儲有計算機程序，處理器執行計算機程序時實現以下步驟：

58、對輸入的可見光圖像和紅外圖像分解為可見光特征圖、可見光原始圖、紅外特征圖和紅外原始圖；

59、基于可見光原始圖和可見光特征圖分別計算對應的變權重系數；

60、基于變權重系數對可見光原始圖和紅外原始圖進行融合并獲取可見光融合圖；

61、基于變權重系數對可見特征圖和紅外特征圖進行融合并獲取紅外融合圖；

62、將可見光融合圖和紅外融合圖進行融合獲取最終融合圖。

63、第四方面，本技術還提供了一種計算機可讀存儲介質。計算機可讀存儲介質，其上存儲有計算機程序，計算機程序被處理器執行時實現以下步驟：

64、對輸入的可見光圖像和紅外圖像分解為可見光特征圖、可見光原始圖、紅外特征圖和紅外原始圖；

65、基于可見光原始圖和可見光特征圖分別計算對應的變權重系數；

66、基于變權重系數對可見光原始圖和紅外原始圖進行融合并獲取可見光融合圖；

67、基于變權重系數對可見特征圖和紅外特征圖進行融合并獲取紅外融合圖；

68、將可見光融合圖和紅外融合圖進行融合獲取最終融合圖。

69、第五方面，本技術還提供了一種計算機程序產品。計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現以下步驟：

70、對輸入的可見光圖像和紅外圖像分解為可見光特征圖、可見光原始圖、紅外特征圖和紅外原始圖；

71、基于可見光原始圖和可見光特征圖分別計算對應的變權重系數；

72、基于變權重系數對可見光原始圖和紅外原始圖進行融合并獲取可見光融合圖；

73、基于變權重系數對可見特征圖和紅外特征圖進行融合并獲取紅外融合圖；

74、將可見光融合圖和紅外融合圖進行融合獲取最終融合圖。

75、3.有益效果

76、本技術采用上述方法，通過高斯濾波器對獲取的可見光和紅外光圖像進行分解獲取特征圖和原始圖，對可見光原始圖和特征圖分別計算變權重系數，通過不同時刻對應匹配變化的變權重系數并分別將可見光和紅外光的特征圖融合，將可見光和紅外光的原始圖進行融合，最后再將融合后的特征圖和原始圖進行融合，最終獲得融合圖像，在不同時刻，尤其是光線過亮或者過暗的時候，通過變權重系數匹配當前最能體現融合圖片特征的權重進行融合，從而提升了融合圖像的融合效果。