本發(fā)明涉及圖像處理，尤其涉及一種紅外與可見光圖像融合方法、系統(tǒng)、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、由于單一模態(tài)的圖像往往難以提供足夠全面的場景信息，而多模態(tài)圖像融合能夠?qū)⒉煌B(tài)的場景信息融合在一起，生成包含更多信息的融合圖像，因此，紅外與可見光圖像融合技術(shù)在近年來得到了廣泛的關(guān)注和研究，將這兩種模態(tài)的圖像融合能夠提供互補(bǔ)的信息，從而提高目標(biāo)檢測、跟蹤、場景分割等應(yīng)用的性能，然而，傳統(tǒng)的圖像融合技術(shù)大多基于空間域和變換域方法，如拉普拉斯金字塔、離散小波變換以及下采樣輪廓波變換等，這些方法在實(shí)際應(yīng)用中存在一些局限性，例如魯棒性不足，難以應(yīng)對復(fù)雜多變的場景；泛化能力有限，難以適應(yīng)不同類型的圖像，且計(jì)算資源消耗較大，這些方法在融合過程中會導(dǎo)致細(xì)節(jié)信息的丟失，從而影響最終圖像的質(zhì)量。

2、隨著深度學(xué)習(xí)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合網(wǎng)絡(luò)取得了顯著進(jìn)展，這類網(wǎng)絡(luò)通過特征提取、特征融合、圖像重建等關(guān)鍵組成部分，實(shí)現(xiàn)了對源圖像特征的自動提取和融合，并將將融合后的特征重新構(gòu)建為原始分辨率的圖像，然而，現(xiàn)有的網(wǎng)絡(luò)在特征提取方面仍存在挑戰(zhàn)，特別是如何平衡局部特征和全局特征的問題，局部特征對于捕捉圖像細(xì)節(jié)至關(guān)重要，而全局特征則有助于理解圖像的整體結(jié)構(gòu)和關(guān)系。

3、此外，現(xiàn)有的融合算法在特征融合策略上也存在不足，傳統(tǒng)的融合策略往往采用簡單的通道串聯(lián)或固定權(quán)重比例進(jìn)行融合，缺乏對不同特征重要性的自適應(yīng)考慮，這導(dǎo)致融合后的圖像會出現(xiàn)亮度不協(xié)調(diào)、紋理信息現(xiàn)有的融合規(guī)則模糊甚至丟失等問題，特別是在平衡紅外和可見光圖像的差異時(shí)，傳統(tǒng)的融合策略往往難以達(dá)到理想的效果，因此，如何改進(jìn)特征提取和融合策略，以實(shí)現(xiàn)更高效、準(zhǔn)確的紅外與可見光圖像融合，是當(dāng)前研究的重要方向。

技術(shù)實(shí)現(xiàn)思路

1、為解決以上技術(shù)問題，本發(fā)明提供了一種紅外與可見光圖像融合方法、系統(tǒng)、設(shè)備及存儲介質(zhì)。

2、第一方面，本發(fā)明提供了一種紅外與可見光圖像融合方法，所述方法包括以下步驟：

3、獲取紅外圖像和可見光圖像，并利用色彩空間轉(zhuǎn)換方法將所述可見光圖像轉(zhuǎn)換至yuv顏色空間，分離得到可見光圖像的原始亮度通道數(shù)據(jù)和原始色度通道數(shù)據(jù)；

4、利用特征提取網(wǎng)絡(luò)分別對所述紅外圖像和所述可見光圖像的原始亮度通道數(shù)據(jù)進(jìn)行特征提取，得到不同模態(tài)圖像特征；其中，不同模態(tài)圖像特征包括紅外圖像熱輻射特征和可見光圖像紋理特征；

5、引入梯度注意力機(jī)制，利用多模態(tài)特征融合網(wǎng)絡(luò)對不同模態(tài)圖像特征進(jìn)行梯度引導(dǎo)的特征融合，得到模態(tài)融合特征信息；

6、根據(jù)所述模態(tài)融合特征信息和可見光圖像的原始色度通道數(shù)據(jù)進(jìn)行特征重建，獲得彩色融合圖像。

7、在進(jìn)一步的實(shí)施方案中，所述特征提取網(wǎng)絡(luò)包括級聯(lián)連接的第一卷積層和至少三個時(shí)空圖卷積模塊；所述第一卷積層的輸出采用全局殘差連接機(jī)制與每個時(shí)空圖卷積模塊的輸入連接，并直接與最后一個時(shí)空圖卷積模塊的輸出形成殘差連接；

8、每個時(shí)空圖卷積模塊的輸出跳過與其連接的下一個時(shí)空圖卷積模塊通過局部殘差連接方式與第三個時(shí)空圖卷積模塊的輸入連接；

9、所述時(shí)空圖卷積模塊包括并聯(lián)連接的全局-局部視覺注意力模型和紋理細(xì)節(jié)梯度增強(qiáng)模型，且所述全局-局部視覺注意力模型的輸出與紋理細(xì)節(jié)梯度增強(qiáng)模型的輸出形成殘差連接；其中，所述全局-局部視覺注意力模型包括串行的若干slide-transformer模塊和第二卷積層；所述紋理細(xì)節(jié)梯度增強(qiáng)模型包括串行的梯度算子模塊和第三卷積層。

10、在進(jìn)一步的實(shí)施方案中，所述利用特征提取網(wǎng)絡(luò)分別對所述紅外圖像和所述可見光圖像的原始亮度通道數(shù)據(jù)進(jìn)行特征提取，得到不同模態(tài)圖像特征的步驟包括：

11、通過所述第一卷積層分別對所述紅外圖像和所述可見光圖像的原始亮度通道數(shù)據(jù)進(jìn)行特征投影，得到對應(yīng)的紅外圖像投影特征和可見光亮度通道投影特征；

12、將所述紅外圖像投影特征和所述可見光亮度通道投影特征通過全局殘差連接與每個時(shí)空圖卷積模塊的輸入相連，利用多個串行的所述時(shí)空圖卷積模塊依次學(xué)習(xí)平衡不同尺度的層級全局-局部特征表示，并引入梯度算子對紋理細(xì)節(jié)特征捕捉增強(qiáng)，得到模態(tài)高維特征表示；

13、根據(jù)紅外圖像投影特征和可見光亮度通道投影特征，利用全局殘差連接機(jī)制對所述模態(tài)高維特征表示進(jìn)行增強(qiáng)處理，分別提取出對應(yīng)的紅外圖像熱輻射特征和可見光圖像紋理特征。

14、在進(jìn)一步的實(shí)施方案中，所述多模態(tài)特征融合網(wǎng)絡(luò)包括級聯(lián)連接的模態(tài)梯度注意力提取模塊和模態(tài)特征融合模塊，所述模態(tài)梯度注意力提取模塊包括多個模態(tài)梯度注意力提取子模塊；每個所述模態(tài)梯度注意力提取子模塊包括并聯(lián)連接的梯度通道注意力增強(qiáng)單元和梯度空間注意力調(diào)控單元；

15、所述梯度通道注意力增強(qiáng)單元包括并聯(lián)的梯度注意力單元和通道注意力單元，所述梯度通道注意力增強(qiáng)單元的輸入與梯度通道注意力增強(qiáng)單元的輸出形成殘差連接；

16、所述梯度空間注意力調(diào)控單元包括并聯(lián)的梯度注意力單元和空間注意力單元，所述梯度空間注意力調(diào)控單元的輸入與所述梯度空間注意力調(diào)控單元的輸出形成殘差連接。

17、在進(jìn)一步的實(shí)施方案中，所述引入梯度注意力機(jī)制，利用多模態(tài)特征融合網(wǎng)絡(luò)對不同模態(tài)圖像特征進(jìn)行梯度引導(dǎo)的特征融合，得到模態(tài)融合特征信息的步驟包括：

18、通過梯度通道注意力增強(qiáng)單元分別對不同模態(tài)圖像特征進(jìn)行梯度引導(dǎo)的通道特征增強(qiáng)，得到梯度通道注意力權(quán)重；梯度通道注意力權(quán)重包括紅外梯度通道注意力權(quán)重和可見光梯度通道注意力權(quán)重；

19、利用梯度通道注意力權(quán)重對不同模態(tài)圖像特征進(jìn)行通道紋理增強(qiáng)，得到不同模態(tài)的通道增強(qiáng)特征；不同模態(tài)的通道增強(qiáng)特征包括紅外通道增強(qiáng)特征和可見光通道增強(qiáng)特征；

20、通過梯度空間注意力調(diào)控單元分別對不同模態(tài)圖像特征進(jìn)行梯度引導(dǎo)的空間特征增強(qiáng)，得到梯度空間注意力權(quán)重；梯度空間注意力權(quán)重包括紅外梯度空間注意力權(quán)重和可見光梯度空間注意力權(quán)重；

21、利用梯度空間注意力權(quán)重對不同模態(tài)圖像特征進(jìn)行空間紋理增強(qiáng)，得到不同模態(tài)的空間增強(qiáng)特征；不同模態(tài)的空間增強(qiáng)特征包括紅外空間增強(qiáng)特征和可見光空間增強(qiáng)特征；

22、通過模態(tài)特征融合模塊將不同模態(tài)的通道增強(qiáng)特征合并得到通道注意力加權(quán)特征，并將不同模態(tài)的空間增強(qiáng)特征合并得到空間注意力加權(quán)特征；

23、將所述通道注意力加權(quán)特征和所述空間注意力加權(quán)特征進(jìn)行合并，得到模態(tài)融合特征信息。

24、在進(jìn)一步的實(shí)施方案中，所述通過梯度通道注意力增強(qiáng)單元分別對不同模態(tài)圖像特征進(jìn)行梯度引導(dǎo)的通道特征增強(qiáng)，得到梯度通道注意力權(quán)重的步驟包括：

25、利用所述梯度通道注意力增強(qiáng)單元中的梯度注意力單元和所述通道注意力單元分別計(jì)算不同模態(tài)圖像特征在每個通道上的梯度注意力和通道注意力，得到通道梯度權(quán)重和通道特征權(quán)重；

26、根據(jù)不同模態(tài)圖像特征在每個通道上的通道梯度權(quán)重對所述通道特征權(quán)重進(jìn)行紋理細(xì)節(jié)梯度引導(dǎo)，得到梯度通道注意力權(quán)重。

27、在進(jìn)一步的實(shí)施方案中，所述通過梯度空間注意力調(diào)控單元分別對不同模態(tài)圖像特征進(jìn)行梯度引導(dǎo)的空間特征增強(qiáng)，得到梯度空間注意力權(quán)重的步驟包括：

28、利用所述梯度空間注意力調(diào)控單元中的梯度注意力單元和空間注意力單元分別計(jì)算不同模態(tài)圖像特征在每個空間位置上的梯度注意力和空間注意力，得到空間梯度權(quán)重和空間特征權(quán)重；

29、根據(jù)不同模態(tài)圖像特征在每個空間位置上的空間梯度權(quán)重對所述空間特征權(quán)重進(jìn)行紋理細(xì)節(jié)梯度引導(dǎo)，得到梯度通道注意力權(quán)重。

30、第二方面，本發(fā)明提供了一種紅外與可見光圖像融合系統(tǒng)，所述系統(tǒng)包括：

31、空間轉(zhuǎn)換模塊，用于獲取紅外圖像和可見光圖像，并利用色彩空間轉(zhuǎn)換方法將所述可見光圖像轉(zhuǎn)換至yuv顏色空間，分離得到可見光圖像的原始亮度通道數(shù)據(jù)和原始色度通道數(shù)據(jù)；

32、特征提取模塊，用于利用特征提取網(wǎng)絡(luò)分別對所述紅外圖像和所述可見光圖像的原始亮度通道數(shù)據(jù)進(jìn)行特征提取，得到不同模態(tài)圖像特征；其中，不同模態(tài)圖像特征包括紅外圖像熱輻射特征和可見光圖像紋理特征；

33、特征融合模塊，用于引入梯度注意力機(jī)制，利用多模態(tài)特征融合網(wǎng)絡(luò)對不同模態(tài)圖像特征進(jìn)行梯度引導(dǎo)的特征融合，得到模態(tài)融合特征信息；

34、特征重建模塊，用于根據(jù)所述模態(tài)融合特征信息和可見光圖像的原始色度通道數(shù)據(jù)進(jìn)行特征重建，獲得彩色融合圖像。

35、第三方面，本發(fā)明還提供了一種計(jì)算機(jī)設(shè)備，包括處理器和存儲器，所述處理器與所述存儲器相連，所述存儲器用于存儲計(jì)算機(jī)程序，所述處理器用于執(zhí)行所述存儲器中存儲的計(jì)算機(jī)程序，以使得所述計(jì)算機(jī)設(shè)備執(zhí)行實(shí)現(xiàn)上述方法的步驟。

36、第四方面，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法的步驟。

37、本發(fā)明提供了一種紅外與可見光圖像融合方法、系統(tǒng)、設(shè)備及存儲介質(zhì)，所述方法通過獲取紅外圖像和可見光圖像，并利用色彩空間轉(zhuǎn)換方法將所述可見光圖像轉(zhuǎn)換至yuv顏色空間，分離得到可見光圖像的原始亮度通道數(shù)據(jù)和原始色度通道數(shù)據(jù)；利用特征提取網(wǎng)絡(luò)分別對所述紅外圖像和所述可見光圖像的原始亮度通道數(shù)據(jù)進(jìn)行特征提取，得到不同模態(tài)圖像特征；其中，不同模態(tài)圖像特征包括紅外圖像熱輻射特征和可見光圖像紋理特征；引入梯度注意力機(jī)制，利用多模態(tài)特征融合網(wǎng)絡(luò)對不同模態(tài)圖像特征進(jìn)行梯度引導(dǎo)的特征融合，得到模態(tài)融合特征信息；根據(jù)所述模態(tài)融合特征信息和可見光圖像的原始色度通道數(shù)據(jù)進(jìn)行特征重建，獲得彩色融合圖像。與現(xiàn)有技術(shù)相比，該方法結(jié)合slide?transformer和梯度算子模塊的特征提取網(wǎng)絡(luò)，通過計(jì)算紅外和可見光兩種圖像模態(tài)特征的梯度權(quán)重，并局部影響通道注意力和空間注意力的權(quán)重，突出了紋理細(xì)節(jié)，避免了傳統(tǒng)融合方法出現(xiàn)的紋理細(xì)節(jié)模糊問題，從而實(shí)現(xiàn)了對紅外圖像和可見光圖像特征的準(zhǔn)確提取。