本發(fā)明屬于圖像檢測，具體為一種用于紅外圖像與可見光圖像的融合方法。

背景技術(shù)：

1、近年來，基于深度學(xué)習(xí)的方法由于其出色的特征提取能力被引入到紅外圖像與可見光圖像融合技術(shù)中。現(xiàn)有的深度學(xué)習(xí)的融合方法主要基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)框架，生成對(duì)抗網(wǎng)絡(luò)(gan)框架，自編碼器(ae)框架，以及注意力機(jī)制網(wǎng)絡(luò)框架。卷積神經(jīng)網(wǎng)絡(luò)主要通過堆疊卷積層來實(shí)現(xiàn)圖像融合，但過多的卷積層可能導(dǎo)致可見光細(xì)節(jié)的損失，最終使融合圖像變得較暗；生成對(duì)抗網(wǎng)絡(luò)融合方法中，生成器和判別器在對(duì)抗過程中可能導(dǎo)致失衡，從而導(dǎo)致源圖像信息的部分或完全丟失；基于自編碼器的融合網(wǎng)絡(luò)基于反向傳播算法與最優(yōu)化方法，來尋找兩幅圖像的映射關(guān)系，從而實(shí)現(xiàn)圖像的融合，這種融合方法通常忽略了物體的位置信息，這可能導(dǎo)致融合圖像中出現(xiàn)偽影，從而妨礙了目標(biāo)檢測任務(wù)。

2、基于注意力機(jī)制網(wǎng)絡(luò)框架的融合網(wǎng)絡(luò)，引入了圖像的位置信息進(jìn)而解決了融合圖像的偽影問題，并采用最小損失值訓(xùn)練以緩解生成對(duì)抗網(wǎng)絡(luò)所造成的訓(xùn)練問題，但仍然存在以下問題：現(xiàn)有的基于注意力機(jī)制網(wǎng)絡(luò)框架的融合質(zhì)量不高主要來自于兩方面，一方面對(duì)于紅外圖像與可見光圖像進(jìn)行特征提取時(shí)只提取了空間特征以及通道特征，而忽略了可見光圖像本身的顏色特征以及紅外圖像的部分熱信息特征。另一方面對(duì)于紅外圖像與可見光圖像融合塊設(shè)計(jì)時(shí)仍然依賴于卷積網(wǎng)絡(luò)去實(shí)現(xiàn)互補(bǔ)信息融合，而并非對(duì)實(shí)際進(jìn)行考慮，缺乏應(yīng)用價(jià)值。缺失可見光圖像的顏色特征以及紅外圖像的熱信息特征會(huì)導(dǎo)致目標(biāo)檢測任務(wù)的性能下降，同時(shí)忽略了顏色信息會(huì)導(dǎo)致融合結(jié)果在視覺上看起來不自然，不利于人工對(duì)現(xiàn)場進(jìn)行評(píng)判。融合模塊僅通過卷積網(wǎng)絡(luò)實(shí)現(xiàn)圖像融合，容易造成無關(guān)信息融合的情況，如白天狀態(tài)下可見光圖像效果存在明顯優(yōu)勢的情況下而卷積網(wǎng)絡(luò)仍然會(huì)尋找互補(bǔ)信息將紅外圖像與其進(jìn)行融合，造成整體質(zhì)量下降的情況。這些問題對(duì)于機(jī)器人目標(biāo)檢測性能和視覺感知都有不利影響，因此需要進(jìn)一步的研究和改進(jìn)。

技術(shù)實(shí)現(xiàn)思路

1、本專利對(duì)紅外圖像與可見光圖像進(jìn)行融合，將著重解決融合過程中忽略顏色特征以及融合模塊時(shí)與實(shí)際相脫離的情況。用于工廠園區(qū)內(nèi)或車間內(nèi)巡檢機(jī)器人，以及生產(chǎn)線上工件缺陷的識(shí)別與定位，提高機(jī)器人在惡劣環(huán)境下或特殊場景下的目標(biāo)檢測的準(zhǔn)確率，召回率以及策略的普遍適用性。

2、為實(shí)現(xiàn)上述目的本發(fā)明采用的技術(shù)方案是：一種用于紅外圖像與可見光圖像的融合方法，包括如下步驟：

3、1)采集原始紅外圖像iir與可見光圖像ivir，分別建立數(shù)據(jù)集用于訓(xùn)練；

4、2)建模融合拼接模型，輸入數(shù)據(jù)集數(shù)據(jù)進(jìn)行優(yōu)化訓(xùn)練；所述模型用于對(duì)紅外圖像的熱信息特征以及可見光圖像的顏色特征進(jìn)行提取，對(duì)不同場景的紅外與可見光圖像動(dòng)態(tài)融合；

5、3)用優(yōu)化好的模型實(shí)際處理待檢測目標(biāo)。

6、所述融合拼接模型包括：

7、用多層卷積網(wǎng)絡(luò)提取多尺度紅外特征和可見光特征

8、分別對(duì)同一尺度的紅外特征和可見光特征進(jìn)行動(dòng)態(tài)權(quán)重融合，輸出同一尺度下的融合圖像包含目標(biāo){顏色或熱信息，位置，紋理，形狀}；

9、將不同尺度的融合圖像逐層上采樣拼接，得到識(shí)別結(jié)果ifus。

10、所述特征融合為對(duì)同一尺度的紅外特征和可見光特征進(jìn)行處理的兩路分支，每路包括：

11、采用空間注意力模塊與通道注意力模塊提取圖像的紅外光空間特征與可見光空間特征紅外光通道特征與可見光空間特征

12、與輸入圖像進(jìn)行矩陣相乘得到紅外空間與通道特征可見光空間與通道特征

13、經(jīng)歸一化層、顏色提取模塊分別提取紅外顏色和可見光顏色經(jīng)多頭注意力模塊后，分別提取紅外位置和可見光位置及兩幅圖像的紋理和形狀特征；

14、再經(jīng)過歸一化層、mlp模塊處理后，獲取紅外與可見光在該尺度下的進(jìn)而得到紅外特征和可見光特征

15、所述顏色提取模塊根據(jù)輸入不同結(jié)構(gòu)不同：

16、采用雙信息通道卷積提取紅外圖像的熱信息特征；

17、采用三信息通道卷積提取對(duì)可見光圖像的顏色特征。

18、所述動(dòng)態(tài)權(quán)重融合包括：

19、將圖像和輸入并行的動(dòng)態(tài)權(quán)重分配模塊，得到權(quán)重向量：

20、

21、

22、將權(quán)重向量輸入全連接層與歸一化層，得到待檢測物體的紅外圖像權(quán)重和可見光圖像權(quán)重

23、采用加權(quán)公式實(shí)現(xiàn)該尺度下最終加權(quán)，得到同一尺度下的融合圖像

24、

25、所述動(dòng)態(tài)權(quán)重分配模塊采用梯行網(wǎng)絡(luò)結(jié)構(gòu)，分別對(duì)紅外圖像與可見光圖像的待檢測物體進(jìn)行有效特征含量提取，作為權(quán)重比例。

26、所述逐層上采樣拼接操作為：

27、

28、其中k＝l-1，表示不同尺度下所得到的融合圖像，其取值為0,1,2…n。

29、所述優(yōu)化訓(xùn)練是采用adam優(yōu)化器進(jìn)行訓(xùn)練，當(dāng)達(dá)到訓(xùn)練次數(shù)時(shí)停止。

30、按照該方法識(shí)別到目標(biāo)后，將目標(biāo)圖片通過通信網(wǎng)絡(luò)傳輸?shù)綑C(jī)器人后臺(tái)監(jiān)控端，用于根據(jù)目標(biāo)檢測結(jié)果進(jìn)行報(bào)警。

31、本發(fā)明采用上述技術(shù)方案的優(yōu)點(diǎn)在于：

32、1.本發(fā)明采用的動(dòng)態(tài)權(quán)重分配模塊采用卷積操作實(shí)現(xiàn)待檢測物體所占信息的計(jì)算具備穩(wěn)定性，適用于不同圖像的融合。同時(shí)動(dòng)態(tài)分配權(quán)重符合機(jī)器人實(shí)際應(yīng)用中的要求，具有實(shí)際價(jià)值。其次在特征提取中加入了顏色特征，有助于最終融合圖像的目標(biāo)檢測，方便于人工直接對(duì)現(xiàn)成進(jìn)行分析。

33、2.本發(fā)明可有效改善機(jī)器人目標(biāo)檢測的準(zhǔn)確率以及召回率。同時(shí)，在白天或光線充足的情況下，可以更側(cè)重于可見光圖像的顏色信息，而在夜晚或光線不足時(shí)，可以更側(cè)重于紅外圖像的溫度信息進(jìn)而可以提高系統(tǒng)的適應(yīng)性，以及各種環(huán)境下的目標(biāo)檢測魯棒性。

技術(shù)特征：

1.一種用于紅外圖像與可見光圖像的融合方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種用于紅外圖像與可見光圖像的融合方法，其特征在于，所述融合拼接模型包括：

3.根據(jù)權(quán)利要求2所述的一種用于紅外圖像與可見光圖像的融合方法，其特征在于，所述特征融合為對(duì)同一尺度的紅外特征和可見光特征進(jìn)行處理的兩路分支，每路包括：

4.根據(jù)權(quán)利要求2所述的一種用于紅外圖像與可見光圖像的融合方法，其特征在于，所述顏色提取模塊根據(jù)輸入不同結(jié)構(gòu)不同：

5.根據(jù)權(quán)利要求2所述的一種用于紅外圖像與可見光圖像的融合方法，其特征在于，所述動(dòng)態(tài)權(quán)重融合包括：

6.根據(jù)權(quán)利要求5所述的一種用于紅外圖像與可見光圖像的融合方法，其特征在于，所述動(dòng)態(tài)權(quán)重分配模塊采用梯行網(wǎng)絡(luò)結(jié)構(gòu)，分別對(duì)紅外圖像與可見光圖像的待檢測物體進(jìn)行有效特征含量提取，作為權(quán)重比例。

7.根據(jù)權(quán)利要求5所述的一種用于紅外圖像與可見光圖像的融合方法，其特征在于，所述逐層上采樣拼接操作為：

8.根據(jù)權(quán)利要求1所述的一種用于紅外圖像與可見光圖像的融合方法，其特征在于，所述優(yōu)化訓(xùn)練是采用adam優(yōu)化器進(jìn)行訓(xùn)練，當(dāng)達(dá)到訓(xùn)練次數(shù)時(shí)停止。

9.根據(jù)權(quán)利要求1所述的一種用于紅外圖像與可見光圖像的融合方法，其特征在于，按照該方法識(shí)別到目標(biāo)后，將目標(biāo)圖片通過通信網(wǎng)絡(luò)傳輸?shù)綑C(jī)器人后臺(tái)監(jiān)控端，用于根據(jù)目標(biāo)檢測結(jié)果進(jìn)行報(bào)警。

技術(shù)總結(jié)
本發(fā)明公開一種用于紅外圖像與可見光圖像的融合方法，包括對(duì)紅外圖像的熱信息特征以及可見光圖像的顏色特征進(jìn)行提取，對(duì)于不同場景的紅外與可見光圖像采用動(dòng)態(tài)融合方法，識(shí)別圖像目標(biāo)。本發(fā)明可有效改善機(jī)器人目標(biāo)檢測的準(zhǔn)確率以及召回率。同時(shí)，在白天或光線充足的情況下，可以更側(cè)重于可見光圖像的顏色信息，而在夜晚或光線不足時(shí)，可以更側(cè)重于紅外圖像的溫度信息進(jìn)而可以提高系統(tǒng)的適應(yīng)性，以及各種環(huán)境下的目標(biāo)檢測魯棒性。

技術(shù)研發(fā)人員：李邦宇,張佳豪,杜振軍,馬周路,梁宇,齊浩
受保護(hù)的技術(shù)使用者：沈陽新松機(jī)器人自動(dòng)化股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/24