本發(fā)明涉及圖像處理，尤其涉及一種基于多模態(tài)退化特征學(xué)習(xí)的水下圖像增強(qiáng)方法及系統(tǒng)。

背景技術(shù)：

1、早期水下圖像增強(qiáng)的研究方法主要分為非物理模型和基于物理模型的兩種。非物理模型方法旨在修改圖像像素值，以提高水下模糊圖像的對(duì)比度，但是非物理模型容易出現(xiàn)過(guò)度增強(qiáng)或增強(qiáng)不足的問(wèn)題。基于物理模型的方法將水下圖像增強(qiáng)視為一個(gè)不確定的逆問(wèn)題，并利用手工制作的先驗(yàn)知識(shí)來(lái)估計(jì)圖像形成模型的潛在參數(shù)。例如，chiang等人和drews等人通過(guò)修改he等人提出的暗通道先驗(yàn)(dcp)實(shí)現(xiàn)了水下圖像增強(qiáng)。此外，li等人提出了一種混合方法(1：li,c.,guo,j.,guo,c.,cong,r.,gong,j.:ahybrid?method?forunderwater?image?correction[j].journal?of?visual?communication?and?imagerepresentation,2017,48,151-160.)，包括顏色校正和水下圖像去模糊，以提高退化水下圖像的視覺(jué)質(zhì)量。

2、近年來(lái)，探索水下世界已成為一種流行的方式，水下圖像增強(qiáng)作為一個(gè)重要的預(yù)處理過(guò)程，旨在提高低質(zhì)量圖像的視覺(jué)質(zhì)量。現(xiàn)有已經(jīng)提出了各種基于深度學(xué)習(xí)的方法，這些方法可以分類兩大類，即基于cnn算法和基于gan算法。此外，基于深度學(xué)習(xí)的水下圖像增強(qiáng)根據(jù)其架構(gòu)差異可分為5種方法(2：s.anwar?and?c.li,"diving?deeper?intounderwater?image?enhancement:asurvey,"signal?processing:image?communication,vol.89,p.115978,2020.3)：編碼器-解碼器模型，這是許多低級(jí)別任務(wù)中提高圖像質(zhì)量的著名架構(gòu)；設(shè)計(jì)了具有相同結(jié)構(gòu)的模塊或塊，并在網(wǎng)絡(luò)中重復(fù)應(yīng)用，以提高網(wǎng)絡(luò)的特征提取能力；設(shè)計(jì)的多分支旨在通過(guò)單獨(dú)的分支學(xué)習(xí)不同的特征；通過(guò)預(yù)測(cè)水下圖像的深度圖或傳輸圖來(lái)提高增強(qiáng)和恢復(fù)性能；使用多個(gè)生成器來(lái)推斷改進(jìn)后的圖像。上述水下圖像增強(qiáng)方法的泛化能力較弱，導(dǎo)致在特定的水下場(chǎng)景下表現(xiàn)較好，但在其他場(chǎng)景中效果欠佳，使得方法的通用性受到了一定的限制。

技術(shù)實(shí)現(xiàn)思路

1、為了能夠解決現(xiàn)有技術(shù)中的水下圖像增強(qiáng)方法存在泛化能力較弱導(dǎo)致其通用性受到限制的問(wèn)題，本發(fā)明提供一種基于多模態(tài)退化特征學(xué)習(xí)的水下圖像增強(qiáng)方法，通過(guò)構(gòu)建多模態(tài)視覺(jué)語(yǔ)言md-clip網(wǎng)絡(luò)框架并進(jìn)行訓(xùn)練，然后結(jié)合到其他重構(gòu)網(wǎng)絡(luò)模型中，可提高模型的泛化能力和性能，解決模型性能較低和適應(yīng)性差的問(wèn)題。

2、第一方面，本發(fā)明提供一種基于多模態(tài)退化特征學(xué)習(xí)的水下圖像增強(qiáng)方法，包括：

3、步驟1：收集不同模態(tài)的水下圖像數(shù)據(jù)以構(gòu)建水下圖像數(shù)據(jù)集，將所述水下圖像數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集；其中所述水下圖像數(shù)據(jù)集包括對(duì)應(yīng)的水下低質(zhì)量圖像和目標(biāo)清晰圖像；

4、步驟2：對(duì)所述訓(xùn)練集進(jìn)行預(yù)處理，得到圖像文本退化對(duì)數(shù)據(jù)集；

5、步驟3：構(gòu)建多模態(tài)視覺(jué)語(yǔ)言md-clip網(wǎng)絡(luò)框架，并利用所述圖像文本退化對(duì)數(shù)據(jù)集對(duì)所述md-clip網(wǎng)絡(luò)框架進(jìn)行訓(xùn)練；所述md-clip網(wǎng)絡(luò)框架包括圖像編碼控制器contnet模塊、預(yù)訓(xùn)練的clip模塊和對(duì)比學(xué)習(xí)模塊；

6、步驟4：將訓(xùn)練后的圖像編碼控制器contnet模塊集成到nafnet網(wǎng)絡(luò)結(jié)構(gòu)中，生成圖像增強(qiáng)網(wǎng)絡(luò)并利用所述測(cè)試集進(jìn)行訓(xùn)練，得到水下圖像增強(qiáng)模型；

7、步驟5：將待增強(qiáng)水下退化圖像輸入所述水下圖像增強(qiáng)模型，生成待增強(qiáng)水下退化圖像的增強(qiáng)結(jié)果圖。

8、進(jìn)一步地，所述不同模態(tài)的水下圖像數(shù)據(jù)包括低光圖像、整體偏綠圖像和整體偏藍(lán)圖像。

9、進(jìn)一步地，利用視覺(jué)語(yǔ)言預(yù)訓(xùn)練blip模型對(duì)所述訓(xùn)練集進(jìn)行預(yù)處理，得到圖像文本退化對(duì)數(shù)據(jù)集；其中所述圖像文本退化對(duì)包括目標(biāo)清晰圖像、水下低質(zhì)量圖像和文本信息，所述文本信息包括圖像文本描述和圖像的模糊程度

10、進(jìn)一步地，所述預(yù)訓(xùn)練的clip模塊包括文本編碼器和圖像編碼器，

11、進(jìn)一步地，步驟3具體包括：

12、將所述文本信息和所述目標(biāo)清晰圖像輸入至所述預(yù)訓(xùn)練的clip模塊，輸出文本特征和圖像特征；

13、將所述水下低質(zhì)量圖像輸入所述contnet模塊中，輸出圖像退化特征和文本退化特征；

14、將所述圖像退化特征和所述圖像特征、所述文本退化特征和所述文本特征分別在所述對(duì)比學(xué)習(xí)模塊進(jìn)行對(duì)比學(xué)習(xí)。

15、進(jìn)一步地，步驟3中，構(gòu)建md-clip網(wǎng)絡(luò)框架時(shí)使用vision?transformer作為所述圖像編碼器和所述contnet模塊的主干。

16、進(jìn)一步地，步驟4中，保留nafnet網(wǎng)絡(luò)結(jié)構(gòu)基本的編碼器-解碼器架構(gòu)和分層跳過(guò)連接模式，將預(yù)訓(xùn)練后的圖像編碼控制器contnet模塊的輸出通過(guò)交叉注意力機(jī)制融合到解碼器的nafnet?block模塊中。

17、進(jìn)一步地，所述nafnet?block模塊結(jié)合所述contnet模塊輸出的圖像退化特征和文本退化特征對(duì)水下圖像進(jìn)行增強(qiáng)；所述nafnet?block模塊包括第一layernorm層，3×3深度卷積和1×1卷積層，第一simplegate模塊，第一sca模塊，第一1×1卷積層，第二layernorm層，第二1×1卷積層、第二simplegate模塊和第三1×1卷積層；

18、所述nafnet?block模塊具體處理流程為：

19、輸入所述nafnet?block模塊的原始特征通過(guò)第一layernorm層進(jìn)行標(biāo)準(zhǔn)化處理，經(jīng)過(guò)3×3深度卷積和1×1卷積層提取圖像的局部空間特征并進(jìn)行融合，然后通過(guò)simplegate模塊調(diào)整不同特征通道的權(quán)重，并引入所述文本退化特征，進(jìn)入sca模塊，通過(guò)第一1×1卷積層進(jìn)一步的通道融合和信息整合，得到中間特征；

20、再將所述中間特征與原始特征進(jìn)行殘差連接，得到中間輸出，送入第二layernorm層，通過(guò)第二1×1卷積處理，引入所述圖像退化特征，再通過(guò)simplegate模塊，最后通過(guò)1×1卷積進(jìn)行進(jìn)一步的整合和通道處理，與所述中間輸出進(jìn)行殘差連接，得到所述nafnetblock模塊的輸出。

21、進(jìn)一步地，通過(guò)設(shè)定圖像質(zhì)量評(píng)價(jià)指標(biāo)，對(duì)所述水下圖像增強(qiáng)模型的效果進(jìn)行量化評(píng)估，根據(jù)圖像質(zhì)量評(píng)價(jià)指標(biāo)結(jié)果反饋優(yōu)化模型參數(shù)。

22、第二方面，本發(fā)明提供一種基于多模態(tài)退化特征學(xué)習(xí)的水下圖像增強(qiáng)系統(tǒng)，其特征在于，包括：

23、數(shù)據(jù)集構(gòu)建模塊，用于收集不同模態(tài)的水下圖像數(shù)據(jù)以構(gòu)建水下圖像數(shù)據(jù)集，將所述水下圖像數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集；其中所述水下圖像數(shù)據(jù)集包括對(duì)應(yīng)的水下低質(zhì)量圖像和目標(biāo)清晰圖像；

24、數(shù)據(jù)集預(yù)處理模塊，用于對(duì)所述訓(xùn)練集進(jìn)行預(yù)處理，得到圖像文本退化對(duì)；

25、md-clip網(wǎng)絡(luò)框架構(gòu)建模塊，用于構(gòu)建多模態(tài)視覺(jué)語(yǔ)言md-clip網(wǎng)絡(luò)框架，并利用所述圖像-文本退化對(duì)對(duì)所述md-clip網(wǎng)絡(luò)框架進(jìn)行訓(xùn)練；所述md-clip網(wǎng)絡(luò)框架包括圖像編碼控制器contnet模塊、預(yù)訓(xùn)練的clip模塊和對(duì)比學(xué)習(xí)模塊；

26、圖像增強(qiáng)模型構(gòu)建模塊，用于將訓(xùn)練后的圖像編碼控制器contnet模塊集成到nafnet網(wǎng)絡(luò)結(jié)構(gòu)中，生成圖像增強(qiáng)網(wǎng)絡(luò)并利用所述測(cè)試集進(jìn)行訓(xùn)練，得到水下圖像增強(qiáng)模型；

27、結(jié)果輸出模塊，用于將待增強(qiáng)水下退化圖像輸入所述水下圖像增強(qiáng)模型，生成待增強(qiáng)水下退化圖像的增強(qiáng)結(jié)果圖。

28、本發(fā)明的有益效果：

29、本發(fā)明通過(guò)設(shè)計(jì)md-clip網(wǎng)絡(luò)框架對(duì)其中的圖像編碼控制器contnet模塊進(jìn)行訓(xùn)練，訓(xùn)練后的contnet模塊可提取水下退化圖像的文本特征和圖像特征；然后將contnet模塊結(jié)合到圖像增強(qiáng)模型中進(jìn)行重構(gòu)，以指導(dǎo)模型學(xué)習(xí)圖像的重建。

30、本發(fā)明提供的方法不僅能夠顯著改善視覺(jué)語(yǔ)言模型在低級(jí)視覺(jué)任務(wù)中的表現(xiàn)，而且還提供了一種通用的框架，能夠有效地將訓(xùn)練的提取圖像特征模型的能力擴(kuò)展到未標(biāo)記或零樣本預(yù)測(cè)的下游任務(wù)中。本發(fā)明將訓(xùn)練后的contnet模塊應(yīng)用到nafnet網(wǎng)絡(luò)模型中，以完成水下圖像增強(qiáng)最終的網(wǎng)絡(luò)模型設(shè)計(jì)，提高了模型的性能和泛化能力，解決了水下增強(qiáng)圖像模型性能較低和適應(yīng)性差的問(wèn)題。本發(fā)明通過(guò)大量實(shí)驗(yàn)，證明了md-clip網(wǎng)絡(luò)訓(xùn)練出的contnet模塊預(yù)測(cè)的多模態(tài)退化特征對(duì)圖像恢復(fù)模型性能提升的有效性。