本發(fā)明屬于零樣本學(xué)習(xí)、遷移學(xué)習(xí)和圖像識別領(lǐng)域，涉及一種生成流和無冗余特征的零樣本學(xué)習(xí)方法。

背景技術(shù)：

1、大多數(shù)機器學(xué)習(xí)任務(wù)通常需要大量的標(biāo)記數(shù)據(jù)，這非常昂貴、耗時，并且這些數(shù)據(jù)甚至是無法獲得的。因此，我們提出了零樣本學(xué)習(xí)(zero-shot?learning,zsl)來解決這些問題。在zsl中，不可見類的視覺特征在訓(xùn)練階段不可用，但不可見類的視覺特征在測試階段需要被識別。zsl是近年來[1-3]的大量研究和快速發(fā)展的課題。大多數(shù)zsl方法使用深度骨干網(wǎng)絡(luò)，如resnet101或變壓器來提取圖像中的特征。這些網(wǎng)絡(luò)通常是在imagenet數(shù)據(jù)集上預(yù)先訓(xùn)練的，而不是專門為zsl設(shè)計的。與傳統(tǒng)的圖像識別相比，zsl在每個類中添加了語義屬性。主干網(wǎng)絡(luò)提取的特征與語義屬性沒有很好的相關(guān)性。此外，手動標(biāo)注的語義屬性不可避免地包含冗余信息，這也影響了視覺和語義對齊。

2、dlfzrl[4]首先在zsl中引入了特征解糾纏，指出了由深度主干網(wǎng)絡(luò)提取的特征的每個維度都不一一對應(yīng)于語義屬性。因此，dlfzrl將圖像特征分解為三種潛在表示：語義特征、非語義特征和非鑒別特征，并使用語義特征進行分類。文[5]認為非語義視覺特征與語義屬性完全無關(guān)，并且很難將該特征提取功能從可見的類轉(zhuǎn)移到看不見的類，從而提出sdgzsl方法，該方法[5]改進了dlfzrl，僅將原始特征分解為兩種語義一致和語義無關(guān)的潛在表示征，并取得了更好的性能。但他們設(shè)計的語義解糾纏網(wǎng)絡(luò)過于復(fù)雜，導(dǎo)致訓(xùn)練訓(xùn)練不穩(wěn)定。于是此處提出基于生成流和無冗余特征的零樣本學(xué)習(xí)方法，該方法中用于學(xué)習(xí)無冗余特征的網(wǎng)絡(luò)十分簡潔，非常易于模型學(xué)習(xí)，并減少了模型的復(fù)雜程度，節(jié)省內(nèi)存空間。

3、f.e.yang,y.h.lee,c.c.lin?and?y.c.f.wang.semantics-guided?intra-category?knowledge?transfer?for?generalized?zero-shot?learning.internationaljournal?of?computer?vision,2023,pp.1331-1345.

4、y.zhang,y.tian,s.zhang?and?y.huang.dual-uncertainty?guided?cycle-consistent?network?for?zero-shot?learning.ieee?transactions?on?circuits?andsystems?for?video?technology,2023.

5、z.liu,y.li,l.yao,x.wang?and?g.long.task?aligned?generative?meta-learning?for?zero-shot?learning.proceedings?of?the?aaai?conference?onartificial?intelligence,2021,pp.8723-8731.

6、b.tong,c.wang,m.klinkigt,y.kobayashi?and?y.nonaka.hierarchicaldisentanglement?of?discriminative?latent?features?for?zero-shotlearning.proceedings?of?the?ieee/cvf?conference?on?computer?vision?andpattern?recognition,2019,pp.11467-11476.

7、z.chen,y.luo,s.wang,r.qiu,j.li,z.zhang?and?z.huang.semanticsdisentangling?for?generalized?zero-shot?learning.proceedings?of?the?ieee/cvfinternational?conference?on?computer?vision,2021,pp.8712-8720.

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于生成流和無冗余特征的零樣本學(xué)習(xí)方法，解決了現(xiàn)有大多數(shù)zsl方法使用深度骨干網(wǎng)絡(luò)，導(dǎo)致主干網(wǎng)絡(luò)提取的特征與語義屬性沒有很好的相關(guān)性的問題。同時，進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，使模型相對簡單穩(wěn)定，易于訓(xùn)練。

2、本發(fā)明所采用的技術(shù)方案是

3、基于生成流和無冗余特征的零樣本學(xué)習(xí)方法，其特征在于首先使用生成流生成零樣本學(xué)習(xí)視覺特征，生成流能夠有效地緩解特征混淆問題。然后利用互信息訓(xùn)練一個映射網(wǎng)絡(luò)m學(xué)習(xí)無冗余特征，該映射網(wǎng)絡(luò)從視覺特征中去除冗余信息，而不會丟失判別信息。并且相比于其他解糾纏模型，該映射網(wǎng)絡(luò)結(jié)構(gòu)簡單，能夠進一步減少了優(yōu)化網(wǎng)絡(luò)的時間。

4、本發(fā)明的有益效果是

5、1.新算法使用生成流來有效地緩解特征混淆問題。

6、2.利用互信息訓(xùn)練一個映射網(wǎng)絡(luò)來學(xué)習(xí)無冗余特征。

7、3.相比于解糾纏模型，本方法的映射網(wǎng)絡(luò)結(jié)構(gòu)簡單，進一步減少了優(yōu)化網(wǎng)絡(luò)的時間。

技術(shù)特征：

1.基于生成流和無冗余特征的零樣本學(xué)習(xí)方法，其特征在于首先使用生成流生成零樣本學(xué)習(xí)視覺特征，生成流能夠有效地緩解特征混淆問題；該步驟的大概過程如下：

2.基于生成流和無冗余特征的零樣本學(xué)習(xí)方法，其特征在于然后利用互信息學(xué)習(xí)訓(xùn)練映射網(wǎng)絡(luò)m，將可見類的真實視覺特征和不可見類的合成視覺特征映射到新的無冗余特征空間，該映射網(wǎng)絡(luò)從視覺特征中去除冗余信息，而不會丟失判別信息；并且相比于其他解糾纏模型，該映射網(wǎng)絡(luò)結(jié)構(gòu)簡單，能夠進一步減少了優(yōu)化網(wǎng)絡(luò)的時間；該步驟的大概過程如下：

技術(shù)總結(jié)
本發(fā)明涉及一種基于生成流和無冗余特征的零樣本學(xué)習(xí)方法，其特征在于首先使用生成流生成零樣本學(xué)習(xí)視覺特征，生成流能夠有效地緩解特征混淆問題。然后利用互信息訓(xùn)練一個映射網(wǎng)絡(luò)M學(xué)習(xí)無冗余特征，該映射網(wǎng)絡(luò)從視覺特征中去除冗余信息，而不會丟失判別信息。并且相比于其他解糾纏模型，該映射網(wǎng)絡(luò)結(jié)構(gòu)簡單，能夠進一步減少了優(yōu)化網(wǎng)絡(luò)的時間。本發(fā)明的目的是提供一種基于生成流和無冗余特征的零樣本學(xué)習(xí)方法，解決了現(xiàn)有大多數(shù)ZSL方法使用深度骨干網(wǎng)絡(luò)，導(dǎo)致主干網(wǎng)絡(luò)提取的特征與語義屬性沒有很好的相關(guān)性的問題。同時，進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，使模型相對簡單穩(wěn)定，易于訓(xùn)練。

技術(shù)研發(fā)人員：何春梅,蔣鑫,葉征春,楊玲,周宏圣
受保護的技術(shù)使用者：湘潭大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/24