本發(fā)明屬于圖像增強(qiáng)領(lǐng)域,特別涉及一種血管成像圖像優(yōu)化方法。
背景技術(shù):
1、血管成像技術(shù)是醫(yī)學(xué)成像中極為重要的一環(huán),廣泛應(yīng)用于心腦血管疾病、腫瘤、糖尿病等多種疾病的診斷和治療過程中,然而,由于成像設(shè)備和環(huán)境的限制,血管成像圖像數(shù)據(jù)往往存在對比度低、噪聲干擾嚴(yán)重等問題,給后續(xù)的目標(biāo)檢測和診斷帶來了很大挑戰(zhàn),圖像增強(qiáng)技術(shù)在這一背景下應(yīng)運而生,通過一系列算法和處理手段,提高圖像數(shù)據(jù)的質(zhì)量,從而輔助醫(yī)生進(jìn)行更為精準(zhǔn)的診斷。
2、在血管成像圖像數(shù)據(jù)中,提高對比度和清晰度是圖像增強(qiáng)的首要目標(biāo),對比度低的圖像數(shù)據(jù)中,細(xì)小的血管結(jié)構(gòu)往往難以辨識,甚至?xí)槐尘霸肼曆蜎],通過圖像增強(qiáng)技術(shù),可以顯著提高圖像的對比度,使得細(xì)小血管和其分支更加清晰可見,這種處理不僅可以讓醫(yī)生在診斷過程中更容易識別和分析血管結(jié)構(gòu)及其病變區(qū)域,還可以為后續(xù)的自動目標(biāo)檢測算法提供更優(yōu)質(zhì)的輸入數(shù)據(jù)。
3、最新的vit架構(gòu)通常結(jié)合了多尺度特征融合的方法,通過將不同尺度的特征進(jìn)行融合,能夠更全面地捕捉到圖像數(shù)據(jù)中的多尺度信息,多尺度特征融合有助于提升圖像數(shù)據(jù)的細(xì)節(jié)保留和全局信息整合,使得圖像數(shù)據(jù)增強(qiáng)效果更加顯著,通過這種方式,vit架構(gòu)可以更好地處理圖像數(shù)據(jù)中的各種復(fù)雜情況,提升圖像數(shù)據(jù)的整體質(zhì)量。
技術(shù)實現(xiàn)思路
1、本發(fā)明提供一種血管成像圖像優(yōu)化方法,旨在提出血管成像圖像數(shù)據(jù)處理模型,其中一階段特征編碼模塊應(yīng)用多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò),能夠有效提取模糊血管成像圖像數(shù)據(jù)的高層次特征,權(quán)重補(bǔ)充模塊通過引入高斯噪聲和均勻噪聲,動態(tài)調(diào)整特征權(quán)重,以平衡不同類別的樣本分布,二階段特征編碼模塊通過vae的編碼器、采樣和解碼器結(jié)構(gòu),能夠進(jìn)一步壓縮和重構(gòu)特征,捕捉圖像數(shù)據(jù)的潛在表示,三階段特征增強(qiáng)模塊通過混合自注意力機(jī)制,增強(qiáng)特征的交互性和全局表示能力,多階段圖像數(shù)據(jù)增強(qiáng)模塊通過逐層特征提取和增強(qiáng),最終生成高質(zhì)量的增強(qiáng)血管成像圖像數(shù)據(jù)。
2、本發(fā)明旨在提出血管成像圖像數(shù)據(jù)處理模型,提供一種血管成像圖像優(yōu)化方法,包括以下步驟:
3、s1、血管成像圖像數(shù)據(jù)收集,收集多張清晰血管成像圖像,形成血管成像圖像數(shù)據(jù)集;
4、s2、構(gòu)建一階段特征編碼模塊,包含適配transformer模塊;
5、s3、構(gòu)建權(quán)重補(bǔ)充模塊,包含權(quán)重補(bǔ)充操作;
6、s4、構(gòu)建二階段特征編碼模塊,包含權(quán)重補(bǔ)充模塊;
7、s5、構(gòu)建三階段特征增強(qiáng)模塊,包含混合自注意力;
8、s6、構(gòu)建多階段圖像數(shù)據(jù)增強(qiáng)模塊,包含一階段特征編碼模塊、二階段特征編碼模塊、三階段特征增強(qiáng)模塊和圖像生成卷積;
9、s7、構(gòu)建血管成像圖像數(shù)據(jù)處理模型,包含輸入、多階段圖像數(shù)據(jù)增強(qiáng)模塊和輸出;
10、s8、血管成像圖像數(shù)據(jù)處理模型訓(xùn)練及血管成像圖像數(shù)據(jù)處理,使用血管成像圖像數(shù)據(jù)集訓(xùn)練血管成像圖像數(shù)據(jù)處理模型,訓(xùn)練完成后,獲得需要處理的血管成像圖像數(shù)據(jù),輸入到血管成像圖像數(shù)據(jù)處理模型,得到增強(qiáng)血管成像圖像數(shù)據(jù)。
11、優(yōu)選地,在s1步驟中,對于血管成像圖像數(shù)據(jù)集,首先收集多張清晰血管成像圖像,包括從專業(yè)的期刊和會議論文集獲得多張清晰血管成像圖像,從科學(xué)圖像庫獲得多張清晰血管成像圖像數(shù)據(jù),使用高斯模糊、散焦模糊、運動模糊和噪聲添加對多張清晰血管成像圖像進(jìn)行模糊處理,得到多張模糊血管成像圖像,并對應(yīng)多張清晰血管成像圖像形成多個訓(xùn)練對,從而形成血管成像圖像數(shù)據(jù)集。
12、優(yōu)選地,在s2步驟中,對于一階段特征編碼模塊,輸入單張模糊血管成像圖像數(shù)據(jù)if,if∈rh×w×3,h、w和3是單張模糊血管成像圖像數(shù)據(jù)if的高、寬和通道,將單張模糊血管成像圖像數(shù)據(jù)if輸入到多個串聯(lián)的適配transformer模塊,得到特征f1,f1∈rh×w×c,h、w和c是特征f1的高、寬和通道,單個適配transformer模塊由transformer模塊和適配器層組成,transformer模塊包括多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)ffn,適配器層包含降維線性層、非線性激活函數(shù)、升維線性層和殘差連接,將適配器層插入到單個transformer模塊中多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)ffn的中間位置,形成單個適配transformer模塊。
13、優(yōu)選地,在s2步驟中,對于一階段特征編碼模塊,集成了適配transformer模塊,包括多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)ffn,并引入適配器層,通過降維線性層、非線性激活函數(shù)、升維線性層和殘差連接來增強(qiáng)特征表達(dá),這些適配器層被插入到transformer模塊的多頭自注意力機(jī)制和ffn之間,使得特征編碼模塊能夠更有效地提取和表示模糊血管成像圖像數(shù)據(jù)的高層次特征。
14、優(yōu)選地,在s3步驟中,對于權(quán)重補(bǔ)充模塊,輸入基礎(chǔ)特征fws1和優(yōu)化特征fws2,fws1∈rh×w×c,h、w和c是基礎(chǔ)特征fws1的高、寬和通道,fws2∈rh×w×c,優(yōu)化特征fws2和基礎(chǔ)特征fws1的維度一致,然后通過權(quán)重補(bǔ)充操作得到補(bǔ)充優(yōu)化特征fws2+,fws2+∈rh×w×c,權(quán)重補(bǔ)充操作具體為fws2+=fws2(gt==i)+=α·(μ·noise1+(1-μ)·noise2),gt表示真實掩碼,gt==i用于判斷每個像素的真實類別是否等于類別i,其中α是噪聲強(qiáng)度控制參數(shù),noise1是高斯噪聲項,noise2是均勻噪聲項,μ代表控制高斯噪聲項和均勻噪聲項比例的參數(shù),μ取值為0到1,·代表乘法操作,n代表高斯噪聲,β是防止分母過小的平衡項,γ是置信度調(diào)整系數(shù),confidence(i)是類別i的樣本置信度,var(i)是類別樣本頻率反比方差,u代表均勻噪聲,然后得到特征fwso,fwso∈rh×w×c,fwso=(ffn(sa(dw(fws2+)))+fws2)⊙fws1+fws1,其中dw代表深度卷積,sa代表自注意力操作,ffn代表前饋神經(jīng)網(wǎng)絡(luò),+代表逐元素相加,⊙代表逐元素乘積,特征fwso是權(quán)重補(bǔ)充模塊的輸出,特征fwso、基礎(chǔ)特征fws1和優(yōu)化特征fws2的維度保持一致。
15、優(yōu)選地,在s3步驟中,對于權(quán)重補(bǔ)充模塊,結(jié)合高斯噪聲和均勻噪聲,通過動態(tài)調(diào)整特征權(quán)重來平衡不同類別的樣本分布,使用類別樣本頻率反比方差和樣本置信度來調(diào)整噪聲強(qiáng)度,以增強(qiáng)稀少類別的特征表示,通過噪聲注入機(jī)制,提供更豐富和魯棒的特征表達(dá),從而提升血管成像圖像數(shù)據(jù)處理模型在處理不平衡數(shù)據(jù)集時的性能和準(zhǔn)確性。
16、優(yōu)選地,在s4步驟中,對于二階段特征編碼模塊,獲得一階段特征編碼模塊輸出的特征f1,f1∈rh×w×c,h、w和c是特征f1的高、寬和通道,然后獲得特征f1s,f1s∈rh×w×c,f1s=dw(sa(f1)),sa代表自注意力操作,dw代表深度卷積,然后獲得特征f1v,f1v∈rh×w×c,f1v=vae(f1),vae代表變分自編碼器,變分自編碼器包括編碼器、采樣和解碼器,然后獲得特征f1m,f1m∈rh×w×c,f1m=f1s⊙f1v,⊙代表逐元素乘積,將特征f1作為基礎(chǔ)特征fws1,將特征f1m作為優(yōu)化特征fws2,將基礎(chǔ)特征fws1和優(yōu)化特征fws2輸入到權(quán)重補(bǔ)充模塊,得到特征fwso,將特征fwso作為特征f2,f2∈rh×w×c,特征f2、特征f1v和特征f1m是二階段特征編碼模塊的輸出。
17、優(yōu)選地,在s4步驟中,對于二階段特征編碼模塊,結(jié)合了變分自編碼器vae結(jié)構(gòu),通過編碼器、采樣和解碼器進(jìn)一步壓縮和重構(gòu)特征,并結(jié)合自注意力操作和深度卷積,通過vae捕捉圖像數(shù)據(jù)的潛在表示,增強(qiáng)特征的多樣性和表示能力,并利用權(quán)重補(bǔ)充模塊動態(tài)調(diào)整特征權(quán)重,從而優(yōu)化特征的表示,使得血管成像圖像數(shù)據(jù)處理模型在處理不同類別樣本時更加魯棒和精確。
18、優(yōu)選地,在s5步驟中,對于三階段特征增強(qiáng)模塊,獲得二階段特征編碼模塊輸出的特征f2、特征f1v和特征f1m,首先獲得特征f3v,f3v∈rh×w×c,f3v=vae(f1v+f2),vae代表變分自編碼器,+代表逐元素相加,然后通過混合自注意力獲得特征f3m,f3m∈rh×w×c,混合自注意力計算為f3m=ffn(conv(f1m⊙softmax(qkt))v),其中conv代表3×3卷積,ffn代表前饋神經(jīng)網(wǎng)絡(luò),⊙代表逐元素乘積,softmax代表softmax激活函數(shù),q=f2wq,k=f2wk,v=f2wv,q代表查詢,k代表鍵,v代表值,wq是生成查詢q的權(quán)重矩陣,wk是生成鍵k的權(quán)重矩陣,wv是生成值v的權(quán)重矩陣,然后獲得增強(qiáng)特征f3,f3∈rh×w×c,f3=f3m⊙f3v,⊙代表逐元素乘積,增強(qiáng)特征f3是三階段特征增強(qiáng)模塊的輸出。
19、優(yōu)選地,在s5步驟中,對于三階段特征增強(qiáng)模塊,引入混合自注意力機(jī)制,結(jié)合變分自編碼器vae結(jié)構(gòu),通過查詢、鍵和值之間的關(guān)系增強(qiáng)特征的交互性和全局表示能力,利用vae進(jìn)一步壓縮和重構(gòu)特征,通過混合自注意力機(jī)制進(jìn)行特征的全局交互和增強(qiáng),最終生成更為魯棒和多樣化的特征表示,顯著提升血管成像圖像數(shù)據(jù)處理模型在處理復(fù)雜圖像數(shù)據(jù)任務(wù)時的表現(xiàn)。
20、優(yōu)選地,在s6步驟中,對于多階段圖像數(shù)據(jù)增強(qiáng)模塊,包含一階段特征編碼模塊、二階段特征編碼模塊、三階段特征增強(qiáng)模塊和圖像生成卷積,首先輸入單張模糊血管成像圖像數(shù)據(jù)if到一階段特征編碼模塊,得到特征f1,if∈rh×w×3,h、w和3是單張模糊血管成像圖像數(shù)據(jù)if的高、寬和通道,f1∈rh×w×c,g、w和c是特征f1的高、寬和通道,然后輸入特征f1到二階段特征編碼模塊,得到特征f2、特征f1v和特征f1m,f2∈rh×w×c,f1v∈rh×w×c,f1m∈rh×w×c,然后輸入特征f2、特征f1v和特征f1m到三階段特征增強(qiáng)模塊,得到增強(qiáng)特征f3,f3∈rh×w×c,最后將增強(qiáng)特征f3輸入到圖像生成卷積,得到單張增強(qiáng)血管成像圖像數(shù)據(jù)i+,i+∈rh×w×3,圖像生成卷積由3×3卷積實現(xiàn)。
21、優(yōu)選地,在s6步驟中,對于多階段圖像數(shù)據(jù)增強(qiáng)模塊,集成了一階段特征編碼、二階段特征編碼和三階段特征增強(qiáng)模塊,通過逐層特征提取和增強(qiáng),最終生成高質(zhì)量的增強(qiáng)血管成像圖像數(shù)據(jù),該模塊結(jié)合了適配transformer、自注意力機(jī)制、變分自編碼器vae和權(quán)重補(bǔ)充操作,使得特征在各階段得到充分的提取和優(yōu)化,提升了血管成像圖像的細(xì)節(jié)和清晰度,確保最終生成的血管成像圖像數(shù)據(jù)具有更高的質(zhì)量和可解釋性。
22、與現(xiàn)有技術(shù)相比,本發(fā)明具有以下技術(shù)效果:
23、本發(fā)明提供的技術(shù)方案提出了血管成像圖像數(shù)據(jù)處理模型,其中一階段特征編碼模塊應(yīng)用多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò),能夠有效提取模糊血管成像圖像數(shù)據(jù)的高層次特征,權(quán)重補(bǔ)充模塊通過引入高斯噪聲和均勻噪聲,動態(tài)調(diào)整特征權(quán)重,以平衡不同類別的樣本分布,二階段特征編碼模塊通過vae的編碼器、采樣和解碼器結(jié)構(gòu),能夠進(jìn)一步壓縮和重構(gòu)特征,捕捉血管成像圖像數(shù)據(jù)的潛在表示,三階段特征增強(qiáng)模塊通過混合自注意力機(jī)制,增強(qiáng)特征的交互性和全局表示能力,多階段圖像數(shù)據(jù)增強(qiáng)模塊通過逐層特征提取和增強(qiáng),最終生成高質(zhì)量的增強(qiáng)血管成像圖像數(shù)據(jù)。