本技術(shù)涉及圖像處理，特別是一種涉及基于restormer模型的超聲圖像中人工標(biāo)記去除方法、裝置及其可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在醫(yī)療診斷中，超聲檢查應(yīng)用廣泛。醫(yī)生為精準(zhǔn)指示病變部位，會(huì)在超聲圖像上添加人工標(biāo)記（如十字線、數(shù)字和字母），這對(duì)傳統(tǒng)診斷有很大幫助。但隨著深度學(xué)習(xí)在醫(yī)療影像處理領(lǐng)域的深入應(yīng)用，這些人工標(biāo)記成為新問題。深度學(xué)習(xí)模型依賴大量標(biāo)注數(shù)據(jù)訓(xùn)練，以識(shí)別病灶特征，而超聲圖像中的人工標(biāo)記常被模型誤認(rèn)作病灶的一部分，導(dǎo)致特征提取和學(xué)習(xí)出現(xiàn)偏差，影響模型在分類、分割和檢測(cè)任務(wù)中的準(zhǔn)確性和魯棒性，所以去除超聲圖像人工標(biāo)記迫在眉睫。

2、目前去除超聲圖像人工標(biāo)記的方法主要有以下幾類：

3、1.傳統(tǒng)圖像修復(fù)算法：像criminisi算法和部分卷積技術(shù)，需手動(dòng)標(biāo)注掩膜定義修復(fù)區(qū)域，操作繁瑣耗時(shí)，難以大規(guī)模應(yīng)用。而且在處理復(fù)雜背景圖像時(shí)，易丟失細(xì)節(jié)和紋理信息，修復(fù)后圖像質(zhì)量差。

4、2.基于卷積神經(jīng)網(wǎng)絡(luò)（cnn）的深度學(xué)習(xí)方法：如基于u-net的圖像修復(fù)網(wǎng)絡(luò)等，雖能自動(dòng)去除標(biāo)記，但cnn模型感受野固定，難以捕捉長(zhǎng)距離依賴信息，在處理復(fù)雜背景或形狀多變的標(biāo)記時(shí)效果不佳，且大多仍需手動(dòng)標(biāo)注掩膜，受掩膜質(zhì)量影響大。

5、3.盲修復(fù)方法：這類方法無(wú)需手動(dòng)掩膜，可自動(dòng)檢測(cè)修復(fù)受損區(qū)域。然而現(xiàn)有的盲修復(fù)算法在處理多樣化標(biāo)記時(shí)，存在定位不準(zhǔn)、修復(fù)效果差的問題，在復(fù)雜背景下易受干擾，修復(fù)結(jié)果不穩(wěn)定。

6、4.基于transformer的圖像修復(fù)方法：transformer模型通過自注意力機(jī)制能捕捉圖像遠(yuǎn)距離依賴關(guān)系，在圖像修復(fù)任務(wù)中展現(xiàn)出強(qiáng)大的特征建模能力，處理超聲圖像人工標(biāo)記去除任務(wù)有較大潛力。

7、因此，亟待一種基于restormer模型的超聲圖像中人工標(biāo)記去除方法、裝置及其可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)存在的問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種基于restormer模型的超聲圖像中人工標(biāo)記去除方法、裝置及其可讀存儲(chǔ)介質(zhì)，針對(duì)目前技術(shù)存在的用于去除超聲圖像中人工標(biāo)記的方法，包括傳統(tǒng)圖像修復(fù)算法、基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法、盲修復(fù)方法等，存在依賴人工標(biāo)注掩膜、處理復(fù)雜標(biāo)記效果差、易受背景干擾、定位不準(zhǔn)確、難以同時(shí)保持圖像細(xì)節(jié)和去除標(biāo)記以及修復(fù)不完全等問題，影響深度學(xué)習(xí)模型在相關(guān)任務(wù)中的準(zhǔn)確性和性能等問題。

2、本發(fā)明核心技術(shù)主要是以restormer模型為基礎(chǔ)，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與自注意力機(jī)制，采用編碼-解碼架構(gòu)及多維卷積頭轉(zhuǎn)置注意力和門控深度卷積前饋網(wǎng)絡(luò)模塊，自動(dòng)檢測(cè)并修復(fù)超聲圖像中的人工標(biāo)記，提升深度學(xué)習(xí)模型性能。

3、第一方面，本技術(shù)提供了超聲圖像中人工標(biāo)記去除方法，所述方法包括以下步驟：

4、s1、收集甲狀腺超聲圖像數(shù)據(jù)作為數(shù)據(jù)集并進(jìn)行預(yù)處理；

5、其中，所述數(shù)據(jù)集包括帶有人工標(biāo)記和無(wú)標(biāo)記的樣本；

6、s2、將預(yù)處理后的數(shù)據(jù)集輸入restormer模型，通過該restormer模型的編碼器提取多尺度特征并降低分辨率，再通過該restormer模型的解碼器恢復(fù)高分辨率特征；

7、s3、通過restormer模型的多維卷積頭轉(zhuǎn)置注意力模塊調(diào)整注意力權(quán)重，通過restormer模型的門控深度卷積前饋網(wǎng)絡(luò)模塊篩選保留關(guān)鍵特征，去除人工標(biāo)記；

8、s4、采用漸進(jìn)式學(xué)習(xí)策略分階段訓(xùn)練restormer模型；

9、s5、在去除人工標(biāo)記后的數(shù)據(jù)集上進(jìn)行多任務(wù)測(cè)試，包括分類、分割和目標(biāo)檢測(cè)任務(wù)，以全面評(píng)估模型性能提升。

10、進(jìn)一步地，s1步驟中，預(yù)處理包括對(duì)采集到的甲狀腺超聲圖像數(shù)據(jù)進(jìn)行清理和篩選，剔除模糊或低質(zhì)量的樣本，然后采用數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集。

11、進(jìn)一步地，s2步驟中，編碼器通過多層卷積操作和自注意力機(jī)制提取數(shù)據(jù)集的多尺度特征，并降低圖像分辨率，解碼器通過像素重組和跳躍連接機(jī)制恢復(fù)高分辨率特征，保留圖像細(xì)節(jié)信息。

12、進(jìn)一步地，s3步驟中，多維卷積頭轉(zhuǎn)置注意力模塊通過動(dòng)態(tài)卷積調(diào)整通道間的注意力權(quán)重，自適應(yīng)捕捉超聲圖像中的全局和局部特征，門控深度卷積前饋網(wǎng)絡(luò)模塊引入門控機(jī)制，篩選和保留關(guān)鍵特征信息，以有效去除人工標(biāo)記。

13、進(jìn)一步地，s4步驟中，采用漸進(jìn)式學(xué)習(xí)策略將訓(xùn)練過程分為多個(gè)階段，逐步調(diào)整輸入圖像的補(bǔ)丁大小和批量大小，并使用adamw優(yōu)化器進(jìn)行權(quán)重更新，訓(xùn)練過程中采用l1損失函數(shù)作為優(yōu)化目標(biāo)，并通過峰值信噪比和結(jié)構(gòu)相似性指數(shù)評(píng)估去標(biāo)記后的圖像質(zhì)量。

14、進(jìn)一步地，s4步驟中，訓(xùn)練過程中，將adamw優(yōu)化器的初始學(xué)習(xí)率設(shè)置為0.00125，權(quán)重衰減系數(shù)設(shè)置為0.001。

15、進(jìn)一步地，s5步驟中，所述分類任務(wù)采用視覺轉(zhuǎn)換器對(duì)甲狀腺結(jié)節(jié)進(jìn)行良惡性分類，以評(píng)估去標(biāo)記后的數(shù)據(jù)對(duì)分類準(zhǔn)確率的提升效果；

16、所述分割任務(wù)采用unet模型對(duì)結(jié)節(jié)區(qū)域進(jìn)行精確分割，驗(yàn)證去標(biāo)記圖像對(duì)病灶區(qū)域分割精度的改進(jìn)；

17、所述目標(biāo)檢測(cè)任務(wù)基于yolov8架構(gòu)對(duì)結(jié)節(jié)位置進(jìn)行檢測(cè)，以評(píng)估去標(biāo)記處理對(duì)目標(biāo)檢測(cè)性能的增強(qiáng)效果。

18、第二方面，本技術(shù)提供了一種基于restormer模型的超聲圖像中人工標(biāo)記去除裝置，包括：

19、采集模塊，收集甲狀腺超聲圖像數(shù)據(jù)作為數(shù)據(jù)集并進(jìn)行預(yù)處理；

20、其中，數(shù)據(jù)集包括帶有人工標(biāo)記和無(wú)標(biāo)記的樣本；

21、特征提取模塊，將預(yù)處理后的數(shù)據(jù)集輸入restormer模型，通過該restormer模型的編碼器提取多尺度特征并降低分辨率，再通過該restormer模型的解碼器恢復(fù)高分辨率特征；

22、去除人工標(biāo)記模塊，通過restormer模型的多維卷積頭轉(zhuǎn)置注意力模塊調(diào)整注意力權(quán)重，通過restormer模型的門控深度卷積前饋網(wǎng)絡(luò)模塊篩選保留關(guān)鍵特征，去除人工標(biāo)記；

23、訓(xùn)練模塊，采用漸進(jìn)式學(xué)習(xí)策略分階段訓(xùn)練restormer模型；

24、評(píng)估模塊，在去除人工標(biāo)記后的數(shù)據(jù)集上進(jìn)行多任務(wù)測(cè)試，包括分類、分割和目標(biāo)檢測(cè)任務(wù)，以全面評(píng)估模型性能提升。

25、第三方面，本技術(shù)提供了一種電子裝置，包括存儲(chǔ)器和處理器，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，處理器被設(shè)置為運(yùn)行計(jì)算機(jī)程序以執(zhí)行上述的超聲圖像中人工標(biāo)記去除方法。

26、第四方面，本技術(shù)提供了一種可讀存儲(chǔ)介質(zhì)，可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序包括用于控制過程以執(zhí)行過程的程序代碼，過程包括根據(jù)上述的超聲圖像中人工標(biāo)記去除方法。

27、本發(fā)明的主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下：

28、1.無(wú)掩碼盲修復(fù)，提高效率與準(zhǔn)確性

29、本發(fā)明提出基于restormer模型的無(wú)掩碼盲修復(fù)方法，無(wú)需人工標(biāo)注掩膜，通過模型自適應(yīng)學(xué)習(xí)識(shí)別并去除人工標(biāo)記。這避免了傳統(tǒng)方法中手動(dòng)繪制掩膜的煩瑣操作，節(jié)省大量時(shí)間和人力成本，且有效減少了人工標(biāo)注帶來的誤差。例如，傳統(tǒng)的criminisi算法等手動(dòng)標(biāo)注掩膜的方法，在處理大量超聲圖像時(shí)效率低下，而本發(fā)明可實(shí)現(xiàn)自動(dòng)化處理，顯著提高修復(fù)效率。

30、模型能準(zhǔn)確識(shí)別并處理形態(tài)復(fù)雜和位置隨機(jī)的人工標(biāo)記，有效克服現(xiàn)有方法在處理多樣化標(biāo)記時(shí)的局限性，提高標(biāo)記去除的準(zhǔn)確性，使修復(fù)后的圖像更接近真實(shí)無(wú)標(biāo)記圖像。

31、2.出色的圖像細(xì)節(jié)保留與修復(fù)效果

32、restormer模型的編碼-解碼結(jié)構(gòu)結(jié)合mdta和gdfn模塊，可高效捕捉圖像局部和全局特征。在去除人工標(biāo)記的同時(shí)，能很好地保留圖像的細(xì)節(jié)和紋理信息，有效恢復(fù)標(biāo)記區(qū)域的圖像內(nèi)容。與傳統(tǒng)圖像修復(fù)方法相比，如部分傳統(tǒng)算法在處理復(fù)雜背景超聲圖像時(shí)易丟失細(xì)節(jié)，本發(fā)明在復(fù)雜背景和多種標(biāo)記情況下仍能保持優(yōu)越的修復(fù)效果，確保修復(fù)后的圖像質(zhì)量，為后續(xù)診斷提供更可靠依據(jù)。

33、3.顯著提升深度學(xué)習(xí)模型性能

34、通過去除超聲圖像中的人工標(biāo)記，有效消除了標(biāo)記對(duì)深度學(xué)習(xí)模型（如分類、分割和目標(biāo)檢測(cè)模型）的干擾。實(shí)驗(yàn)表明，在分類任務(wù)中準(zhǔn)確率提升27.38%，分割任務(wù)中iou提升45.33%，目標(biāo)檢測(cè)任務(wù)中map50提升0.644、map50-95提升0.451，使模型能更精準(zhǔn)地關(guān)注真實(shí)病灶特征，從而顯著提升模型在各類任務(wù)中的整體性能，提高疾病診斷的準(zhǔn)確性和可靠性，有助于醫(yī)療影像處理領(lǐng)域的智能化發(fā)展。

35、本技術(shù)的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)在以下附圖和描述中提出，以使本技術(shù)的其他特征、目的和優(yōu)點(diǎn)更加簡(jiǎn)明易懂。