本發(fā)明屬于醫(yī)學(xué)圖像分割，具體涉及一種基于medsam的弱監(jiān)督三維醫(yī)學(xué)圖像分割方法。

背景技術(shù)：

1、大多數(shù)現(xiàn)有的弱監(jiān)督語義分割方法通過訓(xùn)練分類網(wǎng)絡(luò)，并基于類激活圖從卷積神經(jīng)網(wǎng)絡(luò)中提取定位圖。然而，初始的cam往往存在不完整或冗余的問題。針對(duì)這一挑戰(zhàn)，研究者在不同階段提出了多種改進(jìn)策略，以提升cam的質(zhì)量和最終的分割效果。

2、為了解決cam的不完整性問題，一些研究通過輔助任務(wù)訓(xùn)練分類網(wǎng)絡(luò)，并設(shè)計(jì)額外的損失函數(shù)，引導(dǎo)模型發(fā)現(xiàn)更多的目標(biāo)區(qū)域。“擦除”策略是常用方法之一，通過擦除圖像或特征圖中的顯著部分，迫使網(wǎng)絡(luò)探索更多未被發(fā)現(xiàn)的區(qū)域。此外，還有研究在訓(xùn)練過程中累積多次激活結(jié)果，以提升模型性能；另一些方法則從跨圖像挖掘、自監(jiān)督機(jī)制以及抗對(duì)抗攻擊的角度提出了創(chuàng)新性改進(jìn)方案。為緩解cam的冗余問題，先前的研究采用softmax交叉熵作為附加損失來重新激活模型，或者引入分布外數(shù)據(jù)以提高泛化能力。最近，一些基于transformer架構(gòu)的方法被引入wsss任務(wù)中，并在性能上表現(xiàn)出競(jìng)爭(zhēng)力。

3、為了優(yōu)化初始cam，通過學(xué)習(xí)語義親和性來改進(jìn)定位圖質(zhì)量成為主流方法之一。例如，psa訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)像素間的語義親和性，將注意力圖中強(qiáng)響應(yīng)區(qū)域的語義傳播到語義相似的像素。irnet和bes則通過合成類別邊界，并擴(kuò)展目標(biāo)區(qū)域覆蓋范圍直至邊界，顯著提升了分割效果。此外，一些研究通過結(jié)合顯著性圖，獲取更精確的背景信息或區(qū)分共現(xiàn)目標(biāo)對(duì)象，進(jìn)一步優(yōu)化了cam。

4、在訓(xùn)練分割模型階段，現(xiàn)有方法通常通過對(duì)cam應(yīng)用全局閾值生成偽標(biāo)簽，但忽略了每個(gè)像素的置信度信息，未能充分挖掘cam的潛力。針對(duì)這一不足，pmm模型提出了一種偽裝欠擬合策略，通過重加權(quán)潛在噪聲像素的損失來提升分割性能；urn則通過多次縮放預(yù)測(cè)圖，結(jié)合條件隨機(jī)場(chǎng)進(jìn)行不確定性估計(jì)。然而，pmm的改進(jìn)僅限于損失層面，未直接利用置信度信息，而urn由于需要多次crf處理，計(jì)算效率較低。

5、另一方面，近年來，隨著人工智能技術(shù)的飛速發(fā)展，大型基礎(chǔ)模型在弱監(jiān)督語義分割領(lǐng)域的應(yīng)用日益受到關(guān)注，各種各樣運(yùn)用大型基礎(chǔ)模型開展的分割任務(wù)和方法如雨后春筍般涌現(xiàn)出來。在這一發(fā)展進(jìn)程中，研究人員著重在兩個(gè)關(guān)鍵方面投入了諸多精力，一方面是致力于基礎(chǔ)模型的架構(gòu)設(shè)計(jì)，力求打造出結(jié)構(gòu)更為合理、性能更加卓越的模型框架，使其能夠更好地適配不同的分割任務(wù)需求；另一方面，則聚焦于開發(fā)靈活且用戶友好的提示符，方便使用者能夠更便捷、高效地與模型進(jìn)行交互，引導(dǎo)模型輸出符合期望的分割結(jié)果。

6、諸多學(xué)者也在積極探索如何借助現(xiàn)有的視覺基礎(chǔ)模型來助力弱監(jiān)督語義分割工作。例如，liang等人、qin等人以及ghiasi等人，他們巧妙地利用了clip或dinov2這類強(qiáng)大的視覺基礎(chǔ)模型，通過對(duì)其進(jìn)行訓(xùn)練(通常采用微調(diào)的方式)，使其能夠與特定的分割頭或適配器相配合。經(jīng)過這樣的處理，這些基礎(chǔ)模型便能夠更好地融入到語義分割任務(wù)當(dāng)中，挖掘出更多潛在的分割線索，進(jìn)而提升分割的準(zhǔn)確性和效率。

7、尤其值得一提的是任意分割模型，它一經(jīng)問世便展現(xiàn)出了令人矚目的類別無關(guān)的分割能力，無論面對(duì)何種類型的目標(biāo)對(duì)象，都能夠較為精準(zhǔn)地進(jìn)行分割。這一卓越的表現(xiàn)無疑是取得了巨大的成功，在學(xué)界和業(yè)界都引發(fā)了強(qiáng)烈的反響，更是啟發(fā)了眾多研究人員去積極思考、嘗試設(shè)計(jì)無需大量訓(xùn)練就能實(shí)現(xiàn)有效分割的創(chuàng)新方法。在此基礎(chǔ)上，medsam的提出進(jìn)一步拓展了sam的應(yīng)用邊界，專注于醫(yī)療影像分割任務(wù)。medsam針對(duì)醫(yī)學(xué)圖像的特點(diǎn)進(jìn)行了優(yōu)化，能夠在mri、ct等復(fù)雜的醫(yī)學(xué)數(shù)據(jù)上實(shí)現(xiàn)高效、精準(zhǔn)的目標(biāo)區(qū)域分割。這一改進(jìn)不僅降低了對(duì)大規(guī)模標(biāo)注數(shù)據(jù)的依賴，更為臨床輔助診斷和醫(yī)療影像分析提供了強(qiáng)有力的支持，成為醫(yī)療影像分割領(lǐng)域的一大亮點(diǎn)。本發(fā)明基于醫(yī)學(xué)圖像分割基礎(chǔ)模型medsam，實(shí)現(xiàn)了一種弱監(jiān)督三維醫(yī)學(xué)圖像分割方法。

8、三維醫(yī)學(xué)圖像分割的目的是將ct和mri等三維醫(yī)學(xué)圖像分割成與病變或器官相對(duì)應(yīng)的密集預(yù)測(cè)像素。體積醫(yī)學(xué)圖像分割已經(jīng)從不同的角度進(jìn)行了探討，包括u-net、3d卷積網(wǎng)絡(luò)、transformers、擴(kuò)散模型、域自適應(yīng)等。其核心目標(biāo)在于將ct和mri等三維醫(yī)學(xué)圖像進(jìn)行細(xì)致分割，最終形成與病變或器官相對(duì)應(yīng)的密集預(yù)測(cè)像素，為醫(yī)學(xué)診斷等應(yīng)用提供有力的圖像分析支持。大型基礎(chǔ)模型的成功為這一領(lǐng)域帶來了新的視角和挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明屬于醫(yī)學(xué)圖像分割技術(shù)領(lǐng)域，具體涉及一種基于medsam的弱監(jiān)督三維醫(yī)學(xué)圖像分割方法。該方法基于深度學(xué)習(xí)，利用骨干網(wǎng)絡(luò)提取圖像特征并生成cam類激活熱力圖，結(jié)合cam特征信息，通過medsam進(jìn)一步增強(qiáng)分割效果。在輸入類激活熱力圖后，區(qū)別于傳統(tǒng)弱監(jiān)督分割方式，本發(fā)明創(chuàng)新地引入了一種無需訓(xùn)練標(biāo)簽、也無需依賴原型學(xué)習(xí)的分割框架，設(shè)計(jì)了csd雙向常識(shí)防御模塊和ams類激活圖疊加模塊。通過這一新型弱監(jiān)督分割框架，本發(fā)明顯著提升了僅輸入圖像級(jí)標(biāo)簽情況下的分割質(zhì)量。

2、本發(fā)明提供了一種基于medsam的弱監(jiān)督三維醫(yī)學(xué)圖像分割方法，該方法的主要步驟如下：

3、步驟1、獲取n份目標(biāo)mri影像，我們沿著特定的軸對(duì)3d圖像數(shù)據(jù)進(jìn)行切片以生成2d切片，并分為存在目標(biāo)區(qū)域和不存在目標(biāo)區(qū)域兩類，。

4、步驟2、進(jìn)行分類網(wǎng)絡(luò)訓(xùn)練，得到cam類激活熱力圖，或使用其他方式提供cam類激活熱力圖；將類激活熱力圖進(jìn)行動(dòng)態(tài)閾值分割并堆疊得到疊加分割掩碼。

5、步驟3、將疊加分割掩碼以及類激活熱力圖作為ams模塊的輸入得到初步分割結(jié)果。

6、步驟4、將步驟3中得到的分割結(jié)果，類激活熱力圖，疊加分割掩碼作為csd模塊的輸入，進(jìn)一步增強(qiáng)分割效果。

7、步驟5、將步驟4中得到的分割結(jié)果作為medsam-based?segmentation?module的輸入，得到經(jīng)由大模型增強(qiáng)后的分割結(jié)果。

8、步驟6、將步驟5中得到的分割結(jié)果按照步驟2的操作進(jìn)行疊加，替代步驟2中的疊加分割掩碼，并重復(fù)步驟3、步驟4、步驟5得到最終的分割結(jié)果。

9、作為優(yōu)選，步驟s2所述分類模型具體操作如下：

10、步驟s2.1：對(duì)于每個(gè)輸入圖像用數(shù)據(jù)增強(qiáng)方法對(duì)圖像以裁剪、翻轉(zhuǎn)的方式進(jìn)行預(yù)處理；

11、步驟s2.2：通過分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采取的學(xué)習(xí)率為0.001，訓(xùn)練10個(gè)epoch；用數(shù)據(jù)增強(qiáng)方法對(duì)圖像進(jìn)行裁剪、翻轉(zhuǎn)；對(duì)每一份mri影像中的目標(biāo)區(qū)域提取類激活熱力圖m*；設(shè)置一個(gè)超參數(shù)τ，將大于熱力圖最大值與τ乘積的位置置為1，反之置為0，得到每一幀的初始分割掩碼

12、

13、作為優(yōu)選，步驟s3中，沿著s1中規(guī)定的軸向?qū)⒊跏挤指钛诖a進(jìn)行疊加、最大最小歸一化以及動(dòng)態(tài)閾值分割，得到疊加分割掩碼。具體步驟如下：

14、步驟s3.1：疊加操作為：

15、

16、步驟s3.2：最大最小歸一化得到疊加熱力圖s，并通過動(dòng)態(tài)閾值分割得到疊加分割掩碼3d影像數(shù)據(jù)的一幀切片可以被視為視頻數(shù)據(jù)的一幀，和視頻數(shù)據(jù)相比，同樣擁有連續(xù)的視覺特征變換；之后，通過動(dòng)態(tài)閾值分割高響應(yīng)區(qū)域：

17、

18、步驟s3.3：通過取交集來減少個(gè)別切片的隨機(jī)噪聲，加強(qiáng)切片之間的一致性信號(hào)，作為初步加強(qiáng)質(zhì)量后的初始分割掩碼；

19、其中

20、作為優(yōu)選，雙向常識(shí)防御模塊，具體步驟如下：

21、步驟s4.1：判斷當(dāng)前切片是否類激活表現(xiàn)不佳，采用雙向極端判斷條件：

22、

23、表示類激活熱力圖最高響應(yīng)區(qū)域，表示堆疊圖最高相應(yīng)區(qū)域；

24、表示類激活圖動(dòng)態(tài)閾值分割區(qū)域，表示堆疊圖的動(dòng)態(tài)閾值分割區(qū)域；步驟s4.2：若當(dāng)前切片類激活表現(xiàn)良好，不滿足雙向極端判斷條件，則不做改變；若表現(xiàn)不佳，滿足雙向極端判斷條件，則進(jìn)行通過利用時(shí)間相鄰幀中的連續(xù)視覺特征變化來增強(qiáng)它們；

25、其中前一幀或后一幀可能提供更好的分割；采用雙向優(yōu)化利用相鄰幀進(jìn)行改變，其中包括反方向優(yōu)化：

26、

27、以及正方向優(yōu)化：

28、

29、其中xt表示在幀t處的原始輸入圖像，表示提取掩碼內(nèi)圖像的平均亮度值的操作，或者在沒有輸入掩碼的情況下提取整體圖像的平均亮度值。

30、作為優(yōu)選，步驟s5中，使用掩碼邊界框提取器，提取對(duì)于的邊界框bt作為medsam的輸入，得到pt為分割掩碼：pt＝medsam(xt,bt)假設(shè)分割掩碼pt包含多個(gè)連接區(qū)域ct；如果對(duì)于所有連通區(qū)域ct，k(k∈i,…,k)，滿足以下條件l(xt)>l(xt,ct，k)，即連通區(qū)域的亮度小于整個(gè)圖像的平均亮度，則認(rèn)為是存在錯(cuò)誤的，目標(biāo)區(qū)域可能不包含在任何連通區(qū)域中；在這種情況下，我們通過比較t-1幀和t+1幀的亮度，將滿足下述條件的幀替換原本的分割掩碼：

31、

32、其中，l(xt)表示了圖片整體平均亮度，l(xt,ct，k)表示了圖片處于ct，k區(qū)域的平均亮度。

33、相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：

34、首先，我們提出了一個(gè)無原型的弱監(jiān)督體醫(yī)學(xué)圖像分割框架，它將用戶從訓(xùn)練或提供原型中解放出來。

35、其次，為了降低弱監(jiān)督圖像分割中初始種子的不確定性，我們采用了激活圖疊加(ams)策略，保證了跨幀一致性，從而提高了可靠性。

36、最后，為了減輕大型基礎(chǔ)模型產(chǎn)生的意外故障，提出了一種基于極值檢查的雙向常識(shí)防御(csd)機(jī)制，以防止分割模型產(chǎn)生不合理的輸出。