本發(fā)明涉及面向三維醫(yī)學(xué)圖像的分割方法，具體涉及一種基于視覺基模型及三維編碼的交互式三維醫(yī)學(xué)圖像分割方法。

背景技術(shù)：

1、隨著醫(yī)學(xué)影像技術(shù)的不斷發(fā)展和廣泛應(yīng)用，計(jì)算機(jī)斷層掃描已經(jīng)成為疾病早期發(fā)現(xiàn)、精確診斷以及有效治療的關(guān)鍵手段。在臨床診斷中，三維醫(yī)學(xué)圖像分割扮演著至關(guān)重要的角色，它對(duì)于疾病的準(zhǔn)確診斷、手術(shù)方案的精細(xì)規(guī)劃、治療效果的評(píng)估以及后續(xù)隨訪都具有不可替代的臨床價(jià)值。然而，三維醫(yī)學(xué)圖像分割面臨著一個(gè)顯著的挑戰(zhàn)：獲取金標(biāo)準(zhǔn)數(shù)據(jù)的過程既復(fù)雜又耗時(shí)，需要專業(yè)醫(yī)生逐層仔細(xì)地勾畫和標(biāo)注，這一過程不僅耗時(shí)長(zhǎng)，而且對(duì)醫(yī)生的專業(yè)技能和經(jīng)驗(yàn)有著極高的要求。

2、深度學(xué)習(xí)技術(shù)在三維醫(yī)學(xué)圖像分割領(lǐng)域的應(yīng)用前景廣闊，但其性能高度依賴于大量高質(zhì)量的標(biāo)注數(shù)據(jù)。因此，開發(fā)快速而準(zhǔn)確的標(biāo)注方法對(duì)于實(shí)現(xiàn)高精度的三維醫(yī)學(xué)圖像分割至關(guān)重要。為了進(jìn)一步提高醫(yī)學(xué)圖像標(biāo)注的精確度和效率，研究能夠?qū)崟r(shí)響應(yīng)、高精度并且支持在線學(xué)習(xí)的交互式三維醫(yī)學(xué)圖像分割算法尤為重要。算法可以顯著加快標(biāo)注流程，提高分割的準(zhǔn)確性，還能夠優(yōu)化醫(yī)生的工作體驗(yàn)，減輕他們的負(fù)擔(dān)，并且高效地產(chǎn)生大量高質(zhì)量的標(biāo)注數(shù)據(jù)。

3、目前面向三維醫(yī)學(xué)圖像的交互式分割模型普遍存在模型體積大、參數(shù)眾多、推理時(shí)間長(zhǎng)和計(jì)算資源消耗高的問題，這些問題限制了模型的實(shí)際應(yīng)用和部署。此外，如何有效地將醫(yī)生的交互信息，如點(diǎn)擊動(dòng)作，轉(zhuǎn)化為模型可以理解的提示，從而提升分割的精度；以及如何讓模型能夠持續(xù)學(xué)習(xí)并吸收醫(yī)生的專業(yè)判讀經(jīng)驗(yàn)，增強(qiáng)其在線學(xué)習(xí)能力，對(duì)于醫(yī)學(xué)圖像分割應(yīng)用有著重要的意義。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于面向三維醫(yī)學(xué)圖像，構(gòu)建基于視覺基模型及三維編碼的神經(jīng)網(wǎng)絡(luò)，提高ct數(shù)據(jù)交互式圖像分割的精確度和效率。

2、本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，包括以下步驟：

3、一、預(yù)處理階段：即對(duì)原始ct數(shù)據(jù)進(jìn)行裁剪、標(biāo)準(zhǔn)化預(yù)處理，具體如下：

4、（1）對(duì)原始ct數(shù)據(jù)，采用確定窗口尺寸，將目標(biāo)及其周圍進(jìn)行裁剪，所得數(shù)據(jù)看作一個(gè)樣本數(shù)據(jù)；

5、（2）對(duì)每一個(gè)ct樣本數(shù)據(jù)，根據(jù)其病灶的均值和方差進(jìn)行標(biāo)準(zhǔn)化預(yù)處理；

6、二、訓(xùn)練階段：將上述經(jīng)預(yù)處理的ct樣本數(shù)據(jù)輸入基于視覺基模型sam（segmentanything?model）的交互式三維醫(yī)學(xué)圖像分割神經(jīng)網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)；所述分割神經(jīng)網(wǎng)絡(luò)包括基于視覺基模型的圖像編碼器和輕量解碼器兩個(gè)部分，其中，基于視覺基模型的圖像編碼器保持視覺基模型sam的視覺transformer特征提取結(jié)構(gòu)，將低秩適應(yīng)器和全連接適應(yīng)器結(jié)合使用，插入于視覺基模型sam的主干網(wǎng)絡(luò)中，將三維圖像的切片以二維形式進(jìn)行編碼；輕量解碼器在解碼部分，使用三維卷積提升不同切片間的信息傳遞，將提取的特征f輸入到卷積神經(jīng)網(wǎng)絡(luò)解碼器中，實(shí)現(xiàn)對(duì)輸入圖像的分割，并采用梯度下降法進(jìn)行網(wǎng)絡(luò)參數(shù)更新；

7、三、測(cè)試階段：將待分割數(shù)據(jù)使用三維編碼提取策略進(jìn)行在線學(xué)習(xí)，進(jìn)一步更新模型，具體如下：

8、（1）基于已訓(xùn)練好的網(wǎng)絡(luò)模型，對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)分割和手動(dòng)標(biāo)注，并將此過程中得到的標(biāo)注點(diǎn)擊信息進(jìn)行三維編碼；

9、（2）對(duì)三維球狀編碼q，采用提示編碼器，提升三維球狀編碼的特征提取能力；該提示編碼器使用步幅分別為?4?和?2?的卷積層將點(diǎn)擊編碼進(jìn)行兩次降采樣，每一次降采樣之后，使用配對(duì)注意力模塊進(jìn)行特征提取，最后通過全連接層得到映射后的特征，將用戶信息映射到三維圖片特征空間；

10、（3）將用戶點(diǎn)擊的三維編碼特征與圖像的詞符編碼特征相加融合，融合后特征輸入給圖像特征提取模塊，得到綜合特征提取結(jié)果f；

11、（4）將綜合特征提取結(jié)果f輸入到解碼器中，實(shí)現(xiàn)對(duì)輸入圖像的分割；

12、（5）基于用戶點(diǎn)擊所得分割結(jié)果和模型預(yù)測(cè)結(jié)果，使用交叉熵?fù)p失函數(shù)和?dice損失函數(shù)的結(jié)合，以梯度反向傳播的方式對(duì)模型進(jìn)行在線更新，將用戶經(jīng)驗(yàn)通過點(diǎn)擊反饋的形式有機(jī)地融入到模型的訓(xùn)練過程中，進(jìn)一步提升模型的準(zhǔn)確性。

13、進(jìn)一步的，所述步驟訓(xùn)練階段中，基于視覺基模型的圖像編碼器具體方法如下：

14、首先，將每個(gè)二維切片圖像i進(jìn)行詞符編碼，得到編碼后的特征，其中為詞符嵌入層；具體采用卷積核尺寸為16×16、步幅為16的二維卷積層對(duì)圖像i進(jìn)行降采樣的詞符編碼，并用卷積核長(zhǎng)度為16、步幅為16的一維卷積層在切片維度上進(jìn)行降采樣；

15、然后，對(duì)圖像i上的每個(gè)像素點(diǎn)進(jìn)行三維位置編碼，包括可學(xué)習(xí)的二維空間位置編碼和可學(xué)習(xí)的一維深度位置編碼，將二者組合得到三維空間位置編碼；其中，位置編碼為每個(gè)像素位置生成一個(gè)固定維度的向量，該向量包含了該位置的正弦和余弦值，將二者沿通道維度堆疊，得到該點(diǎn)的位置編碼特征；

16、最后，采用視覺基模型的圖像編碼器提取特征f；圖像編碼器包括2個(gè)降采樣卷積層和12個(gè)注意力機(jī)制模塊，注意力機(jī)制模塊的參數(shù)采用視覺基模型的預(yù)訓(xùn)練參數(shù)，并且加入了2個(gè)低秩適應(yīng)器和1個(gè)全連接適應(yīng)器，以提升對(duì)新數(shù)據(jù)的適應(yīng)能力。

17、進(jìn)一步的，所述采用視覺基模型的圖像編碼器提取特征f具體方法如下：

18、（1）低秩適應(yīng)器中，對(duì)于預(yù)訓(xùn)練的權(quán)重矩陣，通過低秩分解來限制其更新：

19、

20、其中，h為低秩適應(yīng)器的輸出，x為低秩適應(yīng)器的輸入，在訓(xùn)練過程中，被凍結(jié)且不接收梯度更新，低秩矩陣a和b代替原高階權(quán)重矩陣且包含可訓(xùn)練的參數(shù)；

21、（2）全連接適應(yīng)器中，對(duì)于視覺基模型sam中視覺?transformer?模塊線性層的輸出，通過增加一個(gè)線性層，使得該模塊輸出?為：

22、，

23、其中，是線性層組成的網(wǎng)絡(luò)，是可學(xué)習(xí)的向量，其維度與模型隱空間一致。

24、進(jìn)一步的，所述步驟訓(xùn)練階段中，輕量解碼器在解碼部分的具體方法如下：

25、首先，將已提取特征f輸入到兩個(gè)不同步幅的卷積層，實(shí)現(xiàn)不同尺度特征的提取：

26、，

27、其中，、和分別是步幅為1、2和4的卷積層，該卷積層采用分組卷積，將輸入通道分成三組，每組分別用共享的卷積核進(jìn)行卷積；

28、其次，采用共享線性變換將和兩種多尺度特征做進(jìn)一步映射：

29、，

30、將映射后特征連同，使用插值算法調(diào)整到同樣尺寸并進(jìn)行堆疊得到：

31、，

32、然后，采用深度注意力機(jī)制進(jìn)行三維圖像深度方向的信息傳遞：

33、1）提取高度方向的全局特征：

34、，

35、其中，?為二維的全局特征提取函數(shù)，即高效平均池化操作，將高和寬維度壓縮，保留深度維度，將特征從三維變成一維；

36、2）采用自注意力機(jī)制，得到深度方向信息傳遞后的特征：

37、，

38、其中，sa為自注意力操作；

39、3）采用對(duì)原始特征進(jìn)行尺度縮放調(diào)整，實(shí)現(xiàn)對(duì)三維醫(yī)學(xué)圖像不同切片間信息的傳遞：

40、；

41、最后，采用全連接層構(gòu)成的預(yù)測(cè)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的分割：

42、。

43、進(jìn)一步的，所述步驟進(jìn)行三維編碼的具體方法如下：

44、首先，對(duì)三維空間中的每個(gè)體素，計(jì)算其位置與用戶點(diǎn)擊位置的距離，即

45、，

46、對(duì)每個(gè)體素求出其與所有用戶點(diǎn)擊最近距離，即

47、，

48、其中，n為用戶點(diǎn)擊數(shù)；

49、然后，對(duì)此距離進(jìn)行二值化處理，得到三維球狀編碼q，確保用戶點(diǎn)擊位置附近球狀區(qū)域是1，其余區(qū)域?yàn)?，標(biāo)記用戶點(diǎn)擊位置，取值描述當(dāng)前體素與用戶點(diǎn)擊的距離；

50、最后，將用戶的點(diǎn)擊分為正向點(diǎn)擊和負(fù)向點(diǎn)擊兩個(gè)點(diǎn)集，分別計(jì)算三維球狀編碼后的結(jié)果堆疊為兩通道的三維體素，將點(diǎn)擊信息編碼為三維形式。

51、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

52、（1）本發(fā)明提出了交互式三維醫(yī)學(xué)圖像分割模型框架，并設(shè)計(jì)了高效微調(diào)策略和網(wǎng)絡(luò)結(jié)構(gòu)，即將低秩適應(yīng)器和全連接適應(yīng)器相結(jié)合，將三維圖像的切片以二維形式進(jìn)行編碼，在解碼部分使用三維卷積提升不同切片間的信息傳遞，最后得到三維分割結(jié)果。本發(fā)明設(shè)計(jì)的框架減少了模型參數(shù)量以及訓(xùn)練的算力需求，同時(shí)保證了模型的高精度和實(shí)時(shí)性；

53、（2）本發(fā)明提出了三維點(diǎn)擊編碼特征提取策略，可以更好地將用戶的點(diǎn)擊信息輸入給網(wǎng)絡(luò)，不斷提高模型的在線學(xué)習(xí)性能。將用戶的判讀經(jīng)驗(yàn)通過點(diǎn)擊反饋的形式有機(jī)地融入到模型的訓(xùn)練過程中，進(jìn)一步提升模型的準(zhǔn)確性。