本發(fā)明涉及的領域為醫(yī)學圖像處理領域,特別涉及一種針對心外膜脂肪組織的分割及體積計算方法和系統(tǒng),為臨床診斷提供更高效和精確的技術支持,幫助心血管疾病的早期分析與診斷。本發(fā)明來源于山西省科技廳重點研發(fā)計劃“基于大數(shù)據(jù)分析的腦卒中發(fā)病風險預測關鍵技術研究及應用”。
背景技術:
1、心外膜脂肪組織(epicardial?adipose?tissue,eat)位于心肌和心包臟層之間,在心肌表面分布不均勻,大部分脂肪組織位于房室溝和室間溝。eat可分泌多種炎癥因子,并直接作用于心血管局部,調節(jié)冠狀動脈代謝和功能,進而引起身體病理生理狀態(tài)的變化。許多研究表明eat與心血管疾病的發(fā)展密切相關,因此,分割心外膜脂肪組織在心血管疾病的診斷和預后中是非常重要的。
2、與其他分割任務相比,分割和量化eat尤其具有挑戰(zhàn)性。eat在心臟周圍分布不均勻,具有難以自動檢測的明顯形狀。而且,心外膜和心旁脂肪組織具有相似的強度,并且由心包作為邊界,但心包通常太薄,不能在ct或mri圖像中完全看到。現(xiàn)在有許多方法可以分割和量化eat。eat的自動分割方法大致可以分為四類:基于強度的方法、基于聚類的方法,基于機器學習的方法和基于深度學習的方法。
3、隨著深度學習技術的發(fā)展,出現(xiàn)一些使用3d深度學習模型分割eat的方法,例如,現(xiàn)有技術siriapisith?t,kusakunniran?w,haddawy?p.a3d?deep?learning?approach?toepicardial?fat?segmentation?in?non-contrast?and?post-contrast?cardiac?ctimages[j].peerj?computer?science,2021,7:e806.通過將注意力門和深度監(jiān)督集成到3du-net深度學習架構中來實現(xiàn)eat的3d分割的新方法。然而,3d模型需要許多計算資源,并且硬件條件及算力的限制會影響網絡的收斂速度。
4、除此之外,還有使用2d深度學習模型分割eat的方法,例如,現(xiàn)有技術qu?j,changy,sun?l,et?al.deep?learning-based?approach?for?the?automatic?quantificationof?epicardial?adipose?tissue?from?non-contrast?ct[j].cognitive?computation,2022,14(4):1392-1404.通過將傳統(tǒng)cnn神經網絡(t-cnn)和多尺度注意力機制集成到u-net架構相結合來實現(xiàn)eat量化的方法。
5、但是,這些進展伴隨著兩個待解決的問題。第一個問題是由于心外膜脂肪組織是以心包為邊界,而心包在ct影像中較為模糊,并不清晰可見,從而導致模型訓練中可能會出現(xiàn)丟失邊緣細節(jié)的問題;第二個問題是心外膜脂肪組織在心肌表面分布不均勻,大部分脂肪位于房室溝和室間溝間隙中,同時,心外膜脂肪組織具有個體差異性,不同患者的心外膜脂肪組織的大小,形狀,位置等方面存在明顯差異,如果只考慮單一尺度的特征,模型很容易錯過一些關鍵信息,因此,如何捕捉不同尺度的目標區(qū)域也尤為重要。
技術實現(xiàn)思路
1、本發(fā)明針對以上兩個問題提供了一種針對心外膜脂肪組織分割及體積計算方法和系統(tǒng)。
2、本發(fā)明采用如下技術方案:
3、一種針對心外膜脂肪組織的分割及體積計算方法,包括以下步驟:
4、構建mbsa-unet:構建基于邊緣多尺度空間注意力的心外膜脂肪組織分割模型mbsa-unet;mbsa-unet采用改進unet架構作為主干網絡,包括編碼器模塊、邊緣細化模塊、交叉多尺度注意力模塊和解碼器模塊;
5、在編碼器模塊中,包括五層卷積編碼塊、四個最大池化層,卷積編碼塊包含兩個2d卷積層,每個卷積層包含一個卷積核為3,填充值為1的卷積核和一個批歸一層和一個relu激活層;對原始輸入圖像進行五次卷積編碼計算和四次最大池化層計算進行下采樣操作;在第一層卷積編碼塊和第二層卷積編碼塊基礎上,構建邊緣細化模塊,邊緣細化模塊通過使用多尺度卷積、空間注意力機制和邊緣檢測算子,細化特征圖的邊界;
6、在網絡跳躍連接處,構建交叉多尺度注意力模塊,交叉多尺度注意力模塊包含兩個分支,其中是一個卷積核為3的雙重注意力模塊分支,另一個是卷積核為7的雙重注意力模塊分支;
7、在解碼器模塊中,包括四層卷積解碼塊和一個輸出塊;卷積解碼塊包括兩個2d卷積層、一個雙線性插值層和一個通道拼接層;每個2d卷積層包含一個卷積核為3,填充值為1的卷積核,一個批歸一化層和一個relu激活層;輸出塊由一個卷積核為1的2d卷積層、一個批歸一化層、一個relu激活層構成;
8、分割步驟:使用訓練好的模型對心外膜脂肪組織進行分割;
9、體積計算步驟:根據(jù)心外膜脂肪組織的分割結果,對心外膜脂肪組織進行體積計算。
10、所述的方法,構建mbsa-unet之前還包括數(shù)據(jù)收集步驟和數(shù)據(jù)預處理步驟;數(shù)據(jù)收集:收集心臟ct圖像數(shù)據(jù)原始影像數(shù)據(jù)和對應的目標區(qū)域手動分割結果數(shù)據(jù)分別構成原始圖像數(shù)據(jù)集i和標簽數(shù)據(jù)集l;數(shù)據(jù)預處理步驟:對原始圖像數(shù)據(jù)集和標簽數(shù)據(jù)集進行數(shù)據(jù)預處理,并按80%和20%的比例分別構建原始圖像訓練數(shù)據(jù)集itrain、原始圖像測試數(shù)據(jù)集itest、手動分割結果訓練數(shù)據(jù)集ltrain和手動分割結果測試數(shù)據(jù)集ltest。
11、所述的方法,數(shù)據(jù)預處理步驟包括:三維醫(yī)學圖像切片、二維圖像歸一化、二維圖像縮放;
12、若醫(yī)學圖像為三維圖像,則將每個原始醫(yī)學影像數(shù)據(jù)和對應的目標區(qū)域手動分割結果數(shù)據(jù)按z軸進行二維切片;
13、為了加速神經網絡訓練收斂保證網絡快速收斂,首先對所有二維圖像進行歸一化,即將圖像的每個像素值從[0,255]變?yōu)閇0,1];歸一化公式如下:
14、
15、其中,xi表示第i個像素值,max(x)和max(x)分別代表像素的最大最小值;
16、對所有圖像數(shù)據(jù)使用pil包中的resize()函數(shù)進行縮放,圖像大小縮放至256×256。
17、所述的方法,體積計算步驟中,根據(jù)心外膜脂肪組織的分割結果,將心外膜脂肪組織區(qū)域的分割結果進行二值化處理后,沿著z軸按順序進行堆疊,形成完整的三維結構,結合相鄰體素之間的體素間距、圖像的空間分辨率以及非零體素數(shù)量,精準計算心外膜脂肪組織區(qū)域的體積大小,確保體積計算的準確性;
18、volume=voxels×(spacing[x]×spacing[y]×spacing[z])
19、其中,voxels是非零體素數(shù)量,spacing[x]是x軸體素間距,spacing[y]是y軸體素間距,spacing[z]是z軸體素間距。
20、所述的方法,所述的邊緣細化模塊中具體計算步驟如下:
21、將編碼器第一層的特征圖定義為f1,編碼器第二層的特征圖定義為f2;將特征圖f1和特征圖f2通道拼接起來形成f12,操作如下式所示:
22、f12=concat[f1,f2]
23、concat[·]為通道拼接操作;
24、將f12輸入到擴張率分別為1和3的擴張卷積塊中,并進行通道拼接,得到輸出特征圖f12',
25、f12'=concat[conv1×1(f12),conv3×3(f12)]
26、其中,conv1×1表示擴張率為1,卷積核為3的擴張卷積,conv3×3表示擴張率為3,卷積核為3的擴張卷積;
27、再將f12'和f12通過擴張率為5的擴張卷積后的結果,進行通道拼接,并輸入到空間注意力機制(sa)后與f12逐元素相加得到f23';
28、f23'=sa(concat[f12',conv5×5(f12)])+f12
29、conv5×5表示擴張率為5,sa表示空間注意力操作,包括一個最大池化層、一個平均池化層、一個通道拼接層和一個卷積核為3的2d卷積;
30、sa=conv[concat[maxpool(x),avgpool(x)]]
31、其中,conv表示卷積核為3的2d卷積,maxpool表示最大池化層,avgpool表示平均池化層;
32、f23'與輸入x經過canny邊緣檢測算子得到的特征圖,逐元素相加后獲得最后的輸出邊緣特征圖attedge;
33、attedge=f23'+canny(x)。
34、所述的方法,所述的交叉多尺度注意力模塊:首先對來自編碼器的圖像和來自上一級解碼器的圖像進行交叉多尺度注意力模塊,然后將來自兩個分支的結果逐元素相加得到最后的特征圖,輸出到同級解碼器中。
35、所述的方法,所述雙重注意力模塊包含兩個卷積層、一個空間注意力模塊和一個反向空間注意力模塊;來自編碼器第l層的特征圖先進行空間注意力模塊,空間注意力模塊包含最大池化層和平均池化層,將通道數(shù)壓縮為1,然后將結果進行通道拼接,經過一個卷積核為k的卷積層,如下式:
36、
37、
38、來自第l-1層解碼器的特征圖同樣先經過一個卷積核為k的卷積層,然后通過sigmoid激活函數(shù),再使用1減去該結果,得到反向注意力特征圖,如下式:
39、
40、
41、最后將attsa和attra兩個注意力特征圖逐元素相加,得到最終的注意力特征圖,與第l層編碼器特征圖逐元素相乘,再與和逐元素相加,得到最后的輸出特征圖如下式所示:
42、
43、所述的方法,所述的編碼器模塊:首先,解碼器第l-1層特征圖首先通過卷積解碼塊,利用雙線性插值層將特征圖尺寸放大兩倍,其次,與進行通道拼接,形成新的特征圖,傳遞給下一層的解碼模塊,如下式所示:
44、
45、上式中,upsample表示雙線性插值層實現(xiàn)上采樣;除此之外,在第3,4層解碼器塊中,來自解碼器模塊的特征圖與邊緣特征圖attedge逐元素相乘并相加得到對應層的解碼器特征圖,如下式所示:
46、
47、最后將特征圖輸入到輸出塊,輸出最終的分割結果。
48、一種針對心外膜脂肪組織分割及體積計算系統(tǒng),其中執(zhí)行上述任一所述的方法。
49、本發(fā)明具有以下有益效果:
50、1.通過在網絡中引入邊緣細化模塊,集成注意力機制和邊緣檢測算子,解決了邊緣模糊,邊緣細節(jié)容易丟失或多余的問題,能夠更好地保留心外膜脂肪組織的邊界細節(jié),確保模型在邊界區(qū)域的精確性,提高對心外膜脂肪組織的分割效果。
51、2.針對心外膜脂肪組織在心臟表面分布不均、個體差異性大的特點,在網絡中引入交叉多尺度注意力模塊,通過使用不同大小的卷積核和反向注意力機制,捕獲不同尺度和形狀的心外膜脂肪區(qū)域特征,增強模型對關鍵區(qū)域的感知能力。