本發(fā)明涉及圖像形態(tài)學(xué)操作，具體指一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法。

背景技術(shù)：

1、美國國家肺癌篩查試驗(yàn)(nlst)研究表明，定期影像學(xué)檢查和肺功能評(píng)估有助于追蹤結(jié)節(jié)的變化，并預(yù)測(cè)其惡性風(fēng)險(xiǎn)，進(jìn)而提高早期發(fā)現(xiàn)的可能性，顯著提升生存率。然而，現(xiàn)有的評(píng)估方法主要依賴單次ct掃描，限制了對(duì)結(jié)節(jié)進(jìn)展的深入了解，可能導(dǎo)致晚期診斷。定期影像學(xué)隨訪有助于動(dòng)態(tài)收集結(jié)節(jié)變化數(shù)據(jù)，從而提高惡性腫瘤預(yù)測(cè)與預(yù)防的準(zhǔn)確性，改善患者健康預(yù)后。

2、然而早期的許多工作通常依賴單時(shí)間點(diǎn)的影像數(shù)據(jù)進(jìn)行分類與預(yù)測(cè)，但這種方法無法充分捕捉結(jié)節(jié)隨時(shí)間變化的動(dòng)態(tài)信息。相比之下，使用隨訪數(shù)據(jù)進(jìn)行多時(shí)間點(diǎn)分析可以更好地反映病變的進(jìn)展，提高預(yù)測(cè)的準(zhǔn)確性和可靠性。盡管如此，現(xiàn)有的多時(shí)間點(diǎn)研究未能充分整合臨床數(shù)據(jù)，未能實(shí)現(xiàn)多模態(tài)融合，限制了模型在綜合臨床信息方面的潛力。其次，在結(jié)合多模態(tài)和多時(shí)間點(diǎn)數(shù)據(jù)時(shí)，很多研究采用簡(jiǎn)單的時(shí)間維度拼接方式，未能充分利用時(shí)間維度的豐富特征，限制了模型對(duì)時(shí)間變化的深入理解。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，首先在隨訪的ct圖像數(shù)據(jù)中提取特征，進(jìn)行時(shí)空融合，然后與文本臨床數(shù)據(jù)相結(jié)合，有效提升分類的準(zhǔn)確性和魯棒性。

2、為了解決上述技術(shù)問題，本發(fā)明的技術(shù)方案為：

3、一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，包括如下步驟：

4、步驟1、獲取ct圖像數(shù)據(jù)并進(jìn)行預(yù)處理得到roi圖像；

5、步驟2、通過一個(gè)空間特征提取模塊提取roi圖像中的空間特征，并將對(duì)應(yīng)的臨床數(shù)據(jù)，通過詞嵌入獲得文本特征；

6、步驟3、通過時(shí)間殘差融合模塊，將輸入來自不同時(shí)間段t0和t1的空間特征，并通過多層次特征融合策略對(duì)輸入的特征數(shù)據(jù)進(jìn)行融合；融合后的特征通過上采樣恢復(fù)分辨率，并通過全局平均池化進(jìn)行整合；全局平均池化整合后通過卷積層對(duì)多尺度特征進(jìn)行精細(xì)化處理；最后，進(jìn)行加權(quán)融合；

7、步驟4、將通過時(shí)間殘差融合模塊時(shí)空融合后的ct圖像時(shí)空特征與文本特征輸入到一個(gè)跨模態(tài)注意力融合網(wǎng)絡(luò)中，進(jìn)行初步融合得到最終的跨模態(tài)注意力圖；

8、步驟5、應(yīng)用一個(gè)多頭自注意力融合塊對(duì)跨模態(tài)注意力圖進(jìn)行進(jìn)一步融合處理，得到基于最終的融合時(shí)空數(shù)據(jù)與臨床數(shù)據(jù)的特征表示；

9、步驟6、最后基于最終的融合時(shí)空數(shù)據(jù)與臨床數(shù)據(jù)的特征表示通過一個(gè)fc層輸出良惡性分類結(jié)果。

10、作為優(yōu)選，所述步驟1中，對(duì)于ct圖像的預(yù)處理方法為：

11、將所有的ct圖像的hu值調(diào)整到[-1200，600]之間，然后根據(jù)結(jié)節(jié)位置信息，將ct圖像裁剪為16*64*64的roi圖像。

12、作為優(yōu)選，所述步驟3中，加權(quán)融合時(shí)，使用一個(gè)學(xué)習(xí)的融合機(jī)制動(dòng)

13、態(tài)調(diào)整來自不同時(shí)間點(diǎn)的特征權(quán)重α0和α1，表達(dá)式如下：

14、stffeat＝σ(α0)*ffeat+σ(α1)*t1。

15、其中，ffeat是t0和t1兩個(gè)時(shí)間段的空間特征的融合特征。

16、作為優(yōu)選，所述空間特征提取模塊結(jié)合了3dresnet和cbam模塊。

17、具體的，在3d?resnet的殘差塊中引入cbam模塊，通過其通道注意力和空間注意力機(jī)制對(duì)卷積輸出進(jìn)行優(yōu)化后與跳躍連接相加。既保留了3d?resnet強(qiáng)大的空間特征提取能力，又增強(qiáng)了對(duì)關(guān)鍵特征區(qū)域的聚焦，從而顯著提升了模型的表達(dá)力、魯棒性和分類準(zhǔn)確性。

18、作為優(yōu)選，所述步驟4中，跨模態(tài)注意力融合網(wǎng)絡(luò)的融合方法為：

19、首先通過采用全連接層將圖像特征xi和文本特征yi分別轉(zhuǎn)換為x∈r^(b*d)和y∈r^(b*d)，其中，b是指batchsize，d是指圖像與文本降維后的維度。通然后過一個(gè)全連接層對(duì)輸入的進(jìn)行降維，分別將降維后的特征輸入至1×1卷積層，從而轉(zhuǎn)換為三個(gè)特征空間，同時(shí)生成相應(yīng)的權(quán)重矩陣，隨后，計(jì)算特征之間的匹配度，表達(dá)式如下：

20、

21、其中，s＝w*h表示隨訪影像的空間域尺寸，β和ρ分別表示影像和臨床文本在空間域的匹配得分，q1、q2、k1和k2分別為圖像特征是xi，文本特征是yi，經(jīng)過全連接層生成后續(xù)注意力機(jī)制所需的矩陣；si,j指的是影像各個(gè)不同特征與文本的匹配度，ti,j指的是文本各個(gè)不同特征與影像的匹配度。

22、作為優(yōu)選，所述得分βj，i和ρj，i用于加權(quán)相應(yīng)的特征值，生成最終的跨模態(tài)注意力圖。

23、作為優(yōu)選，所述步驟2-步驟6構(gòu)成csf-net模型，所述csf-net模型配備geforcertx?3090ti?gpu的設(shè)備上，使用torch-2.1.0-cu12.1-cudnn8.9框架實(shí)現(xiàn)。

24、作為優(yōu)選，所述csf-net模型訓(xùn)練時(shí)，采用交叉熵?fù)p失函數(shù)和adam優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)為0.0001，總訓(xùn)練輪次為200輪。

25、本發(fā)明具有以下的特點(diǎn)和有益效果：

26、采用上述技術(shù)方案，將多時(shí)間點(diǎn)隨訪數(shù)據(jù)與臨床數(shù)據(jù)相結(jié)合，以增強(qiáng)對(duì)肺結(jié)節(jié)未來惡性轉(zhuǎn)化的預(yù)測(cè)能力。設(shè)計(jì)了一個(gè)時(shí)間殘差融合模塊，有效地結(jié)合了不同時(shí)間點(diǎn)的特征。采用跨模態(tài)注意力融合，學(xué)習(xí)時(shí)空特征與臨床特征，從而提升了模型的準(zhǔn)確性與魯棒性。

27、通過整合時(shí)空特征與臨床文本信息，構(gòu)建了高效的跨模態(tài)融合框架，能夠有效應(yīng)對(duì)信息缺失并提升特征提取的全面性與準(zhǔn)確性。實(shí)驗(yàn)結(jié)果充分驗(yàn)證了所提方法的優(yōu)越性，證明其在肺結(jié)節(jié)良惡性預(yù)測(cè)中的應(yīng)用潛力和臨床價(jià)值。

28、本發(fā)明提出了一種創(chuàng)新的肺結(jié)節(jié)預(yù)測(cè)網(wǎng)絡(luò)架構(gòu)，將隨訪影像數(shù)據(jù)和臨床數(shù)據(jù)信息有機(jī)集成于訓(xùn)練過程中。通過引入多模態(tài)數(shù)據(jù)，顯著提升了模型的預(yù)測(cè)性能，同時(shí)在多時(shí)間點(diǎn)的信息融合中展現(xiàn)出對(duì)肺結(jié)節(jié)動(dòng)態(tài)變化的深刻理解。這一信息的整合不僅優(yōu)化了診斷的準(zhǔn)確性，還提供了更豐富的疾病發(fā)展趨勢(shì)洞察。

技術(shù)特征：

1.一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，所述步驟1中，對(duì)于ct圖像的預(yù)處理方法為：

3.根據(jù)權(quán)利要求1所述的一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，所述步驟3中，加權(quán)融合時(shí)，使用一個(gè)學(xué)習(xí)的融合機(jī)制動(dòng)態(tài)調(diào)整來自不同時(shí)間點(diǎn)的特征權(quán)重α0和α1，表達(dá)式如下：

4.根據(jù)權(quán)利要求1所述的一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，所述空間特征提取模塊結(jié)合了3d?resnet和cbam模塊。

5.根據(jù)權(quán)利要求4所述的一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，所述空間特征提取模塊為在3d?resnet的殘差塊中引入cbam模塊，通過其通道注意力和空間注意力機(jī)制對(duì)卷積輸出進(jìn)行優(yōu)化后與跳躍連接相加。

6.根據(jù)權(quán)利要求1所述的一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，所述步驟4中，跨模態(tài)注意力融合網(wǎng)絡(luò)的融合方法為：

7.根據(jù)權(quán)利要求6所述的一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，所述得分βj，i和ρj，i用于加權(quán)相應(yīng)的特征值，生成最終的跨模態(tài)注意力圖。

8.根據(jù)權(quán)利要求7所述的一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，所述步驟2-步驟6構(gòu)成csf-net模型，所述csf-net模型配備geforce?rtx?3090tigpu的設(shè)備上，使用torch-2.1.0-cu12.1-cudnn8.9框架實(shí)現(xiàn)。

9.根據(jù)權(quán)利要求8所述的一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，其特征在于，所述csf-net模型訓(xùn)練時(shí)，采用交叉熵?fù)p失函數(shù)和adam優(yōu)化器進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)為0.0001，總訓(xùn)練輪次為200輪。

技術(shù)總結(jié)
本發(fā)明公開了一種基于跨模態(tài)時(shí)空融合網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性分類方法，首先，獲取CT圖像數(shù)據(jù)并進(jìn)行預(yù)處理得到ROI圖像；然后，通過一個(gè)空間特征提取模塊提取ROI圖像中的空間特征，并獲得文本特征；通過時(shí)間殘差融合模塊得到融合后的CT圖像時(shí)空特征與臨床文本特征；將通過時(shí)間殘差融合模塊的輸出輸入到跨模態(tài)注意力融合網(wǎng)絡(luò)中，進(jìn)行初步融合得到最終的跨模態(tài)注意力圖；應(yīng)用多頭自注意力融合塊對(duì)跨模態(tài)注意力圖進(jìn)行進(jìn)一步融合處理，得到基于最終的融合時(shí)空數(shù)據(jù)與臨床數(shù)據(jù)的特征表示；最后通過一個(gè)FC層輸出良惡性分類結(jié)果。首先在隨訪的CT圖像數(shù)據(jù)中提取特征，進(jìn)行時(shí)空融合，然后與文本臨床數(shù)據(jù)相結(jié)合，有效提升分類的準(zhǔn)確性和魯棒性。

技術(shù)研發(fā)人員：葛瑞泉,沈寅,方昭杰,余瀟,莊柯,周冠宇,趙渝程,王昌淼,賈剛勇,范小朋
受保護(hù)的技術(shù)使用者：杭州電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28