本發明涉及腫瘤圖像分析，尤其是涉及一種基于共注意力模態前融合的預后預測方法。

背景技術：

1、預后狀況在腫瘤研究中占據重要地位。目前，臨床實踐中廣泛采用的預后評估方法主要依賴于腫瘤分期系統，該系統通過量化腫瘤的大小、浸潤鄰近組織的程度、淋巴結轉移及遠處轉移情況來評估腫瘤的嚴重性。然而，該評估方法依賴于對放射學和病理圖像的人工分析，這一過程不僅可能引入主觀性，且不同評估者之間的判斷存在顯著不一致性。此外，傳統手動定義的特征往往較為簡單，難以有效捕捉嵌入圖像中的復雜預測信息。因此，亟需開發更加客觀、精細的評估方法，以提升腫瘤預后評估的準確性和一致性。

2、深度學習模型能夠自動從醫學圖像中提取全面的預后信息，從而顯著增強預測能力。近年來，基于病理切片和放射學掃描圖像的多項研究已將深度學習應用于腫瘤預后預測，體現了深度學習在生存預測領域的潛力。在此基礎上，研究人員逐漸認識到整合多種數據模式的優勢，積極開發針對不同類型腫瘤的多模態預后模型。目前，現有的多模態模型大多數采用后融合策略，即對每個模態進行獨立訓練，最終將各模態的決策結果進行集成以生成最終預測。這種決策級融合策略在處理模態不齊全的場景中展現出較高的靈活性，但忽略了不同模態之間可能存在的協同作用。

3、為了更有效地捕捉模態之間的相互作用，越來越多的研究開始傾向于采用特征級融合策略。在此特征前融合方式中，異構的多模態特征可以在早期階段進行整合，從而形成更具信息量的跨模態表示。然而，早期融合對數據的完整性要求較高，即每個樣本必須包含所有完整的模態。一些研究基于癌癥基因組圖譜(tcga)項目，采用早期融合策略將基因組、轉錄組、蛋白質組與病理數據進行整合，以預測患者生存期。然而，關于其他醫療數據模式整合的研究仍顯不足，亟需進一步探索。

4、在癌癥治療的臨床決策過程中，組織病理學與放射學圖像具有重要的作用。作為臨床實踐中最常用的影像技術，這兩種影像模式能夠提供互為補充的信息。組織病理學以離體的形式，從微觀層面表征腫瘤內的細胞和組織形態；而放射學則通過非侵入性的體內成像，從宏觀角度反映腫瘤的大小和紋理等特征。

5、目前，已有多項研究表明，放射學模式與特定病理特征之間存在顯著相關性，而這些特征又與腫瘤的預后密切相關。例如，在肝細胞癌中，ct掃描中觀察到的不規則邊緣強化模式與促使其侵襲性腫瘤行為的組織病理特征有直接關聯。在乳腺癌的研究中，密集的乳腺x線圖譜則顯示出與較高的組織學分級相關。然而，現有技術中未能深入挖掘宏觀影像學與微觀病理學之間的相互作用，也未進行腫瘤預后分析，預測精度有待提高。

技術實現思路

1、本發明的目的是為了提供一種基于共注意力模態前融合的預后預測方法，該方法通過圖神經網絡和預訓練卷積神經網絡分別提取病理圖像中的細胞相互作用特征和形態特征，以構建病理組學表示，利用人工預定義特征組和預訓練放射大模型提取影像圖像中的形狀紋理和形態特征形成影像組學表示，采用共注意力機制捕捉病理組學與影像組學之間的交互作用，獲得基于影像共注意力下的跨模態病理組學表示，最后輸入兩個多實例學習模塊，以獲得預后預測結果，提高了在不同場景下的預后預測準確性。

2、本發明的目的可以通過以下技術方案來實現：

3、一種基于共注意力模態前融合的預后預測方法，包括以下步驟：

4、步驟s1、圖像獲取與預處理：獲取術后病理圖像和三維術前影像序列并分別進行預處理，其中，所述術后病理圖像為經過40倍放大的蘇木精-伊紅(hematoxylin-eosin,h-e)染色術后病理圖像，對術后病理圖像進行切塊、過濾、染色歸一化預處理，對三維術前影像序列進行腫瘤區域勾畫預處理；

5、步驟s2、提取病理組學表示：對術后病理圖像中的每一病理小塊應用圖神經網絡及預訓練卷積神經網絡，分別提取所有病理圖像小塊中的細胞相互作用特征和形態特征，以形成病理組學表示；單個病理小塊的病理特征由細胞相互作用特征與形態特征的拼接構成，單個患者的病理組學被表示為病理組織中所有病理小塊實例(instance)聚合成的包(bag)；

6、步驟s3、提取影像組學表示：利用術前影像序列及其勾畫的腫瘤區域，基于人工預定義特征組以及預訓練放射大模型，從影像序列中提取形狀、紋理及形態特征，以形成影像組學表示；

7、步驟s4、捕捉病理與影像組學交互作用：基于提取的病理組學表示和影像組學表示，使用共注意力機制模塊捕捉二者之間的關聯和交互作用，得到基于影像共注意力下的跨模態病理組學表示；

8、步驟s5、多實例學習下的預后預測：將影像組學表示和基于影像共注意力下的跨模態病理組學表示分別輸入兩個多實例學習模塊，聚合組學信息，得到預后預測結果。

9、所述術后病理圖片的預處理具體包括：

10、獲得病理小塊：將術后病理圖像切成預設大小的病理小塊；

11、圖像小塊過濾：使用otsu方法提取病理小塊中的前景組織區域，計算前景組織區域占對應圖像小塊的比例，過濾所述比例低于預設值的圖像小塊；

12、亮度和顏色歸一化：對于每一個過濾后得到的病理小塊，使用staintools包中的luminositystandardizer函數進行掃描場的亮度歸一化，使用macenko方法進行顏色歸一化。

13、所述術前影像序列通過計算機斷層掃描(computed?tomography,ct)或磁共振成像(magnetic?resonance?imaging,mri)獲得，影像序列類型根據臨床經驗進行選擇，以適用于不同類型的癌癥，其中，腦腫瘤影像采用釓增強t1加權像(t1?weighted?gadolinium-contrast,t1-gd)序列及t2液體衰減反轉恢復(t2?fluid-attenuated?inversion-recovery,t2-flair)序列，腎腫瘤采用增強動脈期ct腹盆腔掃描序列，肺腫瘤采用低劑量胸部ct掃描。

14、所述術前影像序列的預處理具體包括：

15、格式轉換：將dicom格式的影像序列轉變為nii格式；

16、重采樣：對格式轉換后的影像序列進行設定分辨率的重采樣，所述分辨率根據影像序列類型確定；

17、圖像配準：使用高級標準化工具(advanced?normalization?tools,ants)將t2液體衰減反轉恢復序列配準至釓增強t1加權像序列；ct圖像無需進行配準；

18、腫瘤區域勾畫：針對三維序列中的每一幅二維掃描切面進行腫瘤輪廓勾勒；

19、感興趣區提取：根據勾畫出的腫瘤區域從全分辨率影像圖像中裁剪得到包含腫瘤的三維感興趣區域。

20、所述腫瘤區域勾畫具體為：對于腎腫瘤和肺腫瘤，應用在公共數據集上預訓練的深度分割學習模型nnu-net進行自動輪廓勾畫，并進行人工閱片以修正模型分割的腫瘤邊界；對于腦腫瘤，由于缺乏相應的預訓練模型，故直接進行人工勾畫。

21、所述步驟s2中細胞相互作用特征的提取依賴于圖神經網絡，提取過程具體包括：

22、細胞核分類分割：使用在pannuke數據集上預訓練的hover-unet模型進行細胞核分割和分類，所述hover-unet模型通過細胞核分割獲得每個獨立細胞核的掩碼，并對細胞核進行分類，分類結果包括腫瘤細胞、炎癥細胞、連接細胞、死亡細胞及正常上皮細胞；

23、使用python中的histomicstk提取單個細胞核的病理組學特征；

24、細胞核圖網絡構建：采用細胞核圖網絡對病理小塊進行建模，所述細胞核圖網絡的節點代表細胞核，各節點特征包括通過histomicstk提取的單個細胞核的病理組學特征以及細胞核所屬類別的概率，圖網絡中節點之間的連接采用八近鄰方法，邊的屬性包括連接的細胞類型、細胞間的距離以及細胞之間的平行程度；

25、對所構建的細胞核圖網絡進行訓練，以提取中間特征表示，作為細胞相互作用特征，所述圖網絡包括四個細胞空間交互下的邊緣條件卷積層(edge-conditionedconvolution)，并在其后連接一個亞組平均池化層(subgroup?average?pooling?layer)，以聚合所有節點的信息，從而獲得所需的中間特征表示。

26、所述步驟s2中的病理圖像的形態特征為resnet34模型的最后一層所生成的輸出結果，所述resnet34模型在imagenet上進行預訓練得到。

27、所述步驟s3中，采用基于人工預定義的形狀紋理特征組，依賴pyradiomics進行特征提取，所述形狀紋理特征組包括形狀、一階、質地、濾波和小波五個維度，其中，每個維度的特征通過線性層映射至相同維度；形態特征通過在大規模影像數據集上預訓練的影像基礎模型radfm中的視覺編碼器進行提??；單個患者的影像組學被表示為形狀紋理特征組與形態特征的聚合包。

28、所述步驟s4中的共注意力機制模塊接收步驟s2和s3中提取的病理組學表示與影像組學表示，并基于多頭注意力(multi-head?attention)機制，將影像組學表示作為查詢(query)，將病理組學表示作為鍵-值(key-value)對，獲得基于影像共注意力的跨模態病理組學表示。

29、所述步驟s5中的多實例學習模塊由集合變形器(set-based?transformer)、全局注意力池化層(global?attention?pooling)以及一個線性層組成；對影像組學表示和基于影像共注意力下的跨模態病理組學表示分別采用多實例學習模塊聚合組學特征，得到兩個特征向量，并對所述特征向量進行拼接后連接線性層，輸出預后預測結果。

30、與現有技術相比，本發明具有以下有益效果：

31、(1)相較于現有病理和影像圖像表示方法多局限于形態學特征，本發明在構建病理組學表示時同時考慮了細胞相互作用和形態特征，在構建影像組學表示時同時考慮了形狀紋理和形態特征，考慮的特征更為全面，能夠提高最終的預測結果精度。

32、(2)相較于現有預后模型多為特定癌種設計，本發明使用共注意力機制多實例學習框架實現了泛癌種的預后預測。

33、(3)相較于現有單模態或多模態后融合的方式，本發明采用前融合方式，使用共注意力機制捕捉病理組學與影像組學之間的交互作用，顯著提升了傳統分級分期指標、單模態模型及多模態后融合方法在預后預測中的準確性。