本發(fā)明涉及腫瘤圖像分析，尤其是涉及一種基于多模態(tài)中間融合的預(yù)后預(yù)測(cè)方法。

背景技術(shù)：

1、腎細(xì)胞癌被認(rèn)為是泌尿系統(tǒng)中最常見(jiàn)的惡性腫瘤之一。其中，腎透明細(xì)胞癌(clear?cell?renal?cell?carcinoma,ccrcc)作為rcc的主要亞型，占腎癌病例的約70％。雖然外科手術(shù)是主要的初始治療方法，但值得注意的是，約20％-30％的ccrcc患者在手術(shù)后會(huì)經(jīng)歷復(fù)發(fā)和轉(zhuǎn)移，這對(duì)患者的整體生存率產(chǎn)生了顯著影響。因此，準(zhǔn)確識(shí)別高復(fù)發(fā)風(fēng)險(xiǎn)人群對(duì)于臨床醫(yī)生制定更優(yōu)決策及及時(shí)干預(yù)具有重要意義。

2、目前，研究者們基于臨床特征(包括tnm分期及組織病理學(xué)等級(jí))開(kāi)發(fā)了多種用于評(píng)估腎透明細(xì)胞癌術(shù)后腫瘤復(fù)發(fā)風(fēng)險(xiǎn)的工具。其中，leibovich評(píng)分及uiss評(píng)分為最常用的評(píng)估標(biāo)準(zhǔn)。然而，在臨床決策過(guò)程中，醫(yī)生觀察到同一風(fēng)險(xiǎn)亞組內(nèi)患者的生存結(jié)果存在顯著差異，表明傳統(tǒng)的臨床特征可能不足以充分捕捉腫瘤的內(nèi)在異質(zhì)性。此外，一項(xiàng)針對(duì)廣泛應(yīng)用于某臨床試驗(yàn)隊(duì)列的八種預(yù)后預(yù)測(cè)模型的前瞻性研究表明，所有已開(kāi)發(fā)模型的預(yù)測(cè)準(zhǔn)確性較最初報(bào)告的結(jié)果顯著下降。

3、近年來(lái)，部分研究已開(kāi)始應(yīng)用人工智能進(jìn)行預(yù)后預(yù)測(cè)。大多數(shù)模型采用單模態(tài)數(shù)據(jù)(例如，僅利用病理、影像或基因信息)。相比之下，多模態(tài)模型能夠整合全面且互補(bǔ)的醫(yī)學(xué)數(shù)據(jù)，從而提升對(duì)患者術(shù)后復(fù)發(fā)的預(yù)測(cè)準(zhǔn)確性。一項(xiàng)研究通過(guò)整合臨床特征、單核苷酸多態(tài)性及腫瘤組織全切片圖像，開(kāi)發(fā)了一種針對(duì)ccrcc的多模態(tài)復(fù)發(fā)模型。然而，單核苷酸多態(tài)性測(cè)序流程復(fù)雜且成本較高。目前，尚缺乏一種能夠有效整合多模態(tài)信息的預(yù)后預(yù)測(cè)模型。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了提供一種基于多模態(tài)中間融合的預(yù)后預(yù)測(cè)方法，通過(guò)殘差深度卷積神經(jīng)網(wǎng)絡(luò)和預(yù)定義組學(xué)從病理圖像中提取病理特征，并應(yīng)用多實(shí)例學(xué)習(xí)對(duì)這些特征進(jìn)行聚合，以形成病理表示，同時(shí)使用殘差深度卷積神經(jīng)網(wǎng)絡(luò)和預(yù)定義組學(xué)提取放射特征，以形成影像表示，隨后利用深度生存網(wǎng)絡(luò)將病理表示、影像表示及臨床信息進(jìn)行整合，生成多模態(tài)預(yù)后預(yù)測(cè)分?jǐn)?shù)，進(jìn)行精確預(yù)后預(yù)測(cè)。

2、本發(fā)明的目的可以通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

3、一種基于多模態(tài)中間融合的預(yù)后預(yù)測(cè)方法，包括以下步驟：

4、步驟s1、數(shù)據(jù)采集：獲取蘇木精-伊紅(hematoxylin-eosin,h-e)染色的全切片圖像(whole?slide?image,wsi)作為病理圖像，獲取動(dòng)脈期三維計(jì)算機(jī)斷層掃描(3d?ct)序列作為放射學(xué)圖像，獲取患者的臨床變量；

5、步驟s2、數(shù)據(jù)預(yù)處理：對(duì)病理圖像進(jìn)行切塊、染色歸一化處理及過(guò)濾預(yù)處理，對(duì)放射學(xué)圖像進(jìn)行數(shù)據(jù)格式的轉(zhuǎn)化及腫瘤區(qū)域的勾畫(huà)預(yù)處理，對(duì)臨床變量進(jìn)行編碼預(yù)處理；

6、步驟s3、病理圖像特征表示：對(duì)經(jīng)過(guò)數(shù)據(jù)預(yù)處理后的每個(gè)病理小塊(patch)提取手工定義特征及基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義特征，并通過(guò)多實(shí)例學(xué)習(xí)的方法，聚合不同病理小塊的特征，獲得病理圖像的特征表示；

7、步驟s4、放射學(xué)圖像特征表示：基于放射學(xué)圖像及勾畫(huà)出的腫瘤輪廓，進(jìn)行手工定義特征與基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義特征提取，并通過(guò)主成分分析進(jìn)行降維處理，得到放射學(xué)圖像的特征表示；

8、步驟s5、多模態(tài)預(yù)后預(yù)測(cè)模型構(gòu)建：采用深度生存網(wǎng)絡(luò)整合病理圖像、放射學(xué)圖像以及臨床變量的特征，輸出多模態(tài)預(yù)后預(yù)測(cè)分?jǐn)?shù)。

9、所述步驟s2中對(duì)病理圖像的預(yù)處理具體包括以下步驟：

10、切塊：將病理圖像切分為預(yù)設(shè)大小的病理小塊；

11、顏色歸一化：針對(duì)每個(gè)rgb三通道格式的病理小塊進(jìn)行顏色歸一化；

12、過(guò)濾：采用otsu方法計(jì)算每個(gè)病理小塊中組織區(qū)域的比例，并過(guò)濾組織區(qū)域的比例小于預(yù)設(shè)值的病理小塊。

13、所述步驟s2中對(duì)放射學(xué)圖像的預(yù)處理具體包括以下步驟：

14、格式轉(zhuǎn)換：將dicom格式的放射學(xué)圖像轉(zhuǎn)變?yōu)閚ii格式；

15、重采樣：對(duì)放射學(xué)圖像進(jìn)行設(shè)定切片間隔的重采樣；

16、灰度歸一化：將放射學(xué)圖像的灰度歸一化至預(yù)設(shè)區(qū)間；

17、腫瘤區(qū)域勾畫(huà)：針對(duì)放射學(xué)圖像3d序列中的每一張2d掃描切面，勾畫(huà)腫瘤輪廓；

18、感興趣區(qū)提取：通過(guò)勾畫(huà)的腫瘤區(qū)域，從原始放射學(xué)圖像中裁剪出包含腫瘤的3d感興趣區(qū)域；

19、最大腫瘤切面選取：基于裁剪得到的包含腫瘤的3d感興趣區(qū)域及腫瘤標(biāo)注，選擇出包含最大腫瘤的2d影像切面。

20、所述腫瘤區(qū)域勾畫(huà)使用在公共數(shù)據(jù)中預(yù)訓(xùn)練好的深度分割學(xué)習(xí)模型nnu-net進(jìn)行腎腫瘤自動(dòng)勾畫(huà)，其后進(jìn)行人工閱片，對(duì)模型分割有誤的腫瘤邊界進(jìn)行修改。

21、所述臨床變量包括基本生命體征指標(biāo)與腫瘤相關(guān)指標(biāo)，其中，所述基本生命體征指標(biāo)包括性別、年齡和ecogps評(píng)分，所述腫瘤相關(guān)指標(biāo)包括腫瘤大小、pt分期、pn分期、tnm分期、壞死情況、是否為肉瘤樣腎細(xì)胞癌。

22、所述步驟s2中，對(duì)基本生命體征指標(biāo)進(jìn)行編碼預(yù)處理具體為：

23、對(duì)于性別指標(biāo)，男性編碼為1，女性編碼為0；

24、對(duì)于年齡指標(biāo)，將年齡超過(guò)預(yù)設(shè)年齡值的編碼為1，未超過(guò)預(yù)設(shè)年齡值的編碼為0；

25、對(duì)于ecogps評(píng)分，所述ecogps評(píng)分用于評(píng)估患者體力狀況，將ecog?ps≥1的編碼為1，ecogps＜1的編碼為0。

26、所述步驟s2中，對(duì)腫瘤相關(guān)指標(biāo)進(jìn)行編碼預(yù)處理具體為：

27、對(duì)于腫瘤大小，將腫瘤最大直徑大于等于預(yù)設(shè)值的編碼為1，腫瘤最大直徑小于預(yù)設(shè)值的編碼為0；

28、對(duì)于pt分期，所述pt分期用于評(píng)估腫瘤的大小和浸潤(rùn)情況，將t1編碼為1，t2編碼為2，t3編碼為3；

29、對(duì)于pn分期，所述pn分期用于評(píng)估淋巴結(jié)狀態(tài)，將n0編碼為0，n1編碼為1；

30、對(duì)于tnm分期，將i期編碼為1，ii期編碼為2，iii期編碼為3；

31、對(duì)于壞死情況，將存在腫瘤壞死編碼為1，不存在壞死編碼為0；

32、對(duì)于是否為肉瘤樣腎細(xì)胞癌，為肉瘤樣腎細(xì)胞癌編碼為1，不為肉瘤樣腎細(xì)胞癌編碼為0。

33、所述步驟s3中基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義特征通過(guò)resnet網(wǎng)絡(luò)提取圖像的表示獲得；提取手工定義特征的具體步驟包括：

34、使用預(yù)訓(xùn)練的hovernet模型進(jìn)行細(xì)胞核分割，并預(yù)測(cè)得到細(xì)胞類型；

35、基于細(xì)胞核分割結(jié)果和病理圖像，使用python中的histomicstk包提取特征；

36、對(duì)于每個(gè)病理小塊，計(jì)算出現(xiàn)頻率最高的細(xì)胞類型的histomicstk特征的平均值，并將其與該細(xì)胞類型的獨(dú)熱編碼拼接，構(gòu)成每個(gè)病理小塊提取的手工定義特征。

37、所述步驟s3中用于聚合不同病理小塊的特征的多實(shí)例學(xué)習(xí)采用transformer結(jié)構(gòu)。

38、所述步驟s4中基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義特征通過(guò)resnet網(wǎng)絡(luò)提取獲得；所述手工定義特征包括pyradiomics包中所定義的形狀特征、一階統(tǒng)計(jì)特征、質(zhì)地特征、濾波特征及小波特征；在對(duì)形狀、一階統(tǒng)計(jì)、質(zhì)地、濾波、及小波特征進(jìn)行主成分分析時(shí)，僅保留使得解釋比例超過(guò)預(yù)設(shè)值的主成分。

39、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

40、(1)相較于現(xiàn)有的預(yù)后預(yù)測(cè)模型利用病理圖像或基因信息，本發(fā)明利用臨床中更容易獲取且更為全面的病理、影像和臨床三個(gè)模態(tài)的信息，信息獲取更為容易，且能夠獲取的數(shù)據(jù)更為豐富，能夠提高預(yù)后預(yù)測(cè)模型的訓(xùn)練精度。

41、(2)本發(fā)明利用采用中間融合的方式，兼顧了數(shù)據(jù)缺失的情況和模型的性能。

42、(3)本發(fā)明使用深度生存網(wǎng)絡(luò)整合多模態(tài)預(yù)后信息，顯著提升了傳統(tǒng)預(yù)后預(yù)測(cè)指標(biāo)及單模態(tài)模型在復(fù)發(fā)風(fēng)險(xiǎn)預(yù)測(cè)方面的表現(xiàn)。