1.一種基于多模態中間融合的預后預測方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述步驟s2中對病理圖像的預處理具體包括以下步驟:
3.根據權利要求1所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述步驟s2中對放射學圖像的預處理具體包括以下步驟:
4.根據權利要求3所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述腫瘤區域勾畫使用在公共數據中預訓練好的深度分割學習模型nnu-net進行腎腫瘤自動勾畫,其后進行人工閱片,對模型分割有誤的腫瘤邊界進行修改。
5.根據權利要求1所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述臨床變量包括基本生命體征指標與腫瘤相關指標,其中,所述基本生命體征指標包括性別、年齡和ecogps評分,所述腫瘤相關指標包括腫瘤大小、pt分期、pn分期、tnm分期、壞死情況、是否為肉瘤樣腎細胞癌。
6.根據權利要求5所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述步驟s2中,對基本生命體征指標進行編碼預處理具體為:
7.根據權利要求5所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述步驟s2中,對腫瘤相關指標進行編碼預處理具體為:
8.根據權利要求1所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述步驟s3中基于深度卷積神經網絡的語義特征通過resnet網絡提取圖像的表示獲得;提取手工定義特征的具體步驟包括:
9.根據權利要求1所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述步驟s3中用于聚合不同病理小塊的特征的多實例學習采用transformer結構。
10.根據權利要求1所述的一種基于多模態中間融合的預后預測方法,其特征在于,所述步驟s4中基于深度卷積神經網絡的語義特征通過resnet網絡提取獲得;所述手工定義特征包括pyradiomics包中所定義的形狀特征、一階統計特征、質地特征、濾波特征及小波特征;在對形狀、一階統計、質地、濾波、及小波特征進行主成分分析時,僅保留使得解釋比例超過預設值的主成分。