本發明涉及計算機視覺，具體指一種基于不完整三模態共注意融合的輕度認知障礙轉換預測方法。

背景技術：

1、阿爾茨海默病(ad)是一種死亡率極高的漸進性神經退行性疾病，會導致永久性認知損傷。輕度認知障礙(mci)是ad的早期階段之一，mci患者中，有些會在三年內發展為ad，被稱為進展性mci(pmci)，而穩定性mci(smci)患者在此期間保持認知穩定。準確預測pmci的進展對于早期干預至關重要，因為早期干預有助于延緩ad的發展。臨床上，腦成像手段如磁共振成像(mri)和正電子發射斷層掃描(pet)被用于評估患者的腦部狀態，輔助醫生進行診斷。然而，這個過程依賴于醫生的經驗和主觀判斷，導致診斷結果具有較大的不確定性和時間成本。然而，pet數據因高昂的費用和放射性示蹤劑的使用，往往存在缺失現象，限制了多模態方法的應用。

技術實現思路

1、本發明針對現有技術的不足，提出一種基于不完整三模態共注意融合的輕度認知障礙轉換預測方法，解決了pet缺失的問題，并將mri、pet和臨床表格數據相結合，用更豐富的多模態特征提高mci轉換預測的準確性。

2、為了解決上述技術問題，本發明的技術方案為：

3、一種基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，包括如下步驟：

4、步驟1、獲取數據集，所述數據集包括mri數據、pet數據和臨床表格數據；

5、步驟2、應用一個預訓練的缺失模態生成模塊，輸入mri數據通過跨模態轉換的方式生成缺失的pet數據；

6、步驟3、應用一個特征提取模塊，通過表格編碼器獲得表格特征表示，并通過視覺編碼器得到視覺特征表示，所述視覺特征表示包括mri特征表示和pet特征表示；

7、步驟4、將提取的多模態特征通過一個多頭自注意力模塊進行模態內特征聚合得到三模態特征；

8、步驟5、將三模態特征輸入至一個共注意力融合模塊進行特征融合，從而得到多模態融合特征；

9、步驟6、應用一個預訓練的分類頭，將得到的多模態融合特征輸入分類頭，實現最終的分類。

10、作為優選，所述缺失模態生成模塊采用的矢量量化生成對抗網絡。

11、作為優選，所述生成缺失的pet數據的方法為：將mri數據作為輸入，首先經過一個3d卷積編碼器得到特征向量然后初始化代碼本向量z，并在z中為的每個編碼位置尋找其最鄰近的編碼，得到同緯度的離散變量zq，表示對中間特征進行進一步的離散化編碼，表達式如下：

12、

13、最后將得到的離散變量zq通過3d卷積解碼器進行解碼，進而生成缺失的pet數據表達式如下：

14、

15、作為優選，所述缺失模態生成模塊訓練時，采用混合損失函數，所述混合損失函數包括l1損失量化損失感知損失和對抗損失所述混合損失函數定義如下：

16、

17、其中，λl1、λqua、λper和λadv分別為各個損失項的權重參數。

18、作為優選，所述視覺編碼器采用預先訓練好的3d?resnet-50。

19、作為優選，所述步驟3中，將mri數據作為輸入通過視覺編碼器得到mri特征表示，將原始的pet數據和生成缺失的pet數據作為輸入通過視覺編碼器得到pet特征表示。

20、作為優選，所述步驟5中，使用多模態相似性匹配損失實現特征對齊的方法為：

21、

22、其中，用于mri數據和臨床表格數據，用于pet數據和臨床表格數據，用于mri數據和pet數據，λ為多模態平衡權重，本方法中設置為0.5。

23、作為優選，所述步驟6中，通過共注意力融合模塊進行特征融合的方法為：

24、首先，通過線性層對各模態特征進行處理，得到相應的鍵矩陣ki和值矩陣vi同時通過連接所有模態特征并映射到線性層，生成多模態的查詢向量qmulti，各模態的注意力分數通過以下公式計算：

25、

26、其中，di表示向量ki的維度，表示各模態輸入特征，使用softmax作為激活函數。

27、作為優選，利用聯合損失函數來優化整個網絡，將特定任務損失與多模態相似性匹配損失相結合，這個整體損失函數表示為加權和：

28、

29、其中，指的是特定任務損失。

30、作為優選，所述分類頭采用的是預訓練的1d?densenet-121作為分類器。

31、本發明具有以下的特點和有益效果：

32、采用上述技術方案，基于不完整三模態共注意融合網絡，該網絡用于mci轉換預測。該模型解決了pet缺失的問題，并將mri、pet和臨床表格數據相結合，用更豐富的多模態特征提高mci轉換預測的準確性。其包括一個缺失模態生成模塊和共注意力融合模塊，分別用于生成缺失的pet和三模態特征融合。為了增強異構模態特征對其，引入了一個損失函數，三模態相似度匹配(多模態相似性匹配)損失。本發明方法的關鍵優點總結如下：(1)缺失模態生成模塊合成了缺失的pet圖像，解決了多模態數據可用性的問題。(2)共注意力融合模塊可以有效地學習和整合多模態成像pet和mri數據與臨床表格數據，從而增強了模型對任務的理解。(3)設計了一個新的損失函數來緩解數據不平衡問題，并在成像和非成像數據之間對齊特征表示。

技術特征：

1.一種基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，包括如下步驟：

2.根據權利要求1所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，所述缺失模態生成模塊采用的矢量量化生成對抗網絡。

3.根據權利要求2所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，所述生成缺失的pet數據的方法為：將mri數據作為輸入，首先經過一個3d卷積編碼器得到特征向量然后初始化代碼本向量z，并在z中為的每個編碼位置尋找其最鄰近的編碼，得到同緯度的離散變量zq，表示對中間特征進行進一步的離散化編碼，表達式如下：

4.根據權利要求2或3所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，所述缺失模態生成模塊訓練時，采用混合損失函數，所述混合損失函數包括l1損失量化損失感知損失和對抗損失所述混合損失函數定義如下：

5.根據權利要求1所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，所述視覺編碼器采用預先訓練好的3d?resnet-50。

6.根據權利要求5所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，所述步驟3中，將mri數據作為輸入通過視覺編碼器得到mri特征表示，將原始的pet數據和生成缺失的pet數據作為輸入通過視覺編碼器得到pet特征表示。

7.根據權利要求1所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，所述步驟5中，在進行特征融合前，需先使用多模態相似性匹配損失實現特征對齊的方法為：

8.根據權利要求1所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，所述步驟6中，通過共注意力融合模塊進行特征融合的方法為：

9.根據權利要求7所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，利用聯合損失函數來優化由步驟3-步驟6構成的整體網絡，將特定任務損失與多模態相似性匹配損失相結合，這個整體損失函數表示為加權和：

10.根據權利要求1所述的基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，其特征在于，所述分類頭采用的是預訓練的1d?densenet-121作為分類器。

技術總結
本發明公開了一種基于不完整三模態共注意融合的輕度認知障礙轉換分類方法，包括如下步驟：獲取數據集；步驟2、應用一個預訓練的缺失模態生成模塊，輸入MRI數據通過跨模態轉換的方式生成缺失的PET數據；步驟3、應用一個特征提取模塊，通過表格編碼器獲得表格特征表示，并通過視覺編碼器得到視覺特征表示；步驟4、將提取的多模態特征通過一個多頭自注意力模塊進行模態內特征聚合得到三模態特征；步驟5、將特征對齊后的三模態特征輸入至一個共注意力融合模塊進行特征融合，從而得到多模態融合特征；步驟6、應用一個預訓練的分類頭，將得到的多模態融合特征輸入分類頭，實現最終的分類。該方法用更豐富的多模態特征提高MCI轉換預測的準確性。

技術研發人員：葛瑞泉,胡項洋,沈向宇,孫逸飛,單許豪,陳章昊,賈剛勇,范小朋
受保護的技術使用者：杭州電子科技大學
技術研發日：
技術公布日：2025/4/28