本發明屬于圖像識別領域，特別涉及一種腦圖識別技術。

背景技術：

1、孤獨癥譜系障礙(autism?spectrum?disorder,asd)又稱為孤獨癥，是一種常見于嬰幼兒、青少年的精神發育障礙疾病。目前，臨床上主要根據診斷醫師的經驗判斷以及孤獨癥相關量表測量進行孤獨癥診斷，但是診斷結果相對主觀。磁共振成像技術(magneticresonance?imaging,mri)為孤獨癥診斷提供客觀的生物標記。其中，結構磁共振圖像(structural?magnetic?resonance?imaging,smri)和功能磁共振圖像(functionalmagnetic?resonance?imaging,fmri)從大腦結構解剖和功能連接兩個角度提供大腦的信息。近年來，深度學習在孤獨癥識別領域受到越來越多的關注，雖然已有一些方法取得了初步進展，但是仍然存在著未能充分利用多模態核磁共振圖像數據、模型可解釋性不足等問題。

技術實現思路

1、為解決上述技術問題，本發明提出一種多模態腦圖信息融合識別孤獨癥腦圖的方法，可以獲得更好的準確率、敏感度、異質性等性能指標。

2、本發明采用的技術方案為：一種多模態腦圖信息融合識別孤獨癥腦圖的方法，包括：

3、s1、對若干已標記標簽的被試者的結構磁共振成像、功能磁共振成像、非圖像表型數據三種模態數據分別進行預處理，對應得到各已標記標簽的被試者的腦區結構數據、腦區功能數據和表型數據，每個標記標簽的被試者的腦區結構數據、腦區功能數據和表型數據作為一個樣本，從而構建訓練樣本集；所述標簽包括孤獨癥標簽、正常參照標簽；

4、s2、構建識別模型，所示識別模型包括：mri序列特征編碼器、表型特征嵌入模塊、融合模塊、圖卷積模塊以及mlp分類器；

5、所述mri序列特征編碼器根據腦區結構數據、腦區功能數據，融合功能和結構磁共振兩種模態圖像信息，生成腦區連接邊特征矩陣；

6、所述表型特征嵌入模塊用于從表型數據中提取表型特征，通過融合被試者表型和腦區相關性兩種模態信息，生成腦區節點特征矩陣；

7、所述圖卷積模塊包括依次連接的若干層圖卷積網絡，以及重要節點選擇層；圖卷積模塊根據輸入的腦區連接邊特征矩陣、腦區節點特征矩陣及對應的樣本的標簽，得到顯著的感興趣腦區；

8、所述mlp分類器根據輸入的顯著的感興趣腦區，輸出分類結果；

9、s3、基于步驟s1構建的訓練樣本集對識別模型進行訓練；利用有標簽的樣本數據和損失定義函數，迭代訓練和調識別整模型可學習參數，以達到損失值收斂的目標；

10、s4、采集待識別對象的結構磁共振成像、功能磁共振成像、非圖像表型數據三種模態數據分別進行預處理，將預處理得到的腦區結構數據、腦區功能數據和表型數據輸入訓練完成的識別模型中，得到分類結果。

11、本發明的有益效果：本發明提出一種多模態腦圖信息融合識別孤獨癥方法，將每個受試者腦圖描述為braing(a,z)，a代表腦區連接邊特征，z代表腦區節點特征。從結構磁共振圖像、功能磁共振圖像、表型等三種模態數據中分別提取腦區特征，然后進行多模態融合，構建腦區圖結構；設計圖卷積模塊和損失函數學習如何提取腦圖深度特征；基于腦圖深度特征，通過abide數據集標簽數據對多層感知機(multi-layer?perception,mlp)分類器進行訓練，可以獲得更好的準確率、敏感度、異質性等性能指標；利用訓練好的多模態腦圖融合識別孤獨癥模型可以用于輔助孤獨癥診斷識別。

技術特征：

1.一種多模態腦圖信息融合識別孤獨癥腦圖的方法，其特征在于，包括：

2.根據權利要求1所述的一種多模態腦圖信息融合識別孤獨癥腦圖的方法，其特征在于，mri序列特征編碼器采用多頭注意力機制實現。

3.根據權利要求2所述的一種多模態腦圖信息融合識別孤獨癥腦圖的方法，其特征在于，構建腦區連接邊特征矩陣的過程為：

4.根據權利要求3所述的一種多模態腦圖信息融合識別孤獨癥腦圖的方法，其特征在于，表型特征嵌入模塊包括3個全連接層，除最后一個全連接層外，其他2個全連接層后面均加上非線性relu激活函數層和dropout層。

5.根據權利要求4所述的一種多模態腦圖信息融合識別孤獨癥腦圖的方法，其特征在于，提取表型特征的過程為：

6.根據權利要求5所述的一種多模態腦圖信息融合識別孤獨癥腦圖的方法，其特征在于，重要節點選擇層基于自注意機制的top-k池化實現。

7.根據權利要求6所述的一種多模態腦圖信息融合識別孤獨癥腦圖的方法，其特征在于，訓練過程中的損失函數為：

技術總結
本發明公開一種多模態腦圖信息融合識別孤獨癥腦圖的方法，應用于圖像識別領域，針對現有技術未能充分利用多模態核磁共振圖像數據、模型可解釋性不足的問題；本發明從結構磁共振圖像、功能磁共振圖像、表型等三種模態數據中分別提取腦區特征，然后進行多模態融合，構建腦區圖結構；設計圖卷積模塊和損失函數學習如何提取腦圖深度特征；基于腦圖深度特征，通過ABIDE數據集標簽數據對多層感知機分類器進行訓練，可以獲得更好的準確率、敏感度、異質性等性能指標；利用訓練好的多模態腦圖融合識別孤獨癥模型可以用于輔助孤獨癥診斷識別。

技術研發人員：王磊,劉云濤,陳明燕
受保護的技術使用者：電子科技大學
技術研發日：
技術公布日：2025/4/24