本公開涉及數據處理領域，尤其涉及一種基于transformer的精神分裂癥識別解釋系統及方法、設備、介質。

背景技術：

1、精神分裂癥，作為一種病因復雜且尚未完全明了的慢性精神障礙，其被列為最為嚴峻的精神健康問題之一。流行病學研究揭示，該病癥的全球終身患病率徘徊在3.8‰至8.4‰之間，患者不僅面臨更高的共病風險，還常展現出情緒失控、攻擊性增強等暴力傾向，這加深了家庭的經濟與情感負擔，也對社會公共安全構成了潛在威脅。因此，實現精神分裂癥的早期精準診斷與有效干預，對于提升治愈率、阻止病情惡化具有至關重要的意義。

2、然而，當前的臨床診斷主要依賴于醫生的經驗判斷、認知評估量表以及患者和家族病史的綜合分析，這一過程缺乏客觀、統一的診斷標準，導致漏診與誤診現象頻發。在此背景下，探索并開發一種客觀、準確的診斷方法，以輔助醫生進行精神分裂癥的精準診療，顯得尤為迫切。

技術實現思路

1、本公開至少提供了一種基于transformer的精神分裂癥識別解釋系統及方法、設備、介質，以提供一種客觀、統一的診斷方案，提高精神分裂癥診斷精準度，以輔助醫生進行精神分裂癥的精準診療。

2、根據本公開的一方面，提供了一種基于transformer的精神分裂癥識別解釋系統，包括：

3、圖像獲取模塊，用于采集目標對象腦部的功能磁共振圖像；

4、圖像預處理模塊，用于基于預設的與精神分裂癥對應的腦部區域的位置信息，從所述功能磁共振圖像中剪裁得到的興趣區域圖像，并將所述興趣區域圖像輸入圖像識別模塊；

5、模型處理模塊，用于利用訓練好的vision?transformer模型執行以下操作：將所述興趣區域圖像剪裁為預設尺寸的多個圖像塊，利用線性映射分別將各個圖像塊轉換為嵌入向量，設置可學習的分類標記，為每個嵌入向量添加位置編碼，并利用包括所有添加了位置編碼的嵌入向量和所述分類標記形成嵌入序列；將所述嵌入序列輸入所述visiontransformer模型的transformer編碼器，利用所述transformer編碼器對所述嵌入向量進行全局特征和局部特征的提取；從所述transformer編碼器的輸出中提取分類標記，并將提取的分類標記以及所述所述transformer編碼器輸出的特征輸入多層感知器；所述多層感知器利用接收的分類標記和特征進行針對精神分裂癥的分類，輸出預測類別以及每個預測類別對應的概率；其中，所述vision?transformer模型在訓練過程中首先在公開數據集上進行預訓練，之后利用精神分裂癥對應的訓練樣本數據集對預訓練得到的visiontransformer模型進行訓練；

6、圖像分類決策模塊，用于基于預測類別以及每個預測類別對應的概率進行二分類處理，確定目標對象患有精神分裂癥的第一概率以及健康狀態的第二概率，并在第一概率高于第二概率的情況下，確定目標對象患有精神分裂癥；

7、特征可視化模塊，用于用于獲取所述transformer編碼器輸出的特征圖，并根據所述特征圖生成并展示注意力特征圖，其中，所述注意力特征圖包括transformer編碼器中每層多頭注意力機制的注意力分布信息；

8、關鍵區域可視化模塊，用于獲取所述vision?transformer模型輸出的特征圖，并基于所述vision?transformer模型輸出的特征圖生成熱力圖，展示所述熱力圖。

9、在一種可能的實施方式中，所述模型處理模塊還用于生成精神分裂癥對應的訓練樣本數據集：

10、獲取多個樣本對象腦部的功能磁共振樣本圖像，并分別對每張功能磁共振樣本圖像進行標注；

11、基于預設的與精神分裂癥對應的腦部區域的位置信息，分別從每張功能磁共振樣本圖像中剪裁得到的興趣區域樣本圖像；其中，所述興趣區域樣本圖像的標注信息與對應的功能磁共振樣本圖像的標注信息相同；

12、分別將每張興趣區域樣本圖像按照第一預設角度進行水平方向上的翻轉，得到水平增強樣本圖像；其中，所述水平增強樣本圖像的標注信息與對應的功能磁共振樣本圖像的標注信息相同；

13、分別將每張興趣區域樣本圖像按照第二設角度進行豎直方向上的翻轉，得到豎直增強樣本圖像；其中，所述豎直增強樣本圖像的標注信息與對應的功能磁共振樣本圖像的標注信息相同；

14、利用興趣區域樣本圖像、興趣區域樣本圖像的標注信息、水平增強樣本圖像、水平增強樣本圖像的標注信息、豎直增強樣本圖像、豎直增強樣本圖像的標注信息形成所述訓練樣本數據集。

15、在一種可能的實施方式中，所述公開數據集包括mathvista數據集。

16、在一種可能的實施方式中，所述關鍵區域可視化模塊在基于所述visiontransformer模型輸出的特征圖生成熱力圖時，具體用于：

17、利用grad-cam技術，基于所述vision?transformer模型輸出的特征圖生成熱力圖。

18、在一種可能的實施方式中，所述transformer編碼器包括多頭注意力機制層、前饋神經網絡層、歸一化層。

19、在一種可能的實施方式中，所述vision?transformer模型包括：嵌入層、transformer編碼器、多層感知器。

20、在一種可能的實施方式中，所述興趣區域圖像的尺寸為120像素ⅹ140像素ⅹ120像素。

21、根據本公開的另一方面，提供了一種基于transformer的精神分裂癥識別解釋方法，包括：

22、采集目標對象腦部的功能磁共振圖像；

23、基于預設的與精神分裂癥對應的腦部區域的位置信息，從所述功能磁共振圖像中剪裁得到的興趣區域圖像；

24、利用訓練好的vision?transformer模型執行以下操作：將所述興趣區域圖像剪裁為預設尺寸的多個圖像塊，利用線性映射分別將各個圖像塊轉換為嵌入向量，設置可學習的分類標記，為每個嵌入向量添加位置編碼，并利用包括所有添加了位置編碼的嵌入向量和所述分類標記形成嵌入序列；將所述嵌入序列輸入所述vision?transformer模型的transformer編碼器，利用所述transformer編碼器對所述嵌入向量進行全局特征和局部特征的提取；從所述transformer編碼器的輸出中提取分類標記，并將提取的分類標記以及所述所述transformer編碼器輸出的特征輸入多層感知器；所述多層感知器利用接收的分類標記和特征進行針對精神分裂癥的分類，輸出預測類別以及每個預測類別對應的概率；其中，所述vision?transformer模型在訓練過程中首先在公開數據集上進行預訓練，之后利用精神分裂癥對應的訓練樣本數據集對預訓練得到的vision?transformer模型進行訓練；

25、基于預測類別以及每個預測類別對應的概率進行二分類處理，確定目標對象患有精神分裂癥的第一概率以及健康狀態的第二概率，并在第一概率高于第二概率的情況下，確定目標對象患有精神分裂癥；

26、獲取所述transformer編碼器輸出的特征圖，并根據所述特征圖生成并展示注意力特征圖，其中，所述注意力特征圖包括transformer編碼器中每層多頭注意力機制的注意力分布信息；

27、獲取所述vision?transformer模型輸出的特征圖，并基于所述visiontransformer模型輸出的特征圖生成熱力圖，展示所述熱力圖。

28、根據本公開的另一方面，提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器在執行所述計算機程序時實現上述任一項所述的方法。

29、根據本公開的另一方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時實現上述任一項所述的方法。

30、本公開的基于transformer的精神分裂癥識別解釋系統及方法、設備、介質，利用腦部的功能磁共振圖像進行處理和分析，該功能磁共振圖像是在無外部刺激的情況下捕捉的大腦基礎狀態下的功能活動，其能夠反映大腦能量消耗的主要部分，為深入理解精神分裂癥的大腦功能異常提供了重要基礎。本公開從功能磁共振圖像中剪裁得到興趣區域圖像，并繼續基于興趣區域圖像進行診斷分析，這一步選擇了與精神分裂癥最可能相關的腦部區域進行重點分析，是基于特征進行的，這樣不僅可以減少計算量，還能提高模型對關鍵特征的關注度，在圖像分辨率和深度學習模型(vision?transformer模型)計算復雜度之間取得平衡，減少深度學習模型的處理時間。本公開在功能磁共振圖像的基礎上，引入了transformer神經網絡框架，利用其強大的序列處理能力、注意力機制以及對復雜模式的精準捕捉，為醫學影像處理領域帶來了新的突破，vision?transformer模型能夠挖掘出隱藏的、人眼難以察覺的特征信息，為精神分裂癥的客觀診斷提供有力支持，有效提升了精神分裂癥診斷的客觀性和準確度。另外，本公開提取vision?transformer模型產生的特征圖，進行可視化處理，增強了模型決策過程的可解釋性，同時本公開還可視化多個與精神分裂癥最相關的大腦區域，進一步揭示了精神分裂癥在腦部圖像中的特異性表現。

31、總而言之，本公開的技術方案通過深度學習與高級圖像分析技術的融合，提取關鍵影像特征，增強模型的可解釋性，為精神分裂癥的早期診斷提供客觀、準確的輔助手段。該方案不僅提高了診斷的精準度和效率，還提高了深度學習輔助診斷精神分裂癥的可解釋性，為精神分裂癥的發病機制研究提供新的視角，為精準治療策略的制定提供科學依據。

32、應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。