本公開總體說來涉及神經調控，更具體地講，涉及一種腦機接口閉環神經調控方法、存儲介質、系統和程序產品。

背景技術：

1、神經調控技術是一種通過物理或化學手段（如電刺激、磁刺激、藥物等）精準調節大腦神經活動的技術，用于治療神經系統疾病、改善神經功能或研究大腦機制，在醫學神經科學和計算神經學領域具有廣泛的應用前景。經過數十年的傳統物理療法實踐，神經科學家和醫生們逐漸認識到，研究個體在環境、生物和社會心理因素方面的差異對于疾病治療至關重要。這一理念被概括為“精準醫學”。在探索新的治療方法時，通過充分考慮這些個體差異，有助于實現針對患者具體特征的個性化調控。

2、然而，將“精準醫學”理念應用于新興治療技術，如經顱磁刺激（transcranialmagnetic?stimulation，簡稱tms），顯得尤為重要。tms作為一種安全、無創的神經調控手段，已在臨床治療中取得了顯著成效。通過將tms與腦電圖（electroencephalogram，簡稱eeg）技術相結合，可以在頭皮電極的輔助下，監測大腦內電神經元群的活動，從而在特定的大腦狀態下，針對持續神經元振蕩的目標區域實施精確的tms刺激，這一過程被稱為大腦狀態依賴性刺激。這種精確調節大腦活動的方法，為實現“個性化tms”治療奠定了基礎。

3、目前，“個性化tms”尚處于萌芽階段。一方面，通常采用開環的控制策略，先對被試者的大腦狀態進行檢測，再參考檢測到的大腦狀態確定tms的刺激參數，后續即按照該刺激參數進行刺激。由于不了解受刺激的大腦區域中正在進行的神經元活動，因而限制了大腦狀態的精確時間靶向。另一方面，在參考檢測到的大腦狀態確定tms刺激參數時，采用的是固定的狀態-參數規則，也就是某一大腦狀態對應某一組刺激參數，而大腦狀態的精確檢測本身存在困難，同時該固定規則由人為分析總結得到，其準確性存在局限，都造成了所確定的刺激參數精度不足。

4、因此，如何提高“個性化tms”的刺激精度，是將“精準醫學”理念應用于神經調控技術的一個亟待解決的問題。

技術實現思路

1、本公開提供一種腦機接口閉環神經調控方法、存儲介質、系統和程序產品，用于解決上述問題中的至少一個。

2、根據本公開的一方面，提供一種腦機接口閉環神經調控方法，包括：按照第一周期循環執行以下步驟，直到滿足結束條件：控制經顱磁刺激設備按照設定的刺激參數運行第一時長，以刺激被試者；采集所述被試者在目標腦區的腦電圖信號序列；對所述腦電圖信號序列進行處理，得到預設指標，其中，所述預設指標用于反映所述目標腦區的活躍情況；使用深度強化學習網絡處理所述預設指標，得到下一周期的刺激參數。

3、可選地，所述采集所述被試者在目標腦區的腦電圖信號序列，包括：采集所述被試者的多個通道的腦電圖信號序列，其中，所述多個通道對應的多個信號采集點包括所述目標腦區的多個點位，所述目標腦區包括默認模式網絡，所述目標腦區的多個點位包括以下至少一個：頂中點、枕中點、中央頂點、左側頂點、右側頂點。

4、可選地，所述對所述腦電圖信號序列進行處理，得到預設指標，包括：對所述腦電圖信號序列進行壓縮預處理，得到壓縮腦電圖信號序列；對所述壓縮腦電圖信號序列進行處理，得到預設指標。

5、可選地，所述預設指標包括以下至少一項：平均功率譜密度、頻段相位同步指數、相位鎖定值。

6、可選地，所述對所述腦電圖信號序列進行壓縮預處理，得到壓縮腦電圖信號序列，包括：針對所述多個通道中的每個通道的腦電圖信號序列，按照預設采樣頻率采樣得到多個信號子序列；針對每個通道的每個信號子序列，保留小于預設頻率的信號，并對大于或等于所述預設頻率的信號進行壓縮，得到每個通道的每個壓縮信號子序列；針對每個通道的每個壓縮信號子序列，確定所述壓縮信號子序列與相鄰通道中相同時序的壓縮信號子序列之間的相關性度量；從所有壓縮信號子序列中，去除相關性度量小于相關性閾值的壓縮信號子序列，得到所述壓縮腦電圖信號序列。

7、可選地，在所述按照第一周期循環執行以下步驟，直到滿足結束條件之前，還包括：按照第二周期循環執行以下步驟，直到達到結束時長，其中，所述第二周期的時長小于所述第一周期的時長，所述結束時長與所述第一周期的時長具有相同的數量級：控制所述經顱磁刺激設備按照設定的刺激參數運行第二時長，以刺激所述被試者；在第三時長內采集所述被試者在所述目標腦區的腦電圖信號序列，其中，所述第三時長大于所述第二時長；對所述腦電圖信號序列進行處理，得到所述預設指標；使用所述深度強化學習網絡處理所述預設指標，得到下一周期的刺激參數，其中，在按照所述第二周期循環執行以上步驟的過程中，利用經驗回放機制對所述深度強化學習網絡進行初始化訓練，訓練所使用的經驗數據包括按照所述第二周期循環執行以上步驟的過程中收集的經驗數據。

8、可選地，將所述被試者此前接受經顱磁刺激時收集的經驗數據記為歷史經驗數據，其中，所述訓練所使用的經驗數據還包括所述歷史經驗數據；或其中，所述初始化訓練所基于的深度強化學習網絡是使用所述歷史經驗數據訓練得到的深度強化學習網絡。

9、可選地，所述腦機接口閉環神經調控方法還包括：將所述預設指標與預設取值范圍進行對比，得到調控評估信息，其中，所述預設取值范圍通過統計目標人群的所述預設指標的取值得到，所述調控評估信息用于表示對神經調控效果的評估。

10、可選地，在對所述深度強化學習網絡進行所述初始化訓練的過程中，根據所述預設指標與預設取值范圍，確定深度強化學習的即時獎勵，其中，所述預設取值范圍通過統計目標人群的所述預設指標的取值得到。

11、根據本公開的另一方面，提供一種腦機接口閉環神經調控裝置，包括：第一循環單元，被配置為按照第一周期循環運行以下單元，直到滿足結束條件；第一控制單元，被配置為控制經顱磁刺激設備按照設定的刺激參數運行第一時長，以刺激被試者；第一采集單元，被配置為采集所述被試者在目標腦區的腦電圖信號序列；第一處理單元，被配置為對所述腦電圖信號序列進行處理，得到預設指標，其中，所述預設指標用于反映所述目標腦區的活躍情況；第一調控單元，被配置為使用深度強化學習網絡處理所述預設指標，得到下一周期的刺激參數。

12、可選地，所述第一采集單元還被配置為采集所述被試者的多個通道的腦電圖信號序列，其中，所述多個通道對應的多個信號采集點包括所述目標腦區的多個點位，所述目標腦區包括默認模式網絡，所述目標腦區的多個點位包括以下至少一個：頂中點、枕中點、中央頂點、左側頂點、右側頂點。

13、可選地，所述第一處理單元還被配置為：對所述腦電圖信號序列進行壓縮預處理，得到壓縮腦電圖信號序列；對所述壓縮腦電圖信號序列進行處理，得到預設指標。

14、可選地，所述預設指標包括以下至少一項：平均功率譜密度、頻段相位同步指數、相位鎖定值。

15、可選地，所述第一處理單元還被配置為：針對所述多個通道中的每個通道的腦電圖信號序列，按照預設采樣頻率采樣得到多個信號子序列；針對每個通道的每個信號子序列，保留小于預設頻率的信號，并對大于或等于所述預設頻率的信號進行壓縮，得到每個通道的每個壓縮信號子序列；針對每個通道的每個壓縮信號子序列，確定所述壓縮信號子序列與相鄰通道中相同時序的壓縮信號子序列之間的相關性度量；從所有壓縮信號子序列中，去除相關性度量小于相關性閾值的壓縮信號子序列，得到所述壓縮腦電圖信號序列。

16、可選地，還包括第二循環單元，被配置為在運行所述第一循環單元之前，按照第二周期循環運行以下單元，直到達到結束時長，其中，所述第二周期的時長小于所述第一周期的時長，所述結束時長與所述第一周期的時長具有相同的數量級；第二控制單元，被配置為控制所述經顱磁刺激設備按照設定的刺激參數運行第二時長，以刺激所述被試者；第二采集單元，被配置為在第三時長內采集所述被試者在所述目標腦區的腦電圖信號序列，其中，所述第三時長大于所述第二時長；第二處理單元，被配置為對所述腦電圖信號序列進行處理，得到所述預設指標；第二調控單元，被配置為使用所述深度強化學習網絡處理所述預設指標，得到下一周期的刺激參數，其中，在按照所述第二周期循環執行以上步驟的過程中，利用經驗回放機制對所述深度強化學習網絡進行初始化訓練，訓練所使用的經驗數據包括按照所述第二周期循環執行以上步驟的過程中收集的經驗數據。

17、可選地，將所述被試者此前接受經顱磁刺激時收集的經驗數據記為歷史經驗數據，其中，所述訓練所使用的經驗數據還包括所述歷史經驗數據；或其中，所述初始化訓練所基于的深度強化學習網絡是使用所述歷史經驗數據訓練得到的深度強化學習網絡。

18、可選地，所述腦機接口閉環神經調控裝置還包括評估單元，被配置為將所述預設指標與預設取值范圍進行對比，得到調控評估信息，其中，所述預設取值范圍通過統計目標人群的所述預設指標的取值得到，所述調控評估信息用于表示對神經調控效果的評估。

19、可選地，在對所述深度強化學習網絡進行所述初始化訓練的過程中，根據所述預設指標與預設取值范圍，確定深度強化學習的即時獎勵，其中，所述預設取值范圍通過統計目標人群的所述預設指標的取值得到。

20、根據本公開的另一方面，提供一種存儲指令的計算機可讀存儲介質，其中，當所述指令被至少一個計算裝置運行時，促使所述至少一個計算裝置執行如上所述的腦機接口閉環神經調控方法。

21、根據本公開的另一方面，提供一種包括至少一個計算裝置和至少一個存儲指令的存儲裝置的系統，其中，所述指令在被所述至少一個計算裝置運行時，促使所述至少一個計算裝置執行如上所述的腦機接口閉環神經調控方法。

22、可選地，所述至少一個計算裝置包括：第一計算裝置，用于控制所述經顱磁刺激設備和腦電圖信號采集設備的運行；第二計算裝置，用于處理所述腦電圖信號序列，得到所述預設指標；第三計算裝置，用于使用所述深度強化學習網絡處理所述預設指標，得到下一周期的刺激參數。

23、根據本公開的另一方面，提供一種計算機程序產品，包括指令，其中，所述指令在被至少一個計算裝置運行時，促使所述至少一個計算裝置執行如上所述的腦機接口閉環神經調控方法。

24、根據本公開示例性實施例的腦機接口閉環神經調控方法、存儲介質、系統和程序產品，通過先按照設定的刺激參數控制經顱磁刺激設備運行第一時長，然后采集被試者的腦電圖信號序列并進行分析處理，再根據分析結果（即預設指標）更新刺激參數，并按照該規律循環往復，能夠響應于被試者的大腦狀態變化及時調整刺激參數，實現閉環的神經調控，有助于提升大腦狀態時間靶向的精確性。在更新刺激參數時，通過對采集的腦電圖信號序列進行分析處理，可從中提煉出信息濃度更高的預設指標，以反映大腦狀態，為新的刺激參數的確定提升效率；同時，通過使用深度強化學習網絡處理預設指標，以確定新的刺激參數，相較于相關技術中固定的狀態-參數規則，既無須給出明確的大腦狀態，又能夠挖掘出隱性的數據關聯，相較于其他機器學習網絡，則可借助經驗回放機制（experience?replay）實現經驗的積累和學習，挖掘出更符合當前被試者的隱性數據關聯，從而更高效地確定出適合當前被試者的刺激參數，提升了所確定的刺激參數的精度。總體來說，本公開以自適應閉環方式根據精確的個體特征調節大腦狀態，有助于提供更精確、有效的神經調控方案（即刺激參數）。

25、將在接下來的描述中部分闡述本公開總體構思另外的方面和/或優點，還有一部分通過描述將是清楚的，或者可以經過本公開總體構思的實施而得知。