本發(fā)明涉及腦損傷患者肢體康復(fù)技術(shù)領(lǐng)域，具體涉及一種基于腦機接口(brain-computer interface，BCI)與虛擬現(xiàn)實(virtual reality，VR)技術(shù)的上肢康復(fù)訓(xùn)練方法。

背景技術(shù)：

研究表明腦損傷患者及早進行主動康復(fù)訓(xùn)練有益于其肢體運動功能的恢復(fù)，然而軟癱期患者無法通過主動肢體運動促進大腦相關(guān)區(qū)域活動。基于大腦鏡像神經(jīng)元原理的運動想象與運動觀察訓(xùn)練為腦損傷患者提供了一種不依賴于外周肌肉收縮的主動康復(fù)訓(xùn)練方式。目前臨床所使用的運動想象訓(xùn)練需要通過語音引導(dǎo)患者進行運動想象，缺乏對患者運動想象狀態(tài)的有效監(jiān)測及反饋手段，使得醫(yī)生無法獲知患者大腦活動狀態(tài)并及時進行調(diào)整，訓(xùn)練效率低，訓(xùn)練效果差。基于運動想象的BCI技術(shù)可實現(xiàn)對運動想象狀態(tài)的監(jiān)測，但目前所采取的反饋機制均為“有或無”方式，即檢測到一次有效的運動想象活動即觸發(fā)一次完整的訓(xùn)練，例如啟動康復(fù)機器人輔助患者完成肢體的運動訓(xùn)練。其不足之處在于，在康復(fù)訓(xùn)練啟動后，患者不需要持續(xù)進行運動想象練習，因此后續(xù)的訓(xùn)練降低了對患者主動參與度的要求，實際變?yōu)榛颊弑粍拥慕邮苡?xùn)練。目前虛擬現(xiàn)實技術(shù)多與康復(fù)機器人技術(shù)相結(jié)合，康復(fù)機器人在輔助患者完成某一肢體動作時，通過虛擬現(xiàn)實技術(shù)為患者提供一個逼真的現(xiàn)實場景，結(jié)合目標導(dǎo)向型訓(xùn)練使患者感覺如同在進行實際的日常肢體活動，如物體的抓握等。虛擬現(xiàn)實環(huán)境增加了沉浸感與趣味性，研究也表明其能夠提高大腦活動水平。但是，對于無法進行自主肌肉收縮控制的軟癱期或痙攣期患者，機器人輔助下的肢體運動與虛擬現(xiàn)實場景結(jié)合依然屬于被動的康復(fù)訓(xùn)練，患者的主動參與意愿難以被調(diào)動。

技術(shù)實現(xiàn)要素：

為了克服上述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供了一種基于腦機接口與虛擬現(xiàn)實技術(shù)的上肢康復(fù)訓(xùn)練方法，保證訓(xùn)練難度與患者功能恢復(fù)情況相適應(yīng)，不需要在每次康復(fù)訓(xùn)練前進行數(shù)據(jù)采集用于校準，節(jié)省時間。

為了達到上述目的，本發(fā)明采取的技術(shù)方案為：

一種基于腦機接口與虛擬現(xiàn)實技術(shù)的上肢康復(fù)訓(xùn)練方法，包括以下步驟：

1)患者佩戴電極帽及VR眼鏡，連接計算機、腦電放大器與智能手機；

2)判斷患者是否是第一次訓(xùn)練，如果是，則首先采集腦電(electroencephalography，EEG)信號，進行個體化分類器校準，然后開始一次訓(xùn)練；否則直接開始一次訓(xùn)練；

3)訓(xùn)練過程中，VR眼鏡與智能手機為患者構(gòu)建第一人稱視角的上肢訓(xùn)練動作場景，患者通過持續(xù)運動想象練習，實時控制虛擬場景中的上肢動作，計算機中的BCI模塊依據(jù)患者當前訓(xùn)練效果，自動調(diào)整分類器；

4)訓(xùn)練結(jié)束后，BCI模塊的分類器進行自適應(yīng)調(diào)整，用于下次訓(xùn)練。

所述步驟2)中個體化分類器校準過程，包括以下步驟：

2.1)患者依據(jù)屏幕提示信息進行肢體運動想象練習，每次練習維持4秒，相鄰兩次練習間存在4秒間隔用于放松休息，即安靜狀態(tài)，采集整個過程患者的EEG信息；

2.2)分別將運動想象狀態(tài)及安靜狀態(tài)下的EEG信號分割成250毫秒長的數(shù)據(jù)段，利用共空間模式(common spatial pattern，CSP)法進行兩類樣本的特征值提取，利用自回歸(autoregression model，AR)模型估計EEG信號的功率譜密度；

2.3)將支持向量機(supportvectormachine，SVM)作為分類器，使用提取的兩類樣本特征值對分類器參數(shù)進行最優(yōu)化設(shè)計；利用多倍交叉驗證法對分類效果進行評估；

2.4)將最優(yōu)化分類器參數(shù)及分類效果保存至患者數(shù)據(jù)庫，以便在開始訓(xùn)練前調(diào)用。

所述步驟3)中，患者通過持續(xù)運動想象練習，實時控制虛擬場景中的上肢動作以及BCI模塊在一次訓(xùn)練中的自動調(diào)整過程，包括以下步驟：

3.1)長度為250毫秒的移動時間窗截取實時采集到的EEG數(shù)據(jù)；

3.2)對時間窗內(nèi)的EEG數(shù)據(jù)利用CSP法進行特征提取；

3.3)調(diào)取最優(yōu)化分類器參數(shù)，對提取到的特征進行處理，依據(jù)初始決策閾值對分類器輸出結(jié)果進行決策；

3.4)如果分類結(jié)果為患者當前沒有進行運動想象，則判斷是否是第n次檢測結(jié)果為無運動想象，如果不是，則降低虛擬場景中肢體運動速度后返回步驟3.1)，讀取下一個移動時間窗內(nèi)EEG數(shù)據(jù)；

3.5)如果是n次檢驗結(jié)果為無運動想象，則停止虛擬場景中上肢運動；然后判斷是否是連續(xù)n+m次檢測無運動想象，是，則降低分類器決策閾值后返回步驟3.1)，讀取下一個移動時間窗內(nèi)EEG數(shù)據(jù)，如果不是，則直接返回步驟3.1)；

3.6)如果步驟3.3)判斷結(jié)果表明患者在進行運動想象，則利用AR模型法估計功率譜后計算事件相關(guān)去同步(Event Related Desynchronization，ERD)強度M，并依據(jù)ERD強度M計算虛擬場景中上肢運動速度為v＝V(1-e^-k·M)，其中k為常數(shù)，用于調(diào)整運動速度隨ERD強度變化的快慢，M∈(0,1)，V為最大肢體運動速度；

3.7)判斷是否連續(xù)k次檢測到運動想象狀態(tài)，如果不是，則判斷訓(xùn)練時間是否結(jié)束，如果是，則結(jié)束本次訓(xùn)練；如果不是，則返回步驟3.1)，讀取下一個移動時間窗內(nèi)EEG數(shù)據(jù)；

3.8)如果檢測到連續(xù)k次運動想象狀態(tài)，則恢復(fù)分類器決策閾值至本次訓(xùn)練開始時的水平；然后判斷訓(xùn)練時間是否結(jié)束，如果是，則結(jié)束本次訓(xùn)練，如果不是，則返回步驟3.1)，讀取下一個移動時間窗內(nèi)EEG數(shù)據(jù)。

所述的步驟4)中BCI模塊的分類器進行自適應(yīng)調(diào)整，以用于下次訓(xùn)練，包括以下步驟：

4.1)一次訓(xùn)練結(jié)束后，從患者數(shù)據(jù)庫中調(diào)取歷次訓(xùn)練時的EEG信號；

4.2)分別將安靜及運動想象狀態(tài)下的EEG信號分割為250毫秒的數(shù)據(jù)段，并利用AR模型法估計各數(shù)據(jù)段功率譜，計算對側(cè)運動皮層區(qū)域α及β頻帶平均能量；

4.3)從安靜狀態(tài)下腦電數(shù)據(jù)中找出N個頻帶能量最高的樣本作為安靜狀態(tài)的新樣本，從運動想象狀態(tài)腦電數(shù)據(jù)中找出N個頻帶能量最低的樣本作為運動想象狀態(tài)新樣本；

4.4)利用CSP法分別提取安靜狀態(tài)及運動想象狀態(tài)樣本的特征值；

4.5)支持向量機(support vector machine，SVM)作為分類器，使用提取的兩類樣本特征值對分類器參數(shù)進行最優(yōu)化設(shè)計；利用多倍交叉驗證法對分類效果進行評估；將最優(yōu)化分類器參數(shù)及分類效果保存至患者數(shù)據(jù)庫，以便在下次訓(xùn)練前調(diào)用。

本發(fā)明的有益效果為：

1、運動想象狀態(tài)檢測與模式識別技術(shù)：考慮到檢測設(shè)備的便攜性、時間分辨率的要求，本發(fā)明通過頭皮EEG檢測大腦神經(jīng)元的活動變化，且EEG采集電極主要分布于左右兩側(cè)運動皮層區(qū)域。對于采集到的連續(xù)EEG信號，在每個移動時間窗內(nèi)利用共空間模式(common spatial pattern，CSP)、自回歸(autoregression，AR)模型等對多導(dǎo)EEG信號進行處理，提取特征向量。分類器采用有監(jiān)督學習模型支持向量機(support vector machine，SVM)，依據(jù)每個移動窗內(nèi)提取的特征進行分類從而對大腦活動進行判斷。考慮到康復(fù)訓(xùn)練的實際需求，分類主要在想象左(右)側(cè)肢體運動與安靜狀態(tài)間進行。

2、運動想象活動持續(xù)控制虛擬場景中肢體運動：本發(fā)明使用滑動時間窗對實時采集到的EEG信號進行分割，并在每個時間窗內(nèi)對大腦運動想象狀態(tài)進行檢測與分類，并依據(jù)分類結(jié)果及大腦運動皮層區(qū)域表現(xiàn)出的ERD強度對虛擬現(xiàn)實場景中的肢體運動進行控制。判斷所得的是否在進行運動想象用于控制的肢體的運動與否，ERD強度則用于控制運動速度，強度越大，移動速度越快，運動速度與ERD強度間為非線性關(guān)系，運動速度存在最大值。這樣的方法使得患者必須在整個過程持續(xù)進行有效的運動想象訓(xùn)練才能完成虛擬場景中所規(guī)定的上肢運動任務(wù)。

3、BCI模塊的自適應(yīng)調(diào)整：BCI模塊的自適應(yīng)調(diào)整包括兩個方面。一方面，患者在一次康復(fù)訓(xùn)練過程中，可能由于某些原因?qū)е翨CI模塊對患者持續(xù)判斷為非運動想象狀態(tài)，這種情況的出現(xiàn)會導(dǎo)致患者喪失自信心與繼續(xù)訓(xùn)練的積極性。因此，在一次訓(xùn)練過程中，若一定時間(如5秒)BCI均判斷患者大腦活動狀態(tài)為安靜狀態(tài)，則降低分類器決策閾值，提高BCI模塊判斷為運動想象狀態(tài)的概率，使得患者可以通過運動想象觸發(fā)虛擬場景中肢體運動。

另一方面，隨著患者肢體運動功能的恢復(fù)及基于BCI的康復(fù)訓(xùn)練，患者所能激發(fā)的ERD強度增大，因此需要依據(jù)新的樣本不斷調(diào)整BCI模塊SVM分類器，以保證BCI模塊對患者具有適當?shù)挠?xùn)練難度。對于不斷積累的EEG樣本數(shù)據(jù)，在每次康復(fù)訓(xùn)練后，利用AR模型計算估計EEG信號α及β頻帶能量，選擇安靜狀態(tài)下頻帶能量最高的部分樣本作為安靜狀態(tài)新樣本，而選擇運動想象訓(xùn)練時α及β頻帶能量最低的部分樣本作為運動想象狀態(tài)的新樣本，并利用新樣本重新進行分類器優(yōu)化設(shè)計，將分類器參數(shù)保存至數(shù)據(jù)庫以便下次康復(fù)訓(xùn)練時直接調(diào)用。

虛擬現(xiàn)實技術(shù)能夠增加訓(xùn)練的趣味性及沉浸感，BCI技術(shù)能夠?qū)崿F(xiàn)對大腦活動狀態(tài)的檢測與反饋。本發(fā)明中虛擬現(xiàn)實場景中的肢體運動受到患者主動意愿的支配，具體為其進行運動想象訓(xùn)練時激活的大腦活動水平。而且虛擬現(xiàn)實場景中肢體運動受到運動想象的持續(xù)控制，這使得患者要進行持續(xù)有效的運動想象訓(xùn)練，從而激發(fā)大腦活動始終處于較高水平。此外，BCI模塊具有自適應(yīng)調(diào)整功能，且其優(yōu)化依賴于患者進行康復(fù)訓(xùn)練的歷史數(shù)據(jù)，并以保證運動想象訓(xùn)練難度適當及患者訓(xùn)練積極性為目標。與一成不變的BCI設(shè)計相比，本發(fā)明所述方法能夠適應(yīng)患者康復(fù)狀況的變化，且不需要在每次康復(fù)訓(xùn)練前進行數(shù)據(jù)采集用于校準，節(jié)省時間。

附圖說明

圖1為本發(fā)明的流程圖。

圖2為初次康復(fù)訓(xùn)練前患者個體分類器的最優(yōu)化流程圖。

圖3為康復(fù)訓(xùn)練過程中大腦運動想象狀態(tài)檢測結(jié)果對虛擬場景中肢體運動的控制流程圖。

圖4為每次康復(fù)訓(xùn)練結(jié)束后分類器的自適應(yīng)調(diào)整流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明作詳細描述。

參照圖1，用于腦卒中患者上肢康復(fù)訓(xùn)練，一種基于腦機接口與虛擬現(xiàn)實技術(shù)的上肢康復(fù)訓(xùn)練方法，包括以下步驟：

1)患者佩戴電極帽及VR眼鏡，連接計算機、腦電放大器與智能手機；電極帽電極分布按照國際通用10-20系統(tǒng)，分別位于FC5、FC3、FC1、FCz、FC2、FC4、FC6、C5、C3、C1、Cz、C2、C4、C6、CP5、CP3、CP1、CPz、CP2、CP4、CP6處，這些區(qū)域覆蓋了與運動有關(guān)的初級感覺及運動皮層及前運動區(qū)；智能手機APP與計算機兩者間通過TCP/IP協(xié)議進行數(shù)據(jù)通訊，需要將智能手機與計算機通過wifi連接在同一個局域網(wǎng)上；

2)判斷患者是否是第一次訓(xùn)練，如果是，則首先采集EEG信號，進行個體化分類器校準，然后開始一次訓(xùn)練；否則直接開始一次訓(xùn)練；

參照圖2，對于第一次接受康復(fù)訓(xùn)練的患者，需要對其進行數(shù)據(jù)采集，用于BCI模塊個體化分類器的校準過程，包括以下步驟：

2.1)患者依據(jù)屏幕提示信息進行肢體運動想象練習，每次練習維持4秒，相鄰兩次練習間存在4秒間隔用于放松休息，即安靜狀態(tài)，采集整個過程患者的EEG信號；

2.2)分別將運動想象狀態(tài)及安靜狀態(tài)下的EEG信號分割成250毫秒長的數(shù)據(jù)段，利用CSP法進行兩類樣本的特征值提取，利用AR模型估計腦電信號的功率譜密度；

2.3)將SVM作為分類器，使用提取的兩類樣本特征值對分類器參數(shù)進行最優(yōu)化設(shè)計；利用多倍交叉驗證法對分類效果進行評估；

2.4)將最優(yōu)化分類器參數(shù)及分類效果保存至患者數(shù)據(jù)庫，以便在開始訓(xùn)練前調(diào)用；

3)訓(xùn)練過程中，VR眼鏡與智能手機為患者構(gòu)建第一人稱視角的上肢訓(xùn)練動作場景，患者通過持續(xù)運動想象練習實時控制虛擬場景中的上肢動作，從而完成虛擬場景中所設(shè)計的任務(wù)；計算機中的BCI模塊使用3Dmax制作第一人稱視角下的上肢及日常生活環(huán)境的模型，并完成各種上肢動作的制作，編寫智能手機終端android版及ios版APP，能夠依據(jù)接收的指令控制虛擬場景中上肢的運動速度；

參照圖3，每次訓(xùn)練開始后，患者通過持續(xù)運動想象練習實時控制虛擬場景中的上肢動作，且在一次訓(xùn)練中，BCI模塊分類器決策閾值能夠自動調(diào)整，包括以下步驟：

3.1)長度為250毫秒的移動時間窗截取實時采集到的EEG數(shù)據(jù)；

3.2)對時間窗內(nèi)的EEG數(shù)據(jù)利用CSP法進行特征提取；

3.3)調(diào)取最優(yōu)化分類器參數(shù)，對提取到的特征進行處理，依據(jù)初始決策閾值對分類器輸出結(jié)果進行決策；

3.4)如果分類結(jié)果為患者當前沒有進行運動想象，則判斷是否是第n次檢測結(jié)果為無運動想象，如果不是，則降低肢體運動速度后返回步驟3.1)，讀取下一個移動時間窗內(nèi)EEG數(shù)據(jù)；

3.5)如果是n次檢驗結(jié)果為無運動想象，則停止虛擬場景中上肢運動；然后判斷是否是連續(xù)n+m次檢測無運動想象，是，則降低分類器決策閾值后返回步驟3.1)，讀取下一個移動時間窗內(nèi)EEG數(shù)據(jù)，如果不是，則直接返回步驟3.1)；

3.6)如果步驟3.3)判斷結(jié)果表明患者在進行運動想象，則利用AR模型法估計功率譜后計算ERD強度M，并依據(jù)ERD強度M計算虛擬場景中上肢運動速度為v＝V(1-e^-k·M)，其中k為常數(shù)，用于調(diào)整運動速度隨ERD強度變化的快慢，M∈(0,1)，V為最大肢體運動速度；

3.7)判斷是否連續(xù)k次檢測到運動想象狀態(tài)，如果不是，則判斷訓(xùn)練時間是否結(jié)束，如果是，則結(jié)束本次訓(xùn)練，如果不是，則返回步驟3.1)，讀取下一個移動時間窗內(nèi)EEG數(shù)據(jù)；

3.8)如果檢測到連續(xù)k次運動想象狀態(tài)，則恢復(fù)分類器決策閾值至訓(xùn)練開始時的水平；然后判斷訓(xùn)練時間是否結(jié)束，如果是，則結(jié)束本次訓(xùn)練，如果不是，則返回步驟3.1)，讀取下一個移動時間窗內(nèi)EEG數(shù)據(jù)；

4)訓(xùn)練結(jié)束后，BCI模塊的分類器進行自適應(yīng)調(diào)整用于下次訓(xùn)練；

參照圖4，在每次康復(fù)訓(xùn)練結(jié)束后，BCI模塊新收集了本次訓(xùn)練的EEG數(shù)據(jù)，并依據(jù)歷次訓(xùn)練的數(shù)據(jù)對BCI模塊的分類器參數(shù)進行重新優(yōu)化設(shè)計以用于下次訓(xùn)練，包括以下步驟：

4.1)一次訓(xùn)練結(jié)束后，從患者數(shù)據(jù)庫中調(diào)取歷次訓(xùn)練時的EEG信號；

4.2)分別將安靜及運動想象狀態(tài)下的EEG分割為250毫秒的數(shù)據(jù)段，并利用AR模型法估計各數(shù)據(jù)段功率譜，計算對側(cè)運動皮層區(qū)域α及β頻帶平均能量；

4.3)從安靜狀態(tài)下EEG數(shù)據(jù)中找出N個頻帶能量最高的樣本作為安靜狀態(tài)的新樣本，從運動想象狀態(tài)腦電數(shù)據(jù)中找出N個頻帶能量最低的樣本作為運動想象狀態(tài)新樣本；

4.4)利用CSP法分別提取安靜狀態(tài)及運動想象狀態(tài)樣本的特征值；

4.5)SVM作為分類器，使用提取的兩類樣本特征值對分類器參數(shù)進行最優(yōu)化設(shè)計；利用多倍交叉驗證法對分類效果進行評估；將最優(yōu)化分類器參數(shù)及分類效果保存至患者數(shù)據(jù)庫，以便在下次訓(xùn)練前調(diào)用。