本發明涉及康復機器人控制的，尤其是指一種基于多模態融合的下肢外骨骼康復機器人控制系統。

背景技術：

1、“腦卒中”又稱“中風”，是一種急性腦血管疾病。早期康復訓練對偏癱患者的運動能力恢復具有很大幫助，因此，下肢外骨骼康復機器人有著巨大的市場需求。傳統的被動式下肢外骨骼康復機器人無法滿足患者的實時康復需求，康復效果不佳，基于腦電信號控制的下肢外骨骼康復機器人是更加理想的解決方案，但由于腦電信號不穩定帶來的指令分類的不穩定問題，需要一種新的分類方式來加強指令輸出的正確性，因此，當前亟需一種能提高指令分類的方法應用在下肢外骨骼康復機器人的控制上。

2、傳統上，腦機接口bci通過大腦的信號實現與機器的直接交流，并已被應用于醫學領域，如運動康復，幫助腦卒中患者實現身體功能恢復。由于eeg信號易被噪聲干擾，且對應用在腦卒中患者上的下肢外骨骼康復機器人的控制需要精確，用于eeg信號分類eegnet卷積神經網絡的分類結果在精度上與實際應用所需的要求仍有一定的距離，需要進一步提高，尤其是對腦電信號較差的患者準確地分類結果上表現較差，這表明在構建應用于下肢康復外骨骼上的分類方法和系統依然是具有挑戰性的難題。

技術實現思路

1、本發明的目的在于克服現有技術的缺點與不足，提供一種基于多模態融合的下肢外骨骼康復機器人控制系統，可以有效提高腦卒中患者控制下肢外骨骼康復機器人的分類指令準確性以及康復效果。本發明能識別運動想象eeg腦電信號和視覺信號并各自得到一個分類結果，利用加權貝葉斯融合網絡根據權重將兩個分類結果融合輸出一個最終指令，使提供給下肢外骨骼康復機器人的運動指令更加準確，并且可以彌補僅使用機器視覺分類結果造成患者的主觀康復意圖的不足和僅使用腦電信號進行結果分類導致部分患者腦電信號不佳時使分類結果較差造成患者康復的效果不佳的不足。

2、為實現上述目的，本發明所提供的技術方案為：基于多模態融合的下肢外骨骼康復機器人控制系統，包括：

3、數據獲取與預處理模塊，用于獲取原始eeg腦電信號數據集、實際場景的視覺識別數據集和下肢外骨骼康復機器人的步態數據集，并對收集到的原始eeg腦電信號數據集進行預處理，得到更加清晰、噪聲更少、穩定的高質量eeg腦電信號數據集，再將預處理后的eeg腦電信號數據集按設定比例劃分為訓練集和驗證集；

4、數據處理模塊，用于對預處理后的eeg腦電信號數據集、實際場景的視覺識別數據集和下肢外骨骼康復機器人的步態數據集進行處理，并構建加權貝葉斯融合網絡融合eeg腦電分類結果和視覺分類結果來輸出最終分類結果；在eeg腦電信號數據集處理中，將訓練集送入eegnet卷積神經網絡進行訓練，通過驗證集對網絡的訓練效果進行驗證，以得到最優網絡，在后續的eeg腦電分類任務中采用該最優網絡進行分類，得到eeg腦電分類結果；在實際場景的視覺識別數據集處理中，使用采集的視覺識別數據集輸入卷積神經網絡進行訓練，以得到最優網絡，在后續的視覺分類任務中采用該最優網絡進行分類，得到視覺分類結果；在下肢外骨骼康復機器人的步態數據集處理中，手動向采集到的步態數據中進行加數據點操作，使得離散數據更加平滑，步態更規范，在后續的運動執行任務中采用處理后的步態數據集來規范下肢外骨骼康復機器人的運動步態；所述加權貝葉斯融合網絡是在貝葉斯融合網絡中引入權重分因子來調整輸入信號對該網絡輸出結果的貢獻，以得到能綜合考慮eeg腦電分類結果和視覺分類結果的最終分類結果；

5、執行模塊，基于數據處理模塊輸出的最終分類結果來控制下肢外骨骼康復機器人的運動狀態，分兩步控制：第一步為將系統中所用的設備進行連接通信，設備包括腦電設備、視覺設備和腦機計算機，并在程序中為腦機計算機和視覺設備分別設置狀態，通過更改二者狀態來實現對下肢外骨骼康復機器人的控制；第二步為在程序中設置一個用來持續監聽來自視覺設備消息的循環，其中視覺設備消息即為其狀態，根據監聽到的不同狀態來執行不同的控制邏輯，當初始狀態變更后，會進入變更后狀態的控制邏輯的執行流程，最終將指令輸出給下肢外骨骼康復機器人執行對應動作，完成康復運動。

6、進一步，所述eeg腦電信號數據集的獲取選用64通道腦電設備采集數據，選擇的通道列表為：fc5、fc3、fc1、fcz、fc2、fc4、fc6、c5、c3、c1、cz、c2、c4、c6、cp5、cp3、cp1、cp2、cp4和cp6；通過運動想象的標準范式收集每個任務的eeg腦電信號數據并構成數據集，數據集包括受試者平地行走運動想象數據、上樓梯運動想象數據以及下樓梯運動想象數據，每個任務重復多次以獲得足夠的數據用于后續分析，并在eeg采集軟件中打開實時顯示功能，查看各個通道的eeg波形，初步評估信號的質量，即正常的eeg信號應為平滑且有規律的波動，不應出現明顯的尖峰或劇烈的波動，預處理的操作流程包括：重采樣、濾波、去噪，去偽跡、基線校準、數據分割、特征提取、特征選擇與降維、分類與回歸預測和結果評估，將預處理后的eeg腦電信號數據集按8:2的比例劃分為訓練集和驗證集。

7、進一步，所述實際場景的視覺識別數據集的獲取使用esp32與openmv，其中esp32與openmv通過串口連接進行通信，openmv獲取實際場景的視覺數據，包括平地、上樓梯和下樓梯的數據，重復多次地拍攝不同地形的不同角度來獲取數據并構成數據集。

8、進一步，所述下肢外骨骼康復機器人的步態數據集的獲取使用下肢外骨骼康復機器人的主動康復模式，在該模式下能夠通過采集穿戴者的步態軌跡數據實現可定制化的步態，穿戴者在主動康復模式下進行標準化的平地行走、上樓梯以及下樓梯動作，下肢外骨骼康復機器人會將運動時的曲線動作轉變為離散的數據點記錄在接口程序中。

9、進一步，在eeg腦電信號數據集處理中，所述eegnet卷積神經網絡有三個卷積層，第一層為convolution即普通的卷積層操作，稱為普通卷積conv，第二層為depthwiseconvolution即逐通道的卷積層操作，稱為depthwise?conv，第三層為separableconvolution即深度分離卷積層操作，稱為separable?conv，該層由一個depthwiseconvolution和一個pointwise?convolution即逐點的卷積層操作共同組成；depthwiseconvolution的一個卷積核負責一個通道，即一個通道只被一個卷積核卷積；pointwiseconvolution的卷積核的形狀shape為1×1×m×c，m為上一層的通道數，c為卷積核的數目；將訓練集輸入eegnet卷積神經網絡中進行訓練，并通過驗證集對網絡的訓練效果進行驗證，以得到最優網絡用來對eeg腦電信號數據進行分類，該最優網絡輸出的分類結果將作為輸入加權貝葉斯融合網絡的數據之一。

10、進一步，在實際場景的視覺識別數據集處理中，使用openmv對實際場景，包括平地、上樓梯和下樓梯的數據進行收集，并將數據輸入卷積神經網絡進行訓練，以得到最優網絡用來對實際場景進行識別并輸出分類結果，使用esp32將該分類結果轉發至加權貝葉斯融合網絡中，即該最優網絡輸出的分類結果將作為輸入加權貝葉斯融合網絡的數據之一。

11、進一步，在下肢外骨骼康復機器人的步態數據集處理中，將下肢外骨骼康復機器人選擇為主動康復模式，在該模式下能夠通過采集穿戴者的步態軌跡數據實現可定制化的步態，設定康復模式共有三種并進行分類：平地行走為“a”類別、上樓梯為“b”類別和下樓梯為“c”類別；通過下肢外骨骼康復機器人采集數據功能采集穿戴者三種不同的運動步態的軌跡數據，并將收集到的數據寫入主動康復模式的接口中，設定相應的調用條件，即在收到“a”的控制指令時，調用平地行走的數據；在收到“b”的控制指令時，調用上樓梯的數據；在收到“c”的控制指令時，調用下樓梯的數據；接著，下肢外骨骼康復機器人就能通過收到對應指令來調用對應的數據來執行對應的動作；同時還設置有一個停止運動指令“0”，即在收到“0”的控制指令時，下肢外骨骼康復機器人會停止運動；由于收集到的數據為離散的數據點，所以通過手動補點的方式來使離散的數據點在整體上表現的更為平滑。

12、進一步，輸入加權貝葉斯融合網絡中的分類結果包括eegnet卷積神經網絡輸出的腦電分類結果和openmv輸出的視覺分類結果，在輸入該加權貝葉斯融合網絡之前為腦電分類結果和視覺分類結果加上權值，引入權重因子來調整這兩個分類結果對加權貝葉斯融合網絡的貢獻，以得到能綜合考慮eeg腦電分類結果和視覺分類結果的最終分類結果，其中eegnet卷積神經網絡為腦電分類器，openmv為openmv視覺分類器；所述加權貝葉斯融合網絡中使用的融合準則為最大后驗概率準則，各符號的意義如下：

13、由于下肢外骨骼康復機器人有三種運動康復模式：平地行走、上樓梯和下樓梯，對應有三種分類結果，平地行走為分類a，上樓梯為分類b，下樓梯為分類c，所以腦電分類器和openmv視覺分類器均為三分類器，其中腦電分類器輸出a的概率為p1，輸出b的概率為p2，輸出c的概率為p3；openmv視覺分類器輸出a的概率為p1′，輸出b的概率為p2′，輸出c的概率為p3′；腦電分類器占比ω1，openmv視覺分類器占比ω2，其中ω1+ω2＝1，0＜ω1≤ω2＜1；

14、s1為腦電分類器，以下稱分類器1；s2為openmv視覺分類器，以下稱分類器2；

15、p(a|s1,s2)表示給定分類器1和分類器2的觀測結果，發生類別a的概率；

16、p(b|s1,s2)表示給定分類器1和分類器2的觀測結果，發生類別b的概率；

17、p(c|s1,s2)表示給定分類器1和分類器2的觀測結果，發生類別c的概率；

18、p(a)表示類別a的先驗概率，即在沒有任何觀測結果的情況下，發生類別a的概率；

19、p(b)表示類別b的先驗概率，即在沒有任何觀測結果的情況下，發生類別b的概率；

20、p(c)表示類別c的先驗概率，即在沒有任何觀測結果的情況下，發生類別c的概率；

21、p(s1,s2|a)表示在類別a的情況下，分類器1和分類器2的聯合觀測概率；

22、p(s1,s2|b)表示在類別b的情況下，分類器1和分類器2的聯合觀測概率；

23、p(s1,s2|c)表示在類別c的情況下，分類器1和分類器2的聯合觀測概率；

24、p(s1,s2)表示歸一化常數，用于確保后驗概率之和為1；

25、加權貝葉斯融合網絡的具體步驟如下：

26、1)定義先驗概率：

27、場景設置的事件為一段平地行走、一段上樓梯以及一段下樓梯路程，三種事件發生的概率相同，即先驗概率相等，即p(a)＝p(b)＝p(c)；

28、2)計算帶權重的聯合概率：

29、

30、式中，表示腦電分類器輸出a的概率p1的腦電分類器所占權重ω1的次方；表示腦電分類器輸出b的概率p2的腦電分類器所占權重ω1的次方；表示腦電分類器輸出c的概率p3的腦電分類器所占權重ω1的次方；表示腦電分類器輸出a的概率p1′的腦電分類器所占權重ω2的次方；表示腦電分類器輸出a的概率p2′的腦電分類器所占權重ω2的次方；表示腦電分類器輸出a的概率p3′的腦電分類器所占權重ω2的次方。

31、其中，帶權重的貝葉斯融合使用冪函數而不是直接相乘權重的原因在于更合理地反應不同分類器的重要性，使用冪函數能夠實現非線性的調整，使得權重大的分類器對最終結果的影響更大，且冪運算在數學上是合理的，能夠更好地反映概率分布的變化；

32、3)計算歸一化常數：

33、p(s1,s2)＝p(s1,s2|a)·p(a)+p(s1,s2|b)·p(b)+p(s1,s2|c)·p(c)

34、4)計算后驗概率：

35、

36、最后，加權貝葉斯融合網絡會比較這三者的后驗概率大小，進而輸出后驗概率最大的類別。

37、進一步，將系統所用到的腦機計算機、esp32與openmv、下肢外骨骼康復機器人以及腦電設備進行連接，包括將腦機計算機與下肢外骨骼康復機器人的wifi進行連接，其中，腦機計算機即為當前正在運行程序的當前主機；接著，配置當前主機的ip地址與子網掩碼使得二者在同一局域網內，即當前主機和下肢外骨骼康復機器人達成通信條件；然后設置配置文件，其中包括腦電設備的ip地址、端口號port、采樣率sampling?rate、腦電電極的位置信息chanlocs和esp32的ip地址與端口號port等信息，便于當前主機、esp32與openmv和下肢外骨骼康復機器人三者之間能夠順利通信；在程序中初始化一個dataserverthread線程，負責與腦電設備建立tcp/ip連接并接受數據，調用connect()方法，嘗試與腦電設備建立tcp連接，確保能夠接受eeg腦電信號數據；接著，當前主機與openmv嘗試建立連接，由于二者之間無法直接進行無線通信，所以使用esp32作為主控板，充當路由的作用與當前主機進行連接，其中openmv與esp32使用串口連接，進行串口通信；esp32與當前主機建立tcp/ip連接，接著主機通過socket套接字向openmv設備發送一個狀態消息“connect_server”，告知本機已經準備好接受數據；接著是接受響應，等待openmv設備的響應，僅當返回的信息為“ready”就緒狀態時，表示連接成功；當連接成功后，程序會啟用一個新的線程data_handler，通過調用函數“handle_data”來處理數據以及邏輯，這個函數需要接受的參數包括：openmv的tcp套接字、dataserverthread線程、腦電設備信息和用于腦電分類的eegnet卷積神經網絡；在下肢外骨骼康復機器人和腦機計算機建立的tcp/ip連接中，下肢外骨骼康復機器人作為服務端接收來自腦機計算機的控制指令；搭載openmv的實物云臺包括大殼、大殼蓋板、小殼以及小殼蓋板，大殼中空，esp32與openmv放置于小殼中，大殼與大殼蓋板之間通過螺絲固定，小殼與小殼蓋板之間通過螺絲固定，大殼與小殼之間通過可調節角度的支架連接，通過調整支架來調整攝像頭的角度，以準確的識別標志物；通過腰帶將云臺固定在腰腹部正前方，大殼與腰腹部接觸，用來緩解行動過程中身體給整個云臺帶來偏移導致攝像頭位置發生的移動，通過調節支架來調整小殼中攝像頭的角度來達到最佳的識別角度。

38、進一步，在腦機計算機、esp32與openmv、下肢外骨骼康復機器人和腦電設備建立通信之后，設計控制邏輯來控制下肢外骨骼康復機器人運動，具體如下：

39、首先，設置一個全局變量“computer_status”來跟蹤腦機計算機的狀態，接著設置持續監聽來自openmv的消息，即其狀態的循環為無限循環來保證可持續性的控制下肢外骨骼康復機器人運動，根據監聽到的openmv的不同狀態來執行不同的邏輯；openmv有四種狀態：“recording_data”即記錄數據狀態、“stop_walking”即停止運動狀態、“finish”即結束狀態和“get_computer_status”即獲取腦機計算機狀態的狀態；首先，將腦機計算機狀態設置為“stand_by”即等待狀態，接著程序將腦機計算機狀態發送給esp32，esp32收到信息后會輪詢openmv的狀態是否發生改變；當openmv狀態發生改變后，會出現以下四種情況：

40、第一種情況，即變為“recording_data”，此時程序將腦機計算機狀態設置為“counting_data”即收集數據狀態，隨后腦機計算機提示下肢外骨骼康復機器人穿戴者“開始想象”，即開始收集穿戴者的eeg腦電信號數據，對收集到的eeg腦電信號數據進行預處理后，使用經過訓練后得到的最優的eegnet卷積神經網絡對預處理后的數據進行分類，輸出腦電分類結果，等待輸入加權貝葉斯融合網絡中；接下來程序將腦機計算機狀態設置為“waiting-openmv_data”即等待openmv視覺分類結果狀態；openmv輸出的視覺分類結果通過esp32轉發給腦機計算機后，程序將腦電分類結果和視覺分類結果輸入加權貝葉斯融合網絡中，該網絡會對輸入的分類結果進行融合；當加權貝葉斯融合網絡輸出融合后的分類結果后，程序將腦機計算機狀態設置為“waiting_robot”即等待發送分類結果給下肢外骨骼康復機器人狀態，接著通過創建tcp/ip套接字將腦機計算機與下肢外骨骼康復機器人進行連接通信；連接成功后，腦機計算機會將加權貝葉斯融合網絡輸出的分類結果發送到下肢外骨骼康復機器人，該分類結果即為控制下肢外骨骼康復機器人運動的指令，下肢外骨骼康復機器人根據收到的指令調用相應的運動步態數據，執行相應的康復運動步態；

41、第二種情況，即變為“stop_walking”，接著通過創建tcp/ip套接字將腦機計算機與下肢外骨骼康復機器人進行連接通信，在下肢外骨骼康復機器人與腦機計算機建立連接后，程序將腦機計算機的狀態設置為“stand_by”，接著腦機計算機會發送數字“0”給下肢外骨骼康復機器人，下肢外骨骼康復機器人收到該指令后會停止運動；

42、第三種情況，即變為“finish”，接著通過創建tcp/ip套接字將腦機計算機與下肢外骨骼康復機器人進行連接通信，在下肢外骨骼康復機器人與腦機計算機建立連接后，程序將腦機計算機的狀態設置為“finish”，接著腦機計算機會發送數字“0”給下肢外骨骼康復機器人，下肢外骨骼康復機器人收到該指令后會停止運動，并停止dataserverthread線程，終止與腦電設備的連接與數據接收，程序停止運行；

43、第四種情況，即變為“get_computer_status”，程序會返回當前的腦機計算機的狀態；

44、控制程序中設有無限循環的退出條件，即第二種情況和第三種情況，并且還能夠手動終止程序；在下肢外骨骼康復機器人上也設有開關按鈕，能夠主動停止下肢外骨骼康復機器人的運動。

45、本發明與現有技術相比，具有如下優點與有益效果：

46、1、本發明通過引入視覺分類來輔助腦電分類并采用加權貝葉斯融合網絡來將兩個分類結果融合，對腦電分類結果和視覺分類結果加上合理權重來調整對加權貝葉斯融合網絡輸出分類結果的貢獻，彌補僅使用視覺分類結果造成患者的主觀康復意圖的不足和僅使用腦電信號分類結果導致部分患者腦電信號不佳時使分類結果較差造成患者康復的效果不佳的不足。

47、2、本發明設計了完整的腦電、視覺和下肢外骨骼康復機器人模塊之間的交互流程，通過程序不斷輪詢openmv的狀態，根據得到的不同openmv的狀態修改腦機計算機的狀態，并執行不同的控制邏輯，最終輸出指令給下肢外骨骼康復機器人執行相應動作，流程設計合理并且考慮的情況全面，能有效提高患者的康復效果。

48、3、本發明相較于其它下肢外骨骼康復機器人的控制系統，整體康復流程設計更為合理，可根據實際情況和康復反饋修改下肢外骨骼康復機器人的運動軌跡，以達到更好的康復效果和更強烈的主觀康復意識，因而在實際場景中具有廣泛的使用空間，具有廣闊的應用前景。