本發(fā)明涉及虛擬現(xiàn)實(shí)，尤其是一種應(yīng)用于虛擬環(huán)境控制的多模態(tài)人機(jī)交互方法和系統(tǒng)。

背景技術(shù)：

1、傳統(tǒng)的人機(jī)交互多采用單一信號的模態(tài)信息，這種交互依賴于一種特定的輸入方式，但是單一模態(tài)的輸入存在一定的局限性，近年來，多模態(tài)的人機(jī)交互方法逐漸受到重視。

2、在中國專利公開號：cn116795964a中公開了名稱：一種基于視覺與語音識別的多模態(tài)人機(jī)交互方法及系統(tǒng)，該發(fā)明的人機(jī)交互方法包括如下步驟：基于量表數(shù)據(jù)庫獲取待測量表，其中，量表數(shù)據(jù)庫中預(yù)設(shè)有多種量表，并且針對每一種量表中的題目均預(yù)設(shè)有多種回答結(jié)果，各回答結(jié)果分別對應(yīng)不同的意圖；在用戶開始人機(jī)交互前，檢測用戶的人臉嘴型最佳位置；基于待測量表中的題目，通過虛擬形象與用戶進(jìn)行一問一答的交互過程；獲取用戶在交互過程中的行為反應(yīng)數(shù)據(jù)；對行為反應(yīng)數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，以獲取用戶的意圖；基于量表數(shù)據(jù)庫，獲取與意圖相對應(yīng)的回答結(jié)果；將回答結(jié)果呈現(xiàn)給用戶，以完成本次人機(jī)交互，但是虛擬形象在處理復(fù)雜、模糊或含有隱喻的問題時，可能無法準(zhǔn)確理解用戶問題的真實(shí)意圖，對于用戶的非標(biāo)準(zhǔn)用語、方言或口音，虛擬形象可能無法正確識別。

3、本發(fā)明針對上述缺點(diǎn)提出解決方案為：采集人體位置信號、人體生物電信號和語音信號，將人體姿態(tài)的三維實(shí)時坐標(biāo)轉(zhuǎn)換為虛擬環(huán)境中的三維坐標(biāo)，通過檢測人體生物電信號和語音信號并進(jìn)行識別，使用生物電信號和語音信號并行混合信號實(shí)行指令輸出，提高了虛擬環(huán)境中人機(jī)交互的準(zhǔn)確率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為了解決上述存在的技術(shù)問題，提供一種應(yīng)用于虛擬環(huán)境控制的多模態(tài)人機(jī)交互方法和系統(tǒng)。

2、本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：一種應(yīng)用于虛擬環(huán)境控制的多模態(tài)人機(jī)交互方法，包括：

3、s1、采集人體位置信號、人體生物電信號和語音信號，人體位置信號為人體姿態(tài)的三維實(shí)時坐標(biāo)信號，人體生物電信號包括eog信號和emg信號，將采集的信號傳輸至控制模塊；

4、s2、控制模塊將人體位置信號傳輸至替換模塊，替換模塊通過識別算法將人體姿態(tài)的三維實(shí)時坐標(biāo)轉(zhuǎn)換為虛擬環(huán)境中的三維坐標(biāo)，將轉(zhuǎn)換后的三維坐標(biāo)傳輸至控制模塊；

5、s3、控制模塊進(jìn)行人體生物電信號和語音信號單項信號檢測和識別算法任務(wù)，提取信號特征；

6、s4、控制模塊根據(jù)不同的任務(wù)要求，利用不同信號特征，執(zhí)行多模態(tài)融合算法，將多模態(tài)融合算法生成的指令傳輸至應(yīng)用模塊；

7、s5、應(yīng)用模塊根據(jù)多模態(tài)融合算法生成的指令進(jìn)行人機(jī)交互，識別人機(jī)交互結(jié)果。

8、進(jìn)一步地，所述s1步驟中采集人體位置信號，對于人機(jī)交互在應(yīng)用場景中人體的移動操作，通過人體位置傳感器實(shí)時采集人體姿態(tài)的三維坐標(biāo)，人體位置傳感器為內(nèi)置陀螺儀；

9、所述采集人體生物電信號和語音信號通過用戶使用穿戴式hbci設(shè)備進(jìn)行采集，穿戴式hbc?i設(shè)備為不可進(jìn)入人體的可穿戴腦-機(jī)接口，eog信號采集通過在右耳耳垂下端安置參考電極ref，在前額上部安置接地電極gnd，emg信號采集通過在下頜骨升支與顴弓之間的區(qū)域安置表面電極，eog信號和emg信號的采集設(shè)備均為吸附在皮膚表面，所述eog信號是單次眨眼或抬眉毛，所述emg信號是咬牙。

10、進(jìn)一步地，所述s2步驟中替換模塊通過識別算法將人體姿態(tài)的三維坐標(biāo)轉(zhuǎn)換為虛擬環(huán)境中的三維坐標(biāo)，通過用戶佩戴采集設(shè)備采集人體移動產(chǎn)生的連續(xù)三維實(shí)時坐標(biāo)數(shù)據(jù)，采集設(shè)備為姿態(tài)傳感器，并且利用應(yīng)用軟件同步采集虛擬環(huán)境中虛擬人體的三維實(shí)時坐標(biāo)數(shù)據(jù)，將采集的人體移動產(chǎn)生的連續(xù)三維實(shí)時坐標(biāo)數(shù)據(jù)依據(jù)現(xiàn)實(shí)-虛擬的位置編制替換算法，換算成和虛擬環(huán)境中虛擬人體的三維實(shí)時坐標(biāo)數(shù)據(jù)關(guān)聯(lián)的像素坐標(biāo)，并將特定標(biāo)識顯示在坐標(biāo)區(qū)域中，根據(jù)人體移動產(chǎn)生的連續(xù)三維實(shí)時坐標(biāo)值的連續(xù)變化，特定標(biāo)識在虛擬環(huán)境中進(jìn)行實(shí)時移動，完成人體的現(xiàn)實(shí)-虛擬協(xié)同位移替換，將特定標(biāo)識運(yùn)動到軟件圖標(biāo)上，啟動確認(rèn)狀態(tài)識別；

11、更進(jìn)一步地，所述現(xiàn)實(shí)-虛擬的位置編制替換算法，具體步驟為：

12、s201、角度計算中，采用陀螺儀，姿態(tài)傳感器包括陀螺儀、加速度計、磁力計三個部件，陀螺儀用于測量旋轉(zhuǎn)的角速度，利用積分獲取角度值；

13、s202、加速度計用于測量三個軸的加速度分量，利用三角函數(shù)關(guān)系解算角度姿態(tài)；

14、s203、磁力計用于測量三個軸的磁感應(yīng)強(qiáng)度，當(dāng)磁力計在水平位置且無外加磁場干擾時，航向角通過三角函數(shù)關(guān)系計算，當(dāng)磁力計不在水平位置時，利用傾斜補(bǔ)償后的磁感應(yīng)強(qiáng)度計算航向角；

15、s204、利用卡爾曼濾波算法對多個傳感器數(shù)據(jù)進(jìn)行融合，抑制噪聲，以陀螺儀的角度狀態(tài)作為觀測值，加速度計和電子羅盤測量的角度值作為觀測值；

16、s205、根據(jù)卡爾曼濾波的姿態(tài)角，識別用戶的轉(zhuǎn)型動作，每隔一段時間更新一次角度數(shù)據(jù)，若當(dāng)前的俯仰角數(shù)據(jù)值與前一次更新的角度數(shù)據(jù)值相比為正，識別用戶向上移動，若當(dāng)前的俯仰角數(shù)據(jù)值與前一次更新的角度數(shù)據(jù)值相比為負(fù)，識別用戶向下移動，若當(dāng)前的航向角數(shù)據(jù)值與前一次更新的角度數(shù)據(jù)值相比為正，識別用戶向右移動，若當(dāng)前的航向角與前一次更新的角度數(shù)據(jù)值相比為負(fù)，識別用戶向左移動。

17、進(jìn)一步地，所述s3步驟中進(jìn)行生物電信號單項信號檢測，在進(jìn)行生物電信號單項信號檢測前，對生物電操作進(jìn)行校準(zhǔn)，當(dāng)校準(zhǔn)開始后，校準(zhǔn)界面中的一個按鈕以1.4秒的時間為間隔執(zhí)行閃爍，其中，該按鈕包括多個文字和圖形化按鈕，在校準(zhǔn)過程中包括20次按鈕閃爍，在按鈕的激活狀態(tài)下，用戶根據(jù)按鈕的閃爍進(jìn)行同步的生物電操作，包括單次眨眼或抬眉毛，計算20個生物電操作反應(yīng)時間trespone值的平均值作為平均生物電操作反應(yīng)時間trespone，計算公式為：

18、

19、其中，trespone表示平均生物電操作時間，表示20個生物電操作反應(yīng)時間trespone值的平均值；

20、在每次按鈕閃爍中提取特征向量，包括20個特征向量，并計算20組間隔時間tinterval和累計能量e；

21、處理特征向量f的波峰和波谷之間的間隔時間tinterval和累計能量e的異常值，利用3σ準(zhǔn)則進(jìn)行消除異常值；

22、對處理完異常值的間隔時間tinterval和累計能量e數(shù)據(jù)，分別進(jìn)行從大到小的降序排序，并選取間隔時間tinterval數(shù)據(jù)大于95％中的最小時間間隔tinterval值作為最小時間閾值tmin，選取間隔時間tinterval數(shù)據(jù)大于5％中的最小時間間隔tinterval值作為最大時間閾值tmax，選取累計能量e數(shù)據(jù)大于95％中的最小累計能量e值作為能量閾值e；

23、對生物電信號單項信號進(jìn)行識別算法，波形檢測結(jié)果result＝1表示檢測到生物電操作；

24、在單輪生物電交互系統(tǒng)中，用戶進(jìn)行生物電操作時，若同時檢測到多個特征向量的波形顯示result＝1，則選擇同步時間誤差值最小的按鈕作為目標(biāo)按鈕；

25、所述語音信號單項信號檢測的檢測處理包括語音增強(qiáng)和語音識別，通過簡譜法對原始語音信號去噪，進(jìn)行語音增強(qiáng)，通過將時域信號轉(zhuǎn)換為頻域特征，輸入到聲學(xué)模型中，計算語音指令的概率分布，并通過語音詞典庫進(jìn)行匹配解碼，識別語音信號，并輸出語音指令。

26、進(jìn)一步地，所述s4步驟中控制模塊根據(jù)不同的任務(wù)要求，利用不同信號特征，執(zhí)行多模態(tài)融合算法，通過s3步驟中對生物電信號檢測方式確認(rèn)用戶在人機(jī)交互系統(tǒng)的gui界面選擇的按鈕，檢測是否有對應(yīng)的語音提示信號選擇按鈕，確認(rèn)當(dāng)前輸入的人體姿態(tài)信號、人體生物電信號、語音信號類型的兩種以上的混合信號的多模態(tài)形式，若多模態(tài)檢測中涉及生物電信號和語音信號的并行確認(rèn)，則檢測生物電信號和語音信號是否在一段特定的時間窗內(nèi)；

27、檢測生物電信號和語音信號在一段特定的時間窗內(nèi)為：在0-600毫秒內(nèi)檢測到有效的生物電操作波形結(jié)果result＝1，同時，在0-1000毫秒內(nèi)檢測到有效的語音信號，若是，輸出對應(yīng)的指令，若否，則不輸出任何指令；

28、更進(jìn)一步地，所述利用不同信號特征，執(zhí)行多模態(tài)融合算法，在按鈕激活的狀態(tài)下,按鈕激活狀態(tài)為按鈕以固定或隨機(jī)方式逐個閃爍，當(dāng)用戶在按鈕閃爍的同時執(zhí)行生物電操作和說出對應(yīng)的語音提示詞，若檢測到生物電操作波形結(jié)果result＝1，同時檢測到有效的語音指令，且檢測到生物電操作信號和語音指令信號在一段特定的時間窗內(nèi)，系統(tǒng)執(zhí)行動作輸出指令，將指令傳輸至應(yīng)用模塊；

29、若檢測到生物電操作波形結(jié)果result＝1，但是沒有檢測到有效的語音指令，或檢測到生物電操作波形結(jié)果result＝0，但是檢測到有效的語音指令，或檢測到生物電操作波形結(jié)果result＝1，同時檢測到有效的語音指令，但是生物電操作信號和語音指令信號不在一段特定的時間窗內(nèi)，不執(zhí)行動作，系統(tǒng)進(jìn)行下一輪檢測。

30、進(jìn)一步地，所述s5步驟中識別人機(jī)交互結(jié)果，應(yīng)用模塊根據(jù)控制模塊進(jìn)行的多模態(tài)融合算法檢測識別并融合生物電信號和語音信號數(shù)據(jù)，提取數(shù)據(jù)的關(guān)鍵信息，識別用戶的操作意圖，調(diào)整虛擬物體的位置和狀態(tài)，識別人機(jī)交互。

31、本發(fā)明的系統(tǒng)方案是這樣實(shí)現(xiàn)的：一種應(yīng)用于虛擬環(huán)境控制的多模態(tài)人機(jī)交互系統(tǒng)，包括：

32、采集模塊，與控制模塊、傳輸模塊連接，用于采集人體位置信號、人體生物電信號、語音信號，通過傳輸模塊將采集的信號傳輸給控制模塊；

33、控制模塊，與采集模塊、替換模塊、傳輸模塊連接，用于提取信號特征和模式識別，執(zhí)行檢測和識別單項信號的任務(wù)，根據(jù)不同任務(wù)執(zhí)行多模態(tài)融合算法；

34、替換模塊，與控制模塊、傳輸模塊連接，用于通過識別算法將人體姿態(tài)的三維實(shí)時坐標(biāo)轉(zhuǎn)換為虛擬環(huán)境中的三維坐標(biāo)；

35、應(yīng)用模塊，與控制模塊、傳輸模塊連接，用于根據(jù)多模態(tài)融合算法生成的指令進(jìn)行人機(jī)交互，識別人機(jī)交互結(jié)果；

36、傳輸模塊，與采集模塊、替換模塊、控制模塊、應(yīng)用模塊連接，用于將采集模塊采集的信號通過無線通信的方式傳輸至控制模塊，將控制模塊接收的采集信號通過無線通信的方式傳輸至替換模塊，并在識別算法將人體姿態(tài)的三維實(shí)時坐標(biāo)轉(zhuǎn)換為虛擬環(huán)境中的三維坐標(biāo)后通過無線通信的方式傳輸至控制模塊，將控制模塊執(zhí)行多模態(tài)融合算法生成的指令通過無線通信的方式傳輸至應(yīng)用模塊。

37、有益效果

38、本發(fā)明針對現(xiàn)有技術(shù)中無法解決虛擬環(huán)境中人機(jī)交互準(zhǔn)確率的問題，通過采集人體位置信號、人體生物電信號和語音信號，利用現(xiàn)實(shí)-虛擬的位置編制替換算法，將人體移動產(chǎn)生的實(shí)時三維坐標(biāo)數(shù)據(jù)轉(zhuǎn)換為虛擬人體的三維實(shí)時坐標(biāo)數(shù)據(jù)關(guān)聯(lián)的像素坐標(biāo)，并進(jìn)行生物電信號和語音信號的單項信號的檢測和識別任務(wù)，根據(jù)不同的任務(wù)要求，利用不同的信號特征，執(zhí)行多模態(tài)融合算法，提取數(shù)據(jù)中的關(guān)鍵信息，更準(zhǔn)確的識別用戶的操作意圖，生成準(zhǔn)確率高的相應(yīng)指令進(jìn)行人機(jī)交互識別，并通過人體生物電信號和語音信號的并行檢測，能夠防止用戶誤操作的準(zhǔn)確率損失，提高虛擬環(huán)境中人機(jī)交互的準(zhǔn)確率，以及通過對語音信號匹配解碼，能夠增加語音識別的準(zhǔn)確率。