本發明涉及人機環境交互，具體而言，涉及一種基于神經解碼與具身智能的機械臂控制方法。

背景技術：

1、隨著技術的發展，人-機-環境交互逐漸成為了人工智能、機器人等領域的研究熱點，在智能家居、康復醫療、虛擬現實、智慧工業等場景都具有巨大價值。人-機-環境交互是指人類、機械系統和環境之間相互作用的過程。在這種交互中，環境提供了交互活動發生的場所和背景，人類通過各種輸入輸出設備，如鍵盤鼠標、觸摸屏、語音識別器、肌電信號傳感器等，與機械系統進行信息交換，并控制機械系統與環境產生物理交互。通過人-機-環境交互，能夠提高人類與機械系統之間的協作效率，使任務完成更加快速和高效。

2、人-機-環境交互主要包含人機交互，機器與物體交互兩部分。目前的人機交互主要通過視覺、語音等媒介實現，這些方式對于場景有一定的要求，制約了其進一步的發展。隨著消費者對于自然交互的需求的提升，神經解碼技術逐漸成為一項廣受關注的人機交互技術。神經解碼是指對人類活動過程中的神經信號，包括腦電信號，肌電信號等進行分析，獲取其運動意圖的方式。與其他交互方式相比，神經解碼更加隱蔽自然，受環境約束更少，具有重大研究和應用價值。

3、作為一種常見的機器與環境的交互媒介，機械臂在工業、醫療、軍事等領域都有大量應用。在這些應用中，機械臂需要與周圍的環境、其他機器設備進行交互，以精準高效的完成各種任務。目前的交互模式主要是通過運動學、動力學對機械臂建模，控制其按照程序設定好的運動軌跡進行運動。例如中國科學院深圳先進技術研究院的鄭勝杰等人，使用腦機接口技術確定人體意圖，將控制指令發送到預先設定的程序中控制機器運動。然而，這種方式需要人體神經系統實時進行自我調節信息來調整機器狀態，增加了用戶的精力損耗，也影響了交互體驗和效率。隨著具身智能相關理論的發展，以數據驅動的方式規劃機械臂運動策略逐漸受到關注，尤其是隨著近些年大模型的發展，可以將機械臂周圍環境信息輸入給大模型來規劃運動策略，能夠大大降低人機交互中用戶耗費的精力，具有很強的自主性。

技術實現思路

1、本發明要解決的技術問題是，提供一種基于神經解碼與具身智能的機械臂控制方法，能夠提升控制指令分析結果的準確率以及機械臂運動平滑性/柔順性，提升用戶體驗。

2、本發明提供一種基于神經解碼與具身智能的機械臂控制方法，包括以下步驟：

3、s1、采集用戶肢體的肌電信號，并對肌電信號進行濾波處理；

4、s2、計算肌電信號的不同通道間的時域特征并重構不同通道間的頻域特征；

5、s3、將時域特征以及頻域特征通過神經網絡進行特征融合處理并分析，獲得用戶意圖；

6、s4、通過傳感器采集機械臂所處的環境信息；

7、s5、通過具身大模型根據環境信息以及用戶意圖規劃機械臂的運動軌跡。

8、與現有技術相比，采用上述技術方案能夠將時域特征與頻域特征結合獲取用戶意圖，能夠提升機械臂控制的準確率，且通過具身大模型規劃機械臂的運動軌跡，能夠顯著提升用戶體驗。

9、在一種可能的實施方式中，步驟s1包括以下步驟：

10、s11、通過多通道電極采集用戶肢體的肌電信號；

11、s12、對肌電信號依次進行陷波濾波處理、帶通濾波處理以及分割處理。

12、與現有技術相比，采用上述技術方案的陷波濾波能夠有效消除肌電信號采集過程中由于工頻干擾帶來的噪聲；通過帶通濾波，能夠減少采集過程中由于運動偽影帶來的噪聲，并且消除對分析用戶意圖幫助不大的頻域分量；通過分割處理可以減少在實際場景下的延時。

13、在一種可能的實施方式中，步驟s12中的分割處理具體包括以下步驟：

14、s121、將肌電信號每間隔150ms分割為一段。

15、與現有技術相比，采用上述技術方案能夠有效減少在實際場景下的延時。

16、在一種可能的實施方式中，步驟s2具體包括以下步驟：

17、s21、將不同通道的肌電信號兩兩組合，并通過下式計算組合后每兩個通道間的肌電信號的時域特征：

18、

19、其中，n表示肌電信號長度，xi和yi分別表示參與組合的兩個通道的信號段的第i個值；

20、s22、對不同通道間的肌電信號經過下式計算獲得不同通道間的頻譜圖：

21、

22、其中，w表示肌電信號的頻率值，f(t)表示時域信號，t表示時間。

23、s23、對不同通道間的頻譜圖進行排列，獲得頻譜重構圖。

24、與現有技術相比，采用上述技術方案能夠便于后續過程中結合時域特征和頻域特征，提高人體活動過程中肌肉協同的表征能力，從而提升準確率。

25、在一種可能的實施方式中，步驟s3具體包括以下步驟：

26、s31、構建特征融合網絡，特征融合網絡包括頻域特征提取模塊、時域特征提取模塊、第一全連接層以及第二全連接層；

27、s32、將頻譜重構圖經過頻域特征提取模塊依次進行卷積以及歸一化處理后輸出，將時域特征經過時域特征提取模塊進行歸一化處理后輸出；

28、s33、將頻域特征提取模塊以及時域特征提取模塊的輸出結果依次經過第一全連接層以及第二全連接層進行分析處理，獲得用戶意圖。

29、與現有技術相比，采用上述技術方案能夠通過神經網絡將時域特征和頻域特征進行特征融合，提高人體活動過程中肌肉協同的表征能力，從而獲得的用戶意圖更準確。

30、在一種可能的實施方式中，步驟s4中通過多角度的相機采集環境信息。

31、與現有技術相比，采用上述技術方案能夠有效采集周邊的環境信息。

32、在一種可能的實施方式中，步驟s5具體包括以下步驟：

33、s51、構造具身大模型；

34、s52、通過具身大模型根據環境信息以及用戶意圖規劃機械臂的運動軌跡。

35、與現有技術相比，采用上述技術方案能夠利用具身大模型規劃機械臂的運動軌跡，效率更高，能夠顯著提升用戶體驗。

技術特征：

1.一種基于神經解碼與具身智能的機械臂控制方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的基于神經解碼與具身智能的機械臂控制方法，其特征在于，步驟s1包括以下步驟：

3.根據權利要求2所述的基于神經解碼與具身智能的機械臂控制方法，其特征在于，步驟s12中的所述分割處理具體包括以下步驟：

4.根據權利要求3所述的基于神經解碼與具身智能的機械臂控制方法，其特征在于，步驟s2具體包括以下步驟：

5.根據權利要求4所述的基于神經解碼與具身智能的機械臂控制方法，其特征在于，步驟s3具體包括以下步驟：

6.根據權利要求5所述的基于神經解碼與具身智能的機械臂控制方法，其特征在于，步驟s4中通過多角度的相機采集所述環境信息。

7.根據權利要求6所述的基于神經解碼與具身智能的機械臂控制方法，其特征在于，步驟s5具體包括以下步驟：

技術總結
本發明提供一種基于神經解碼與具身智能的機械臂控制方法，包括以下步驟：采集用戶肢體的肌電信號，并對肌電信號進行濾波處理；計算肌電信號的不同通道間的時域特征并重構不同通道間的頻域特征；將時域特征以及頻域特征通過神經網絡進行特征融合處理并分析，獲得用戶意圖；通過傳感器采集機械臂所處的環境信息；通過具身大模型根據環境信息以及用戶意圖規劃機械臂的運動軌跡；本方案能夠提升控制指令分析結果的準確率，提升機械臂運動平滑性/柔順性，提升用戶體驗。

技術研發人員：滑少揚,金鑫
受保護的技術使用者：寧波市東方理工高等研究院
技術研發日：
技術公布日：2025/4/24