本發明涉及智能機器人，特別是涉及一種支持多模態交互的機器人操作系統及操作方法。

背景技術：

1、目前，機器人在理解用戶的行為、意圖和情感方面能力有限，無法準確捕捉用戶交流中的細微線索，在長期與用戶的交互中，缺乏成長性，難以真正理解用戶的需求，無法提供智能化和定制化的服務。

技術實現思路

1、基于此，本發明的目的在于提供一種支持多模態交互的機器人操作系統及操作方法，旨在能夠從用戶的個體特征出發，更好地理解用戶的需求并作出響應。

2、第一方面，本申請提供了一種支持多模態交互的機器人操作系統，包括：

3、數據接收模塊、目標對象識別模塊、分析決策模塊和響應模塊；

4、數據接收模塊用于對獲取到的多模態異構數據進行預處理，得到感官數據；其中，多模態異構數據包括視覺數據、聽覺數據、觸覺數據和語義數據中的至少一項；

5、目標對象識別模塊用于根據感官數據對目標對象建立對應的用戶畫像；

6、分析決策模塊用于根據用戶畫像進行偏好分析，并基于深度學習模型得出響應策略；

7、響應模塊用于基于響應策略發出操作指令。

8、在其中一個實施例中，目標對象識別模塊包括多模態數據融合單元、用戶畫像單元和用戶分類單元；

9、多模態數據融合單元用于基于多模態數據融合模型提取感官數據的特征，特征包括年齡、性別、語言習慣、知識水平、是否殘障中的至少一項；

10、用戶畫像單元用于根據來源自同一個用戶的感官數據建立用戶畫像，并根據聲紋特征作為索引，存儲與管理用戶畫像；

11、用戶分類單元用于根據用戶畫像進行群體特征分類，用于訓練深度學習模型。

12、在其中一個實施例中，分析決策模塊包括輸入子模塊和輸出子模塊：

13、輸入子模塊用于獲取用戶的歷史行為序列數據，通過注意力機制為每個數據點分配權重并輸入到長短時記憶網絡中，其中，注意力能量的計算公式如下：

14、

15、其中，為所述注意力能量，為所述歷史行為序列數據的時間步數，為注意力向量，為權重矩陣，為偏置向量，為第i個輸入數據，為雙曲正切激活函數；

16、利用注意力轉換公式將注意力能量轉換為注意力權重，其中，注意力轉換公式如下：

17、

18、其中，為所述注意力權重，exp為指數函數，為對全時間步所述注意力能量進行指數運算的總和；

19、將輸入序列與注意力權重相乘得到加權輸入序列，其中，加權輸入序列的計算公式如下：

20、

21、其中，為經過注意力加權后的第t個輸入，為第t個時間步對第i個輸入的注意力權重，為第i個輸入數據；

22、輸出子模塊用于：

23、基于加權輸入序列計算偏好表示，其中，偏好表示的計算公式如下：

24、

25、其中，為全連接層的權重矩陣，為對所述加權輸入序列的總和，為修正線性單元激活函數，為全連接層的偏置向量；

26、基于偏好表示生成響應策略，其中，響應策略的計算公式如下：

27、

28、其中，為所述偏好表示，為全連接層的權重矩陣，為偏置向量，為激活函數。

29、進一步地，響應模塊包括：

30、實時情景感知單元，用于基于感官數據、用戶畫像及操作行為識別當前的交互情景，以制定對應的輸出方式；其中，用戶畫像包括偏好信息和情緒狀態；

31、實時情景感知單元還包括：

32、偏好匹配子單元，用于基于機器學習算法建立偏好信息與輸出方式的映射關系；

33、動態決策子單元，用于在交互過程中對交互情景和情緒狀態進行持續監測并提取特征向量，當預設時段內交互情景和/或情緒狀態的特征向量與前一時刻的特征向量之間的歐氏距離超出預設閾值時，重新制定輸出方式。

34、優選地，系統還包括群體用戶畫像模塊和交互共鳴模塊：

35、群體用戶畫像模塊用于對多個用戶畫像提取代表性特征，并基于代表性特征進行聚類分析，得到多個群體及對應的群體用戶畫像；代表性特征包括自我認同、地域分布、年齡和教育程度中的至少一項；

36、交互共鳴模塊用于對群體用戶畫像進行數據挖掘，得到各個群體的個性化交互策略，個性化交互策略用于指示操作指令。

37、優選地，系統還包括索引模塊、緩存模塊和興趣更新模塊：

38、索引模塊用于對聲紋特征進行哈希運算，得到用于確定存儲位置的哈希值；

39、緩存模塊用于將聲紋特征的哈希值作為鍵，用戶的興趣信息作為值存儲在緩存中，興趣信息為預設時段內訪問次數超過預設閾值的信息；

40、興趣更新模塊用于對興趣信息進行聚類分析并打上對應的興趣標簽，基于興趣標簽使用網絡爬蟲技術定期從選定的信息來源抓取興趣相關信息，興趣相關信息用于更新興趣信息。

41、優選地，響應模塊還包括：主動交互單元和反饋接收單元；

42、主動交互單元用于啟動主動交互程序；

43、反饋接收單元用于發出操作指令后，再次獲取多模態異構數據并基于人工智能計算目標對象的滿意度，若滿意度低于閾值，調用主動交互單元以啟動主動交互程序。

44、第二方面，本申請還提供了一種支持多模態交互的機器人操作方法，包括：

45、獲取多模態異構數據并對多模態異構數據進行預處理，得到感官數據；其中，多模態異構數據包括視覺數據、聽覺數據、觸覺數據和語義數據中的至少一項；

46、根據感官數據對目標對象建立對應的用戶畫像；

47、根據用戶畫像進行偏好分析，并基于深度學習模型得出響應策略；

48、基于響應策略發出操作指令。

49、第三方面，本申請還提供了一種計算機設備，包括存儲器和處理器，存儲器存儲有計算機程序，處理器執行計算機程序時實現如前所述的方法。

50、第四方面，本申請還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，計算機程序被處理器執行時用于實現如前所述的方法。

51、本發明通過集成了數據接收模塊、目標對象識別模塊、分析決策模塊和響應模塊，數據接收模塊對獲取到的多模態異構數據通過預處理轉化為感官數據，多模態異構數據包括視覺數據、聽覺數據、觸覺數據和語義數據中的至少一項，目標對象識別模塊依據這些感官數據為目標對象建立對應的用戶畫像，分析決策模塊利用深度學習模型對用戶畫像進行偏好分析并基于此得出響應策略，響應模塊基于分析決策模塊所確定的響應策略發出操作指令，使得系統能夠迅速且有效地對用戶需求做出響應，提升了系統的響應速度和效率，滿足了用戶復雜多樣的個性化需求。解決了現有技術當中的機器人難以真正理解用戶的需求，無法提供智能化和定制化的服務的問題。

技術特征：

1.一種支持多模態交互的機器人操作系統，其特征在于，所述系統包括：

2.根據權利要求1所述的支持多模態交互的機器人操作系統，其特征在于，

3.根據權利要求2所述的支持多模態交互的機器人操作系統，其特征在于，所述分析決策模塊包括輸入子模塊和輸出子模塊：

4.根據權利要求2所述的支持多模態交互的機器人操作系統，其特征在于，所述響應模塊包括：

5.根據權利要求2所述的支持多模態交互的機器人操作系統，其特征在于，所述系統還包括群體用戶畫像模塊和交互共鳴模塊：

6.根據權利要求2所述的支持多模態交互的機器人操作系統，其特征在于，所述系統還包括索引模塊、緩存模塊和興趣更新模塊：

7.根據權利要求1所述的支持多模態交互的機器人操作系統，其特征在于，所述響應模塊還包括：主動交互單元和反饋接收單元；

8.一種支持多模態交互的機器人操作的方法，其特征在于，包括：

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求8所述的方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求8所述的方法。

技術總結
本發明公開了一種支持多模態交互的機器人操作系統及操作方法，涉及智能機器人技術領域，所述系統包括：數據接收模塊、目標對象識別模塊、分析決策模塊和響應模塊；數據接收模塊用于對獲取到的多模態異構數據進行預處理，得到感官數據；其中，多模態異構數據包括視覺數據、聽覺數據、觸覺數據和語義數據中的至少一項；目標對象識別模塊用于根據感官數據對目標對象建立對應的用戶畫像；分析決策模塊用于根據用戶畫像進行偏好分析，并基于深度學習模型得出響應策略；響應模塊用于基于響應策略發出操作指令。本發明實現了能夠從用戶的個體特征出發，更好地理解用戶的需求并作出響應。

技術研發人員：謝俊濤,陳敏,吳志剛,譚震偉,盧安淋,曾鑫程,葉錦城,張乃文,嚴蕓曦
受保護的技術使用者：江西理工大學南昌校區
技術研發日：
技術公布日：2025/4/24