本發明涉及信息交互，特別是涉及一種情感交互方法、一種情感交互裝置、一種電子設備和一種計算機可讀存儲介質。

背景技術：

1、隨著人工智能技術的發展，人機交互的場景也越來越豐富，同時也逐漸向更加自然、人性化的方向演進。情感交互作為人機交互的高級形態，為用戶提供更加貼心、個性化的服務，然而，相關技術中的人機情感交互技術更多的應用于特定的場景，如智能客服、虛擬助手等，針對智能中控屏上的應用尚不成熟。

技術實現思路

1、鑒于上述問題，提出了本發明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種情感交互方法、一種情感交互裝置、一種電子設備和一種計算機可讀存儲介質。

2、為了解決上述問題，本發明實施例公開了一種情感交互方法，所述方法應用于中控屏，所述方法包括：

3、確定用戶的面部特征、語音特征和生理特征；

4、對所述面部特征、所述語音特征和所述生理特征進行特征分類，得到分類后的多個情感特征；

5、確定與所述多個情感特征分別對應的特征向量和情感預測結果；

6、根據所述與所述多個情感特征分別對應的特征向量和情感預測結果，確定目標情感；

7、根據所述目標情感進行對應的交互。

8、可選地，所述根據所述與所述多個情感特征分別對應的特征向量和情感預測結果，確定目標情感，包括：

9、對所述與所述多個情感特征分別對應的特征向量進行合并，得到目標情感特征向量；

10、對所述與所述多個情感特征分別對應的情感預測結果進行融合，得到情感融合預測結果；

11、根據所述目標情感特征向量和所述情感融合預測結果進行預測，得到目標情感。

12、可選地，所述確定與所述多個情感特征分別對應的特征向量和情感預測結果，包括：

13、確定與所述多個情感特征分別對應的特征向量；

14、分別對所述特征向量進行預測，得到與所述多個情感特征分別對應的情感預測結果。

15、可選地，所述中控屏與智能家居設備連接；所述根據所述目標情感進行對應的交互，包括：

16、根據所述目標情感，確定與所述目標情感對應的控制指令；

17、根據所述控制指令對所述智能家居設備進行控制。

18、可選地，所述根據所述目標情感進行對應的交互，包括：

19、根據所述目標情感，確定與所述目標情感對應的互動語音和推薦內容，向所述用戶輸出所述互動語音和所述推薦內容；所述推薦內容為控制所述用戶的情感的方式，以及控制所述用戶的生理健康的方式。

20、可選地，所述中控屏設有攝像頭和麥克風；所述中控屏與穿戴設備連接；所述確定用戶的面部特征、語音特征和生理特征，包括：

21、通過所述攝像頭獲取用戶的面部表情，并通過所述面部表情，確定所述用戶的面部特征；

22、通過所述麥克風獲取所述用戶的語音信息，并通過所述語音信息，確定所述用戶的語音特征；

23、獲取所述穿戴設備發送的所述用戶的生理信號，并通過所述生理信號，確定所述用戶的生理特征。

24、可選地，所述過所述面部表情，確定所述用戶的面部特征，包括：

25、采用卷積神經網絡對所述面部表情進行特征提取，得到所述用戶的面部特征。

26、可選地，所述通過所述語音信息，確定所述用戶的語音特征，包括：

27、采用預設語音特征提取模型對所述語音信息進行特征提取，得到所述用戶的語音特征；所述預設語音特征提取模型，通過梅爾頻率倒譜系數算法對樣本語音信息進行特征提取得到樣本語音特征，通過所述樣本語音特征對預訓練模型進行訓練，得到所述預設語音特征提取模型。

28、可選地，所述通過所述生理信號，確定所述用戶的生理特征，包括：

29、對所述生理信號進行預處理，得到預處理后的生理信號；

30、對所述預處理后的生理信號進行歸一化處理，得到歸一化處理后的生理信號；

31、對所述歸一化處理后的生理信號進行特征提取，得到所述用戶的生理特征。

32、本發明實施例還提供了一種情感交互裝置，所述裝置應用于中控屏，所述裝置包括：

33、第一確定模塊，用于確定用戶的面部特征、語音特征和生理特征；

34、分類模塊，用于對所述面部特征、所述語音特征和所述生理特征進行特征分類，得到分類后的多個情感特征；

35、第二確定模塊，用于確定與所述多個情感特征分別對應的特征向量和情感預測結果；

36、第三確定模塊，用于根據所述與所述多個情感特征分別對應的特征向量和情感預測結果，確定目標情感；

37、交互模塊，用于根據所述目標情感進行對應的交互。

38、可選地，所述第三確定模塊，包括：

39、合并子模塊，用于對所述與所述多個情感特征分別對應的特征向量進行合并，得到目標情感特征向量；

40、融合子模塊，用于對所述與所述多個情感特征分別對應的情感預測結果進行融合，得到情感融合預測結果；

41、第一預測子模塊，用于根據所述目標情感特征向量和所述情感融合預測結果進行預測，得到目標情感。

42、可選地，所述第二確定模塊，包括：

43、第一確定子模塊，用于確定與所述多個情感特征分別對應的特征向量；

44、第二預測子模塊，用于分別對所述特征向量進行預測，得到與所述多個情感特征分別對應的情感預測結果。

45、可選地，所述中控屏與智能家居設備連接；所述交互模塊，包括：

46、第二確定子模塊，用于根據所述目標情感，確定與所述目標情感對應的控制指令；

47、控制子模塊，用于根據所述控制指令對所述智能家居設備進行控制。

48、可選地，所述交互模塊，包括：

49、輸出子模塊，用于根據所述目標情感，確定與所述目標情感對應的互動語音和推薦內容，向所述用戶輸出所述互動語音和所述推薦內容；所述推薦內容為控制所述用戶的情感的方式，以及控制所述用戶的生理健康的方式。

50、可選地，所述中控屏設有攝像頭和麥克風；所述中控屏與穿戴設備連接；所述第一確定模塊，包括：

51、第一獲取子模塊，用于通過所述攝像頭獲取用戶的面部表情，并通過所述面部表情，確定所述用戶的面部特征；

52、第二獲取子模塊，用于通過所述麥克風獲取所述用戶的語音信息，并通過所述語音信息，確定所述用戶的語音特征；

53、第三獲取子模塊，用于獲取所述穿戴設備發送的所述用戶的生理信號，并通過所述生理信號，確定所述用戶的生理特征。

54、可選地，所述第一獲取子模塊，包括：

55、第一提取單元，用于采用卷積神經網絡對所述面部表情進行特征提取，得到所述用戶的面部特征。

56、可選地，所述第二獲取子模塊，包括：

57、第二提取單元，用于采用預設語音特征提取模型對所述語音信息進行特征提取，得到所述用戶的語音特征；所述預設語音特征提取模型，通過梅爾頻率倒譜系數算法對樣本語音信息進行特征提取得到樣本語音特征，通過所述樣本語音特征對預訓練模型進行訓練，得到所述預設語音特征提取模型。

58、可選地，所述第三獲取子模塊，包括：

59、預處理單元，用于對所述生理信號進行預處理，得到預處理后的生理信號；

60、歸一化單元，用于對所述預處理后的生理信號進行歸一化處理，得到歸一化處理后的生理信號；

61、第三提取單元，用于對所述歸一化處理后的生理信號進行特征提取，得到所述用戶的生理特征。

62、本發明還公開了一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上述的情感交互方法的步驟。

63、本發明還公開了一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序被處理器執行時實現如上述的情感交互方法的步驟。

64、本發明實施例包括以下優點：

65、本發明實施例中，中控屏先確定用戶的面部特征、語音特征和生理特征，再對面部特征、語音特征和生理特征進行特征分類，得到分類后的多個情感特征，然后確定與多個情感特征分別對應的特征向量和情感預測結果，最后根據與多個情感特征分別對應的特征向量和情感預測結果，確定目標情感，并根據目標情感進行對應互動，從而中控屏可以和用戶進行情感交互，滿足用戶的需求，而且中控屏根據與多個情感特征分別對應的特征向量和情感預測結果確定目標情感，提高了目標情感的準確率，進一步的使交互更加精準，增加用戶的使用體驗。