本發(fā)明涉及人工智能和智能設(shè)備控制技術(shù)的交叉領(lǐng)域，具體涉及一種基于大語言模型的玩具互動控制方法、裝置、終端及介質(zhì)。

背景技術(shù)：

1、現(xiàn)有玩具的結(jié)構(gòu)和種類有很多，如玩具娃娃等等，但大部分屬于比較簡單的傳統(tǒng)玩具，通常需要用戶根據(jù)玩具預(yù)設(shè)的操作方式進(jìn)行控制，缺少與用戶的智能交互，無法準(zhǔn)確理解用戶通過語言（文字）、語音（情緒）和肢體動作（強(qiáng)度、頻率）等表達(dá)的意圖，整體體驗(yàn)感不夠理想。

2、同時，現(xiàn)有技術(shù)尚未實(shí)現(xiàn)對多模態(tài)信息（如語音、文本、圖像、肢體動作、外部環(huán)境信息）的綜合處理，更缺乏利用深度學(xué)習(xí)模型（如大語言模型）準(zhǔn)確識別用戶意圖并生成相應(yīng)控制指令的方法。此外，在個性化用戶體驗(yàn)、實(shí)時反饋及安全性保障等方面，現(xiàn)有技術(shù)仍存在較大不足，難以滿足用戶對智能化和情感化交互的更高需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在解決現(xiàn)有技術(shù)中玩具缺乏智能交互、用戶意圖識別不準(zhǔn)確以及個性化體驗(yàn)不足的問題，提供一種基于大語言模型的玩具互動控制方法及其相關(guān)裝置、終端和計(jì)算機(jī)可讀介質(zhì)。本發(fā)明通過多模態(tài)信息處理與深度學(xué)習(xí)模型的結(jié)合，實(shí)現(xiàn)玩具與用戶的智能交互，顯著提升用戶體驗(yàn)感。

2、本發(fā)明的第一方面，提供一種基于大語言模型的玩具互動控制方法，包括以下步驟：

3、獲取用戶端信息，所述用戶端信息包括語音、文本、圖像、肢體動作或外部環(huán)境信息中一種或多種；

4、對所述用戶端信息進(jìn)行特征提取，生成特征表示；

5、將所述特征表示輸入大語言模型，識別用戶意圖；

6、根據(jù)識別出的所述用戶意圖生成相應(yīng)的控制指令；

7、將所述控制指令轉(zhuǎn)化為具體的控制信號，發(fā)送至玩具的控制系統(tǒng)，以執(zhí)行相應(yīng)動作。

8、可選地，所述對所述用戶端信息進(jìn)行特征提取，生成特征表示，其中包括：

9、所述用戶端信息為語音、文本、圖像、肢體動作或外部環(huán)境信息中一種時，直接生成單一模態(tài)的特征表示；

10、所述用戶端信息為語音、文本、圖像、肢體動作或外部環(huán)境信息中兩種或兩種以上任意組合時，分別對每種信息進(jìn)行提取特征，并對多模態(tài)特征進(jìn)行融合，生成統(tǒng)一的特征表示。

11、可選地，所述分別對每種信息進(jìn)行提取特征，并對多模態(tài)特征進(jìn)行融合，生成統(tǒng)一的特征表示，包括：

12、對每種信息進(jìn)行特征向量化處理，得到各模態(tài)特征；

13、利用注意力機(jī)制對各模態(tài)特征進(jìn)行對齊處理，以增強(qiáng)特征間的相關(guān)性；

14、通過特征融合網(wǎng)絡(luò)將對齊后的特征融合為統(tǒng)一的特征表示。

15、可選地，所述大語言模型包括以下功能單元中一種或多種：

16、語言理解單元，用于解析和理解所述用戶端信息中的文本語義特征；

17、聲音情緒識別單元，用于分析所述用戶端信息中語音的情感特征；

18、面部表情識別單元，用于分析所述用戶端信息中圖像的面部表情語義特征；

19、動作識別單元，用于理解所述用戶端信息中肢體動作的語義；

20、上下文理解單元，用于結(jié)合歷史交互信息和當(dāng)前對話內(nèi)容，構(gòu)建語義理解框架；

21、當(dāng)包含多種上述功能單元時，所述大語言模型還包括：

22、多模態(tài)語義融合單元，用于融合多種上述功能單元的各語義分析結(jié)果，生成統(tǒng)一的語義理解。

23、可選地，所述用戶意圖還包括情緒狀態(tài)量化特征；對應(yīng)的，生成控制指令的過程包括：

24、基于用戶意圖的識別，提取用戶意圖的行為目標(biāo)；

25、對所述情緒狀態(tài)量化特征進(jìn)行分析，生成用于調(diào)整設(shè)備操作的情緒參數(shù)；

26、結(jié)合所述用戶意圖的行為目標(biāo)、所述情緒參數(shù)和外部環(huán)境信息，生成控制指令。

27、可選地，所述控制指令包括如下一種或多種：

28、動作控制指令，用于調(diào)節(jié)玩具的運(yùn)動方式、強(qiáng)度或頻率中一種或多種，其中運(yùn)動方式的參數(shù)范圍為預(yù)設(shè)的運(yùn)動模式集合；

29、語音控制指令，用于選擇預(yù)設(shè)的語音反饋模板，并根據(jù)所述情緒狀態(tài)量化特征調(diào)整語音參數(shù)；

30、氛圍控制指令，用于調(diào)節(jié)燈光亮度、顏色、閃爍頻率或氛圍音樂中一種或多種，以匹配用戶情緒。

31、可選地，所述的控制方法，還包括：

32、基于預(yù)設(shè)的所述用戶意圖的權(quán)重確定各所述控制指令的優(yōu)先級；

33、協(xié)調(diào)多個所述控制指令的執(zhí)行順序，確保所述控制指令間的協(xié)同與不沖突；

34、采集用戶的實(shí)時反饋數(shù)據(jù)，包括行為反應(yīng)，動態(tài)調(diào)整控制策略以優(yōu)化用戶體驗(yàn)。

35、可選地，所述的控制方法，還包括持續(xù)學(xué)習(xí)模塊，所述持續(xù)學(xué)習(xí)模塊通過以下方式優(yōu)化用戶意圖識別和控制策略：

36、收集用戶交互數(shù)據(jù)和反饋信息；

37、利用深度學(xué)習(xí)算法和強(qiáng)化學(xué)習(xí)算法，動態(tài)更新大語言模型的參數(shù)；

38、自適應(yīng)調(diào)整控制邏輯以滿足用戶的個性化需求。

39、可選地，所述的控制方法，還包括安全模塊，用于：

40、對用戶身份進(jìn)行多因素認(rèn)證和授權(quán)管理，確保只有授權(quán)用戶能控制玩具；

41、對用戶數(shù)據(jù)進(jìn)行端到端加密處理，防止未經(jīng)授權(quán)的訪問和數(shù)據(jù)泄露；

42、實(shí)時監(jiān)控所述控制指令的執(zhí)行過程，檢測并阻止異常指令以保障使用安全。

43、可選地，所述的控制方法，還包括：

44、遠(yuǎn)程更新模塊，所述遠(yuǎn)程更新模塊通過安全的網(wǎng)絡(luò)連接或云端平臺下載并安裝最新的大語言模型參數(shù)或控制邏輯，更新過程采用數(shù)字簽名和驗(yàn)證機(jī)制，確保更新內(nèi)容的真實(shí)性和完整性。

45、本發(fā)明的第二方面，提供一種基于大語言模型的玩具互動控制裝置，包括：

46、信息獲取模塊：獲取用戶端信息，所述用戶端信息包括語音、文本、圖像、肢體動作或外部環(huán)境信息中一種或多種；

47、特征提取模塊：對所述用戶端信息進(jìn)行特征提取，生成特征表示；

48、大語言模型模塊：將所述特征表示輸入大語言模型，識別用戶意圖；

49、指令生成模塊：根據(jù)識別出的所述用戶意圖生成相應(yīng)的控制指令；

50、控制信號生成模塊：將所述控制指令轉(zhuǎn)化為具體的控制信號，發(fā)送至玩具的控制系統(tǒng)，以執(zhí)行相應(yīng)動作。

51、本發(fā)明的第三方面，提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)所述的基于大語言模型的玩具互動控制方法的步驟。

52、本發(fā)明的第四方面，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)所述的基于大語言模型的玩具互動控制方法的步驟。

53、與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例具有如下至少一種有益效果：

54、本發(fā)明實(shí)施例中的基于大語言模型的玩具互動控制方法，可以實(shí)現(xiàn)智能交互：利用大語言模型感知用戶的語音、文本、圖像、肢體動作等多模態(tài)信息，準(zhǔn)確識別用戶的意圖，并生成符合用戶需求的控制指令，實(shí)現(xiàn)了玩具與用戶之間的智能化交互。

55、本發(fā)明實(shí)施例中的基于大語言模型的玩具互動控制方法，可以實(shí)現(xiàn)個性化反饋：結(jié)合用戶的情緒狀態(tài)量化特征和外部環(huán)境信息動態(tài)調(diào)整控制參數(shù)，能夠根據(jù)用戶的實(shí)時需求提供個性化的動作、語音或氛圍反饋，顯著提升用戶體驗(yàn)的沉浸感和真實(shí)感。

56、本發(fā)明實(shí)施例中的基于大語言模型的玩具互動控制方法，具有技術(shù)先進(jìn)性：通過大語言模型和多模態(tài)融合技術(shù)，克服了現(xiàn)有玩具交互方式單一、響應(yīng)不智能的問題，具備更高的交互準(zhǔn)確性和適應(yīng)性。

57、本發(fā)明實(shí)施例中的基于大語言模型的玩具互動控制方法，具有系統(tǒng)安全性：提供了多因素認(rèn)證、數(shù)據(jù)加密和異常指令檢測機(jī)制等安全保障，確保用戶數(shù)據(jù)和設(shè)備控制過程的安全性，進(jìn)一步增強(qiáng)用戶的信任感。