本發(fā)明涉及人機交互，具體涉及一種基于深度學習的人機交互優(yōu)化系統(tǒng)及方法。

背景技術(shù)：

1、基于深度學習的人機交互優(yōu)化指的是利用深度學習算法來提升人類與計算機系統(tǒng)之間的交互質(zhì)量和效率。傳統(tǒng)的人機交互主要依賴于規(guī)則和手工設(shè)計的系統(tǒng)，而基于深度學習的優(yōu)化方法通過分析和理解用戶行為、語言、動作等輸入數(shù)據(jù)，自動學習出更加智能化的交互方式。例如，通過深度神經(jīng)網(wǎng)絡(luò)(dnn)或卷積神經(jīng)網(wǎng)絡(luò)(cnn)等模型對用戶的語音、手勢、表情等進行實時識別和預(yù)測，從而實現(xiàn)更加自然和個性化的互動體驗。通過不斷地對用戶輸入進行學習和適應(yīng)，深度學習能夠優(yōu)化交互界面、提高系統(tǒng)響應(yīng)的精確度與速度，并根據(jù)用戶的需求和偏好動態(tài)調(diào)整交互模式，達到更高效、更智能的人機互動。

2、現(xiàn)有技術(shù)存在以下不足：

3、現(xiàn)有技術(shù)在用戶手勢識別中通常通過攝像頭以固定幀率獲取手勢變化信息。攝像頭按照一定幀率捕捉手部圖像，并實時將圖像數(shù)據(jù)傳輸至計算機或處理系統(tǒng)。每一幀圖像記錄了手部的狀態(tài)或動作信息，系統(tǒng)根據(jù)這些連續(xù)圖像幀來分析手勢的變化。然而，固定幀率意味著攝像頭每秒鐘只能捕捉有限數(shù)量的圖像幀。如果用戶的手勢在短時間內(nèi)發(fā)生快速變化，低幀率攝像頭可能無法捕捉到足夠的細節(jié)，從而產(chǎn)生嚴重后果。在手勢變化非常快速時，低幀率攝像頭可能無法捕捉到所有關(guān)鍵的動作細節(jié)。例如，用戶快速揮手或做出復(fù)雜手勢時，較長的幀間時間可能導(dǎo)致部分重要動態(tài)被遺漏。這不僅會導(dǎo)致手勢識別的不完整，還可能使系統(tǒng)無法精確識別快速動作中的細節(jié)變化，尤其是在手勢的起始、結(jié)束或轉(zhuǎn)折點。結(jié)果，這種識別的不準確性可能導(dǎo)致錯誤分類，系統(tǒng)誤解用戶的意圖，進而產(chǎn)生錯誤的交互響應(yīng)，影響用戶體驗。

4、在所述背景技術(shù)部分公開的上述信息僅用于加強對本公開的背景的理解，因此它可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于深度學習的人機交互優(yōu)化系統(tǒng)及方法，通過引入基于深度學習的智能評估機制，實現(xiàn)對用戶手勢快速變化的精確識別。當手勢變化迅速時，系統(tǒng)實時分析手部關(guān)鍵點的跳躍性變化和動作交替頻率，生成關(guān)鍵因子并評估手勢模式。基于評估結(jié)果，系統(tǒng)動態(tài)調(diào)整攝像頭的幀率，捕捉更多動態(tài)細節(jié)，避免幀率不足導(dǎo)致的識別錯誤或延遲。這一機制提高了手勢識別的準確性和交互響應(yīng)的實時性，為用戶提供更流暢、精準的體驗，優(yōu)化了整體用戶交互感知，以解決上述背景技術(shù)中的問題。

2、為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于深度學習的人機交互優(yōu)化方法，包括以下步驟：

3、首先攝像頭按照預(yù)先設(shè)定的幀率捕捉用戶的手部圖像；

4、捕捉到的手部圖像幀被存儲并組織成一個分析集合，從分析集合中提取出反映手勢快速變化的關(guān)鍵特征；

5、在檢測窗口內(nèi)對提取的關(guān)鍵特征進行詳細分析，并將經(jīng)過分析處理后的關(guān)鍵特征輸入到預(yù)先訓練好的機器學習模型中，通過機器學習模型對用戶手勢異常變化進行智能化評估；

6、基于模型的評估結(jié)果，將用戶的手勢變化劃分為正常手勢變化和快速手勢變化兩類；

7、對于正常手勢變化，繼續(xù)以預(yù)設(shè)的固定幀率捕捉手部圖像，并利用手勢識別算法進行動作和意圖的識別；

8、對于快速手勢變化，根據(jù)機器學習模型的評估結(jié)果，動態(tài)調(diào)整攝像頭的幀率，減少幀間時間間隔，捕捉到更多的動態(tài)細節(jié)。

9、優(yōu)選的，從分析集合中提取出反映手勢快速變化的關(guān)鍵特征，提取的關(guān)鍵特征包括手部關(guān)鍵點的跳躍性變化和手勢中動作的交替頻率，在檢測窗口下，對提取的手部關(guān)鍵點的跳躍性變化和手勢中動作的交替頻率進行分析，分別生成關(guān)鍵點跳躍因子和交替頻率因子，關(guān)鍵點跳躍因子量化了手部關(guān)鍵點在相鄰幀之間位置變化的劇烈程度，反映了手勢運動過程中空間位置的突變性和不連續(xù)性；交替頻率因子量化了手勢中動作的頻繁切換，反映了手勢動態(tài)模式中的交替變化強度。

10、優(yōu)選的，獲取到對提取的關(guān)鍵特征進行分析后生成的關(guān)鍵點跳躍因子和交替頻率因子后，將關(guān)鍵點跳躍因子和交替頻率因子輸入至預(yù)先學習好的機器學習模型中，通過機器學習模型生成手勢變化系數(shù)，通過手勢變化系數(shù)對用戶手勢異常變化進行智能化評估。

11、優(yōu)選的，將對提取的關(guān)鍵特征進行分析后生成的手勢變化系數(shù)與預(yù)先設(shè)定的手勢變化系數(shù)參考閾值進行比對分析，對用戶手勢變化進行劃分，劃分步驟如下：

12、若手勢變化系數(shù)大于等于預(yù)先設(shè)定的手勢變化系數(shù)參考閾值，則將用戶手勢變化劃分為快速手勢變化；

13、若手勢變化系數(shù)小于預(yù)先設(shè)定的手勢變化系數(shù)參考閾值，則將用戶手勢變化劃分為正常手勢變化。

14、優(yōu)選的，對于快速手勢變化，根據(jù)機器學習模型的評估結(jié)果，基于粒子群優(yōu)化，動態(tài)調(diào)整攝像頭的幀率，減少幀間時間間隔，捕捉到更多的動態(tài)細節(jié)的具體步驟如下：

15、檢測到手勢處于快速變化狀態(tài)時，啟動粒子群優(yōu)化算法，初始化粒子的幀率增量，初始化粒子的幀率增量不僅依賴于手勢變化系數(shù)gvc，還綜合了歷史手勢變化系數(shù)gvc值，以更精確地進行后續(xù)幀率調(diào)整，初始化的幀率增量公式如下：

16、δfpsb(t)＝(gvc(t)-gvcref)+θ·gvc(t-1)

17、，式中，δfpsb(t)是第b個粒子在時間點t時刻的幀率增量，gvc(t)是當前手勢變化系數(shù)，θ是歷史權(quán)重因子，反映了歷史變化的影響，gvcref是手勢變化系數(shù)參考閾值，gvc(t-1)是前一時刻的手勢變化系數(shù)；

18、粒子群優(yōu)化算法根據(jù)幀率增量δfpsb(t)的變化，優(yōu)化出每個粒子的最優(yōu)幀率增量，計算表達式如下：

19、δfpsopt(t)＝|gvc(t)-gvcref|+τ·|δfpsb(t)-δfpsb(t-1)|

20、式中，δfpsopt(t)是最優(yōu)幀率增量，τ是懲罰系數(shù)，δfpsb(t-1)是前一時刻的幀率增量，即第b個粒子在時間點t-1時刻的幀率增量；

21、得到最優(yōu)的幀率增量δfpsopt(t)后，將最優(yōu)的幀率增量δfpsopt(t)與初始預(yù)設(shè)幀率進行組合，用以動態(tài)調(diào)整攝像頭的幀率，優(yōu)化后的攝像頭幀率計算表達式如下：

22、

23、式中，fpsnew(t)是優(yōu)化后的攝像頭幀率，fps0是預(yù)設(shè)的攝像頭幀率，δ是歷史平滑因子，控制歷史幀率變化對當前幀率調(diào)整的影響程度，b是粒子總數(shù)量。

24、優(yōu)選的，在檢測窗口下，對手部關(guān)鍵點的跳躍性變化進行分析，生成關(guān)鍵點跳躍因子的具體步驟如下：

25、在檢測窗口下，對于每一幀，使用手部追蹤算法提取關(guān)鍵點的空間坐標數(shù)據(jù)，并將其標定為pi(t)，表示第i個關(guān)鍵點在時間點t時刻的坐標位置，pi(t)＝{xi(t)、yi(t)、zi(t)}，xi(t)、yi(t)、zi(t)分別是第i個關(guān)鍵點在時間點t時刻x軸、y軸以及z軸上的位置；

26、計算每一對連續(xù)幀之間的關(guān)鍵點位置變化，即第i個關(guān)鍵點在相鄰兩幀之間的位移，表達式如下：

27、

28、式中，δt是時間間隔，δpi(t)是關(guān)鍵點位置的變化量，即第i個關(guān)鍵點在時間間隔δt內(nèi)的空間變化，xi(t+δt)是第i個關(guān)鍵點在時間點t+δt時刻x軸的位置，yi(t+δt)是第i個關(guān)鍵點在時間點t+δt時刻y軸的位置，zi(t+δt)是第i個關(guān)鍵點在時間點t+δt時刻z軸的位置；

29、為量化每個手部關(guān)鍵點的變化突變程度，引入非線性加權(quán)的方式來定義局部關(guān)鍵點跳躍因子，計算表達式如下：

30、ji(t)＝(δpi(t))α·e-β·δt

31、式中，ji(t)是局部關(guān)鍵點跳躍因子，α是非線性加權(quán)指數(shù)，e-β·δt是時間衰減因子，e是自然底數(shù)，β是時間衰減常數(shù)；

32、對所有局部關(guān)鍵點的跳躍因子ji(t)進行綜合，得到最終的關(guān)鍵點跳躍因子，計算表達式如下：

33、

34、式中，j(t)是關(guān)鍵點跳躍因子，wi是第i個關(guān)鍵點權(quán)重，n是關(guān)鍵點總數(shù)。

35、優(yōu)選的，在檢測窗口下，對手勢中動作的交替頻率進行分析，生成交替頻率因子的具體步驟如下：

36、在檢測窗口下，將捕捉到的連續(xù)手勢圖像幀劃分為多個小段，每段表示一個手勢動作的持續(xù)時間，根據(jù)連續(xù)幀之間手部關(guān)鍵點位置的變化情況，劃分每一段動作，表達式如下：

37、

38、式中，a(t)是手勢動作變化量，表示在時間點t時刻的手勢動作的變化量，pi(t)是第i個關(guān)鍵點在時間點t時刻的坐標位置，pi(t-1)是第i個關(guān)鍵點在時間點t-1時刻的坐標位置，n是關(guān)鍵點總數(shù)；

39、當每一段的動作被劃分完成，然后計算每個動作段之間的交替頻率，交替頻率衡量了在單位時間內(nèi)手勢動作切換的速率，反映了手勢的動態(tài)變化，計算表達式如下：

40、

41、式中，ω(t)是交替頻率，actionj(t)是在時間點t時刻第j個動作段的特征值，actionj(t-1)是在時間點t-1時刻第j個動作段的特征值，δt是時間間隔；

42、為考慮不同動作段的影響力，交替頻率需要對不同動作段的強度進行加權(quán)調(diào)整，基于每個動作段的復(fù)雜性和動作強度，使用權(quán)重來調(diào)整交替頻率的計算，加權(quán)調(diào)整后的交替頻率的計算表達式如下：

43、

44、式中，是加權(quán)后的交替頻率，wj是第j個動作段的復(fù)雜度權(quán)重，ωj(t)是第j個動作段的交替頻率；

45、最后，所有加權(quán)后的交替頻率通過非線性調(diào)整函數(shù)進行進一步處理，生成最終的交替頻率因子，計算表達式如下：

46、

47、式中，γ(t)是交替頻率因子，是第j個動作段加權(quán)后的交替頻率，λj是第j個動作段的加權(quán)因子。

48、一種基于深度學習的人機交互優(yōu)化系統(tǒng)，包括手勢圖像捕捉模塊、圖像數(shù)據(jù)存儲與分析集合構(gòu)建模塊、特征提取與分析模塊、智能評估與分類模塊、正常手勢識別模塊以及動態(tài)幀率調(diào)整模塊：

49、手勢圖像捕捉模塊，首先攝像頭按照預(yù)先設(shè)定的幀率捕捉用戶的手部圖像；

50、圖像數(shù)據(jù)存儲與分析集合構(gòu)建模塊，捕捉到的手部圖像幀被存儲并組織成一個分析集合，從分析集合中提取出反映手勢快速變化的關(guān)鍵特征；

51、特征提取與分析模塊，在檢測窗口內(nèi)對提取的關(guān)鍵特征進行詳細分析，并將經(jīng)過分析處理后的關(guān)鍵特征輸入到預(yù)先訓練好的機器學習模型中，通過機器學習模型對用戶手勢異常變化進行智能化評估；

52、智能評估與分類模塊，基于模型的評估結(jié)果，將用戶的手勢變化劃分為正常手勢變化和快速手勢變化兩類；

53、正常手勢識別模塊，對于正常手勢變化，繼續(xù)以預(yù)設(shè)的固定幀率捕捉手部圖像，并利用手勢識別算法進行動作和意圖的識別；

54、動態(tài)幀率調(diào)整模塊，對于快速手勢變化，根據(jù)機器學習模型的評估結(jié)果，動態(tài)調(diào)整攝像頭的幀率，減少幀間時間間隔，捕捉到更多的動態(tài)細節(jié)。

55、在上述技術(shù)方案中，本發(fā)明提供的技術(shù)效果和優(yōu)點：

56、本發(fā)明通過引入基于深度學習的智能評估機制，可以精確地識別用戶手勢的快速變化。當用戶的手勢在短時間內(nèi)發(fā)生快速變化時，傳統(tǒng)的固定幀率攝像頭可能會錯過關(guān)鍵的動態(tài)細節(jié)，導(dǎo)致手勢識別不完整或錯誤。通過實時分析手部關(guān)鍵點的跳躍性變化和手勢中動作的交替頻率，生成關(guān)鍵點跳躍因子和交替頻率因子后，機器學習模型能夠智能地評估手勢的變化模式。當檢測到用戶手勢發(fā)生快速變化時，系統(tǒng)可以動態(tài)調(diào)整攝像頭的幀率，減少幀間時間間隔，從而捕捉更多的動態(tài)細節(jié)。這種實時、靈敏的調(diào)整保證了系統(tǒng)能夠更加準確地識別快速變化的手勢，避免遺漏或錯誤分類手勢動作，從而提高了手勢識別的準確性。用戶可以得到更為精確和流暢的交互體驗，減少因識別不準而導(dǎo)致的誤操作。

57、本發(fā)明的動態(tài)幀率調(diào)整機制，結(jié)合了手勢變化的實時分析，能夠根據(jù)手勢的變化情況靈活調(diào)整攝像頭的工作方式。在用戶進行快速手勢動作時，系統(tǒng)能夠及時調(diào)整幀率，捕捉到手勢動作的關(guān)鍵細節(jié)，避免了因幀率不足而導(dǎo)致的交互延遲或錯失信息。這一機制確保了交互系統(tǒng)對用戶意圖的實時響應(yīng)，避免了因識別錯誤而導(dǎo)致的系統(tǒng)誤解用戶的行為。進一步地，智能化評估與動態(tài)幀率調(diào)整的結(jié)合，不僅提升了系統(tǒng)對快速手勢的敏感度，也使得系統(tǒng)對不同類型手勢的識別更加自然和流暢。用戶在使用過程中，能夠獲得更加順暢、無延遲的交互體驗，這種精確的反應(yīng)與高度的靈敏性將大大提升用戶滿意度和互動感知，優(yōu)化了整體的用戶體驗。