本發(fā)明涉及智能車載系統(tǒng)，尤其涉及一種動(dòng)態(tài)手勢(shì)識(shí)別方法、識(shí)別系統(tǒng)、識(shí)別設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、單目攝像頭深度學(xué)習(xí)識(shí)別方案主要依賴單目攝像頭采集圖像數(shù)據(jù)，并通過(guò)深度學(xué)習(xí)模型對(duì)這些數(shù)據(jù)進(jìn)行分析和處理，以實(shí)現(xiàn)對(duì)手勢(shì)的識(shí)別。然而，該方案存在一些明顯的問(wèn)題：

2、首先，單幀深度估計(jì)不穩(wěn)定。在單目攝像頭深度學(xué)習(xí)識(shí)別方案中，深度特征的獲取通常是通過(guò)對(duì)單幀圖像進(jìn)行分析和估計(jì)得到的。但是，由于單幀圖像所提供的信息有限，以及環(huán)境因素的影響，單幀深度估計(jì)往往不夠準(zhǔn)確和穩(wěn)定。

3、其次，通用手勢(shì)深度學(xué)習(xí)識(shí)別模型又基于單幀預(yù)估結(jié)果。這意味著模型的性能很大程度上依賴于單幀深度估計(jì)的準(zhǔn)確性。如果單幀深度估計(jì)出現(xiàn)偏差，那么整個(gè)模型的識(shí)別結(jié)果也會(huì)受到影響。而且，由于模型是基于單幀預(yù)估結(jié)果進(jìn)行訓(xùn)練和優(yōu)化的，它可能無(wú)法充分利用時(shí)間序列上的信息，從而導(dǎo)致在處理動(dòng)態(tài)手勢(shì)時(shí)的性能不夠理想。

4、單目攝像頭與深度攝像頭融合方案試圖結(jié)合單目攝像頭和深度攝像頭的優(yōu)勢(shì)，以提高手勢(shì)識(shí)別的準(zhǔn)確性和魯棒性。然而，該方案也存在一些缺點(diǎn)：

5、一方面，單目攝像頭與深度攝像頭融合設(shè)計(jì)難度高。融合兩種不同類型的攝像頭需要解決一系列技術(shù)問(wèn)題，包括攝像頭的校準(zhǔn)、數(shù)據(jù)融合算法的設(shè)計(jì)、系統(tǒng)的同步等。這些問(wèn)題都增加了系統(tǒng)的設(shè)計(jì)難度和復(fù)雜性，需要投入更多的研發(fā)資源和時(shí)間。

6、另一方面，成本顯著增大且提高功耗。使用深度攝像頭通常會(huì)增加系統(tǒng)的成本，因?yàn)樯疃葦z像頭的價(jià)格相對(duì)較高。此外，同時(shí)使用單目攝像頭和深度攝像頭也會(huì)增加系統(tǒng)的功耗，這對(duì)于一些移動(dòng)設(shè)備或者對(duì)功耗要求較高的應(yīng)用場(chǎng)景來(lái)說(shuō)是一個(gè)重要的考慮因素。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的上述問(wèn)題，本發(fā)明提出了一種動(dòng)態(tài)手勢(shì)識(shí)別方法、識(shí)別系統(tǒng)、識(shí)別設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能基于單目攝像頭提升動(dòng)態(tài)手勢(shì)識(shí)別的準(zhǔn)確率。

2、具體地，本發(fā)明提出了一種動(dòng)態(tài)手勢(shì)識(shí)別方法，包括步驟：

3、s1，獲取手部圖像視頻流并基于所述視頻流提取獲取時(shí)序手部特征；

4、s2，對(duì)所述時(shí)序手部特征輸入至動(dòng)態(tài)手勢(shì)識(shí)別模型進(jìn)行處理以生成手勢(shì)類別、類別特征及手勢(shì)類別概率向量，比較所述手勢(shì)類別概率向量與設(shè)定閾值以確定對(duì)應(yīng)的手勢(shì)類別和類別特征；

5、s3，根據(jù)所述手勢(shì)類別及類別特征進(jìn)行判決，確定動(dòng)態(tài)手勢(shì)。

6、根據(jù)本發(fā)明的一個(gè)實(shí)施例，步驟s2包括：

7、s21，判斷所述手部空間特征是否有效，若無(wú)效，進(jìn)入s22，若有效，進(jìn)入s23；

8、s22，手勢(shì)類別設(shè)置為背景，類別特征設(shè)置為無(wú)效值，輸出手勢(shì)類別和類別特征，進(jìn)入s25；

9、s23，將所述手部空間特征輸入動(dòng)態(tài)手勢(shì)識(shí)別模型以生成手勢(shì)類別、類別特征及手勢(shì)類別概率向量；

10、s24，判斷手勢(shì)類別概率向量中的值最大且大于設(shè)定閾值tg，若是，則選取手勢(shì)類別概率向量中的值最大所對(duì)應(yīng)的手勢(shì)類別和類別特征，輸出手勢(shì)類別和類別特征，若否，手勢(shì)類別設(shè)置為背景，類別特征設(shè)置為無(wú)效值，輸出手勢(shì)類別和類別特征；

11、s25，結(jié)束。

12、根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述動(dòng)態(tài)手勢(shì)識(shí)別模型包含lstm模塊、mobilevit模塊和mlp&softmax模塊，lstm模塊用于對(duì)輸入的所述時(shí)序手部特征進(jìn)行特征提取并升維，得到mobilevit模塊用于將輸入的進(jìn)行時(shí)間和空間融合，得到手勢(shì)類別和類別特征mlp&softmax模塊用于于將輸入的手勢(shì)類別和類別特征得到手勢(shì)類別概率向量

13、根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述動(dòng)態(tài)手勢(shì)識(shí)別模型的損失函數(shù)jgesture由ce損失組成，設(shè)在數(shù)據(jù)集m中，第i個(gè)樣本的真實(shí)類別為ci，損失函數(shù)jgesture的計(jì)算公式為：

14、

15、根據(jù)本發(fā)明的一個(gè)實(shí)施例，步驟s3包括：

16、s31，設(shè)置寬度為wg的時(shí)間濾波窗；

17、在時(shí)刻t，令時(shí)間窗口滑動(dòng)后可得到長(zhǎng)度為wg的手勢(shì)類別序列：

18、

19、其中，為或t*in[t-(wg-1),t]；

20、得到時(shí)刻t的手勢(shì)分類特征序列：

21、

22、其中，為或null；

23、s32，判斷手勢(shì)類別數(shù)量所占序列長(zhǎng)度百分比是否小于tvalid，若是，則進(jìn)入s34，若否，進(jìn)入s33；

24、s33，對(duì)手勢(shì)類別種類進(jìn)行數(shù)量排序，求得出現(xiàn)次數(shù)最多的手勢(shì)類別和次多手勢(shì)類別基于手勢(shì)類別進(jìn)行判決；

25、s34，結(jié)束。

26、根據(jù)本發(fā)明的一個(gè)實(shí)施例，步驟s33包括：

27、s331，判斷若是，則進(jìn)入s34，若否則進(jìn)入s332，tmax_g是高置信度類別判斷的設(shè)定閾值；

28、s332，判斷若是則進(jìn)入s334，若否則進(jìn)入s333，tmin_g是低置信度類別判斷的設(shè)定閾值；

29、s333，判斷若是則進(jìn)入s34；

30、s334，基于手勢(shì)類別及對(duì)應(yīng)的手勢(shì)類別特征向量集合對(duì)各自對(duì)應(yīng)類別的特征向量計(jì)算其平均余弦相似度csgestureij，計(jì)算公式為：

31、

32、選取csgestureij中最小值對(duì)應(yīng)的手勢(shì)類別及類別特征作為最終輸出

33、挑選中余弦相似度值最小的特征，對(duì)做指數(shù)加權(quán)更新，

34、進(jìn)入s34。

35、根據(jù)本發(fā)明的一個(gè)實(shí)施例，在步驟s1，提取手部圖像的過(guò)程包括步驟：

36、s11，對(duì)圖像進(jìn)行歸一化處理，統(tǒng)一像素值尺度；

37、s12，將經(jīng)過(guò)歸一化處理的圖像輸入yolo目標(biāo)檢測(cè)模型，其輸出經(jīng)過(guò)non-maximumsuppression算法得到n個(gè)手部邊界框；

38、s13，制定一個(gè)roi區(qū)域，基于所述roi區(qū)域?qū)λ鍪植窟吔缈蜻M(jìn)行目標(biāo)手過(guò)濾；

39、s14，若所述目標(biāo)手存在，則對(duì)過(guò)濾后的手部圖像進(jìn)行裁剪，等比縮放至一個(gè)分辨率并進(jìn)行歸一化處理。

40、本發(fā)明還提供了一種動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)，適用于前述的動(dòng)態(tài)手勢(shì)識(shí)別方法，所述動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)包括：

41、獲取單元，配置為用于獲取手部圖像視頻流并基于所述視頻流提取獲取時(shí)序手部特征；

42、處理單元，配置為用于對(duì)所述時(shí)序手部特征輸入至動(dòng)態(tài)手勢(shì)識(shí)別模型進(jìn)行處理以生成手勢(shì)類別、類別特征及手勢(shì)類別概率向量；

43、比較單元，配置為用于比較所述手勢(shì)類別概率向量與設(shè)定閾值以確定對(duì)應(yīng)的手勢(shì)類別和類別特征；

44、判決單元，配置為用于根據(jù)所述手勢(shì)類別及類別特征進(jìn)行判決，確定動(dòng)態(tài)手勢(shì)。

45、本發(fā)明還提供了一種動(dòng)態(tài)手勢(shì)識(shí)別設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)前述任一項(xiàng)所述動(dòng)態(tài)手勢(shì)識(shí)別方法的步驟。

46、本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述任一項(xiàng)所述動(dòng)態(tài)手勢(shì)識(shí)別方法的步驟。

47、本發(fā)明提供的一種動(dòng)態(tài)手勢(shì)識(shí)別方法、識(shí)別系統(tǒng)、識(shí)別設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，基于單目攝像頭，優(yōu)化現(xiàn)有算法框架，增強(qiáng)算法特征提取能力，進(jìn)而提高系統(tǒng)動(dòng)態(tài)手勢(shì)識(shí)別的準(zhǔn)確率。

48、應(yīng)當(dāng)理解，本發(fā)明以上的一般性描述和以下的詳細(xì)描述都是示例性和說(shuō)明性的，并且旨在為如權(quán)利要求所述的本發(fā)明提供進(jìn)一步的解釋。