本發明涉及智能車載系統，尤其涉及一種手部空間特征的提取方法、提取系統、提取設備及計算機可讀存儲介質。

背景技術：

1、單目攝像頭深度學習識別方案主要依賴單目攝像頭采集圖像數據，并通過深度學習模型對這些數據進行分析和處理，以實現對手勢的識別。然而，該方案存在一些明顯的問題：

2、首先，單幀深度估計不穩定。在單目攝像頭深度學習識別方案中，深度特征的獲取通常是通過對單幀圖像進行分析和估計得到的。但是，由于單幀圖像所提供的信息有限，以及環境因素的影響，單幀深度估計往往不夠準確和穩定。

3、其次，通用手勢深度學習識別模型又基于單幀預估結果。這意味著模型的性能很大程度上依賴于單幀深度估計的準確性。如果單幀深度估計出現偏差，那么整個模型的識別結果也會受到影響。而且，由于模型是基于單幀預估結果進行訓練和優化的，它可能無法充分利用時間序列上的信息，從而導致在處理動態手勢時的性能不夠理想。

4、單目攝像頭與深度攝像頭融合方案試圖結合單目攝像頭和深度攝像頭的優勢，以提高手勢識別的準確性和魯棒性。然而，該方案也存在一些缺點：

5、一方面，單目攝像頭與深度攝像頭融合設計難度高。融合兩種不同類型的攝像頭需要解決一系列技術問題，包括攝像頭的校準、數據融合算法的設計、系統的同步等。這些問題都增加了系統的設計難度和復雜性，需要投入更多的研發資源和時間。

6、另一方面，成本顯著增大且提高功耗。使用深度攝像頭通常會增加系統的成本，因為深度攝像頭的價格相對較高。此外，同時使用單目攝像頭和深度攝像頭也會增加系統的功耗，這對于一些移動設備或者對功耗要求較高的應用場景來說是一個重要的考慮因素。

技術實現思路

1、針對現有技術的上述問題，本發明提出了一種手部空間特征的提取方法、提取系統、提取設備及計算機可讀存儲介質，能基于單目攝像頭有效提取手部空間特征，進而提升動態手勢識別的準確率。

2、具體地，本發明提出了一種手部空間特征的提取方法，包括步驟：

3、s1，獲取視頻流；

4、s2，基于所述視頻流提取手部圖像；

5、s3，基于所述手部圖像提取手部空間特征，包括：

6、將所述手部圖像輸入3d特征提取模型以提取手部空間特征，所述手部空間特征包括2d特征和深度特征zt。

7、根據本發明的一個實施例，所述3d特征提取模型包含hourglassnet模塊、graphcnn模塊和lffm模塊，hourglassnet模塊用于對輸入的所述手部圖像進行特征提取，獲取所述2d特征graphcnn模塊用于獲取三維手網格頂點，進而得到所述深度特征zt，lffm模塊用于融合hourglassnet模塊和graphcnn模塊，lffm模塊將hourglassnet模塊的輸出進行處理以適配graphcnn模塊的輸入。

8、根據本發明的一個實施例，在hourglassnet模塊中，使用輕量化scab算子替換residual-block算子以降低算力消耗。

9、根據本發明的一個實施例，所述3d特征提取模型的損失函數j3d包括熱力圖損失jstage和深度損失jdepth，所述熱力圖損失jstage由3個stage組成，損失函數j3d的計算公式為：

10、

11、其中，α為熱力圖損失懲罰因子，β為多損失控制因子。

12、根據本發明的一個實施例，在步驟s3將所述手部圖像輸入3d特征提取模型以提取手部空間特征前包括：

13、判斷手部圖像是否有效，若無效，則設置手部空間特征為無效值，輸出所述手部空間特征，若有效，則將所述手部圖像輸入3d特征提取模型以提取手部空間特征。

14、根據本發明的一個實施例，在步驟s3中獲取所述手部空間特征后，設定特征濾波區域，基于空間濾波方法在所述特征濾波區域內進一步提煉特征。

15、根據本發明的一個實施例，以當前預測位置為中心，選取r*r的區域作為所述特征濾波區域，采用高斯濾波器對所述特征濾波區域內進一步提煉特征，二維高斯分布公式為：

16、

17、其中，r＝3，σ＝1.5，(x,y)是圖像坐標系下的位置，μx、μy是當前預測位置。

18、根據本發明的一個實施例，通過3d特征提取模型獲得手部圖像的2d特征和深度特征zt；

19、將2d特征轉換為圖像坐標系下相對坐標2d特征將深度特征zt進行歸一化為深度特征zt_normal。

20、根據本發明的一個實施例，深度特征目標相對于攝像頭的最大距離為zmax，最小距離為zmin。

21、根據本發明的一個實施例，在步驟s2，提取手部圖像的過程包括步驟：

22、s21，對圖像進行歸一化處理，統一像素值尺度；

23、s22，將經過歸一化處理的圖像輸入yolo目標檢測模型，其輸出經過non-maximumsuppression算法得到n個手部邊界框；

24、s23，制定一個roi區域，基于所述roi區域對所述手部邊界框進行目標手過濾；

25、s24，若所述目標手存在，則對過濾后的手部圖像進行裁剪，等比縮放至一個分辨率并進行歸一化處理。

26、本發明還提供了一種手部空間特征的提取系統，適用于前述的手部空間特征的提取方法，所述提取系統包括：

27、獲取單元，配置為用于獲取視頻流；

28、第一提取單元，配置為用于基于所述視頻流提取手部圖像；

29、第二提取單元，配置為用于基于所述手部圖像提取手部空間特征，包括：

30、將所述手部圖像輸入3d特征提取模型以提取手部空間特征，所述手部空間特征包括2d特征和深度特征zt。

31、本發明還提供了一種手部空間特征的提取設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現前述任一項所述手部空間特征的提取方法的步驟。

32、本發明還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如前述任一項所述手部空間特征的提取方法的步驟。

33、本發明提供的一種手部空間特征的提取方法、提取系統、提取設備及計算機可讀存儲介質，基于單目攝像頭，優化現有算法框架，增強算法特征提取能力，有效提取手部空間特征，進而提高系統動態手勢識別的準確率。

34、應當理解，本發明以上的一般性描述和以下的詳細描述都是示例性和說明性的，并且旨在為如權利要求所述的本發明提供進一步的解釋。

技術特征：

1.一種手部空間特征的提取方法，包括步驟：

2.如權利要求1所述的提取方法，其特征在于，所述3d特征提取模型包含hourglassnet模塊、graphcnn模塊和lffm模塊，hourglassnet模塊用于對輸入的所述手部圖像進行特征提取，獲取所述2d特征graphcnn模塊用于獲取三維手網格頂點，進而得到所述深度特征zt，lffm模塊用于融合hourglassnet模塊和graphcnn模塊，lffm模塊將hourglassnet模塊的輸出進行處理以適配graphcnn模塊的輸入。

3.如權利要求2所述的提取方法，其特征在于，在hourglassnet模塊中，使用輕量化scab算子替換residual-block算子以降低算力消耗。

4.如權利要求2所述的提取方法，其特征在于，所述3d特征提取模型的損失函數j3d包括熱力圖損失jstage和深度損失jdepth，所述熱力圖損失jstage由3個stage組成，損失函數j3d的計算公式為：

5.如權利要求1所述的提取方法，其特征在于，在步驟s3將所述手部圖像輸入3d特征提取模型以提取手部空間特征前包括：

6.如權利要求1所述的提取方法，其特征在于，在步驟s3中獲取所述手部空間特征后，設定特征濾波區域，基于空間濾波方法在所述特征濾波區域內進一步提煉特征。

7.如權利要求6所述的提取方法，其特征在于，以當前預測位置為中心，選取r*r的區域作為所述特征濾波區域，采用高斯濾波器對所述特征濾波區域內進一步提煉特征，二維高斯分布公式為：

8.如權利要求1所述的提取方法，其特征在于，通過3d特征提取模型獲得手部圖像的2d特征和深度特征zt；

9.如權利要求8所述的提取方法，其特征在于，深度特征目標相對于攝像頭的最大距離為zmax，最小距離為zmin。

10.如權利要求1所述的提取方法，其特征在于，在步驟s2，提取手部圖像的過程包括步驟：

11.一種手部空間特征的提取系統，適用于權利要求1所述的手部空間特征的提取方法，其特征在于，所述提取系統包括：

12.一種手部空間特征的提取設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1-10中任一項手部空間特征的提取方法的步驟。

13.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-10中任一項所述手部空間特征的提取方法的步驟。

技術總結
本發明涉及一種手部空間特征的提取方法、提取系統、提取設備及計算機可讀存儲介質。該手部空間特征的提取方法包括步驟：S1，獲取視頻流；S2，基于視頻流提取手部圖像；S3，基于手部圖像提取手部空間特征，包括：將手部圖像輸入3D特征提取模型以提取手部空間特征，手部空間特征包括2D特征和深度特征Z<subgt;t</subgt;。本發明能有效提取手部空間特征。

技術研發人員：于立文,王斌,程鵬,李濤,張博
受保護的技術使用者：上海保隆汽車科技股份有限公司
技術研發日：
技術公布日：2025/4/28