本公開(kāi)涉及視頻分析的，具體地涉及用于檢測(cè)視頻中的手的動(dòng)作的裝置、方法和機(jī)器可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、這個(gè)部分提供了與本公開(kāi)有關(guān)的背景信息，這不一定是現(xiàn)有技術(shù)。

2、手動(dòng)作檢測(cè)是計(jì)算機(jī)視覺(jué)的一個(gè)熱門(mén)問(wèn)題，其在人機(jī)交互、虛擬現(xiàn)實(shí)、智能生產(chǎn)與生活等領(lǐng)域有廣泛的應(yīng)用。就用于動(dòng)作檢測(cè)的數(shù)據(jù)來(lái)源而言，常見(jiàn)的特征提取方式包括從單幀圖像中提取rgb特征與手部關(guān)鍵點(diǎn)特征作為空間域特征，以及從連續(xù)多幀圖像中提取光流特征作為時(shí)間域特征。其中，rgb特征具有豐富的紋理信息以及場(chǎng)景上下文感知信息；手部關(guān)鍵點(diǎn)特征具有較強(qiáng)的空間結(jié)構(gòu)約束，可以避免受手部外表、光照、視角等因素的干擾，因此能更直觀地反映手部動(dòng)作；光流特征則以幀間動(dòng)作的形式傳達(dá)相機(jī)與被觀察的手部之間的相對(duì)運(yùn)動(dòng)。

3、由于近年來(lái)深度神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展和進(jìn)步，其被廣泛應(yīng)用于動(dòng)作檢測(cè)領(lǐng)域，這類方法的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。盡管基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行動(dòng)作檢測(cè)可以得到較好的檢測(cè)結(jié)果，但這類方法在實(shí)際使用場(chǎng)景中存在諸多限制。工廠中的生產(chǎn)過(guò)程是手動(dòng)作檢測(cè)技術(shù)常見(jiàn)的應(yīng)用場(chǎng)景之一，通過(guò)對(duì)生產(chǎn)作業(yè)人員手部動(dòng)作進(jìn)行檢測(cè)，可以判斷其動(dòng)作在速度、流程、姿態(tài)等方面是否符合生產(chǎn)要求，從而提升作業(yè)人員的工作效率。眾所周知，基于深度神經(jīng)網(wǎng)絡(luò)的方法在模型訓(xùn)練以前需要定義手動(dòng)作的類別，而不同的工廠用戶關(guān)心的動(dòng)作類別不同，這就導(dǎo)致很難用一種統(tǒng)一的動(dòng)作類別定義方式滿足不同用戶的需求。如果采取為不同用戶各自定義個(gè)性化的動(dòng)作類別，并基于定義的動(dòng)作分別訓(xùn)練模型的方式，會(huì)導(dǎo)致效率低下和計(jì)算資源的浪費(fèi)。此外，受限于用戶的保密要求和數(shù)據(jù)采集條件，在實(shí)際生產(chǎn)場(chǎng)景中很難收集到足夠的數(shù)據(jù)用于深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練。

技術(shù)實(shí)現(xiàn)思路

1、這個(gè)部分提供了本公開(kāi)的一般概要，而不是其全部范圍或其全部特征的全面披露。

2、本公開(kāi)的目的在于提供一種用于解決以上問(wèn)題中的一個(gè)或更多個(gè)的動(dòng)作檢測(cè)裝置、方法和機(jī)器可讀存儲(chǔ)介質(zhì)。

3、根據(jù)本公開(kāi)的一方面，提供了一種用于檢測(cè)視頻中的手的動(dòng)作的裝置，包括：獲取單元，其獲取與視頻中的每幀圖像中的手的三維關(guān)鍵點(diǎn)有關(guān)的信息，與手的三維關(guān)鍵點(diǎn)有關(guān)的信息至少包括手的各個(gè)關(guān)節(jié)點(diǎn)在三維空間中的位置；計(jì)算單元，其基于與手的三維關(guān)鍵點(diǎn)有關(guān)的信息得到每幀圖像的手部狀態(tài)信息，手部狀態(tài)信息至少包括指節(jié)彎曲狀態(tài)；分析單元，其獲得視頻的時(shí)間片段中的手部狀態(tài)信息的變化；以及確定單元，其基于手部狀態(tài)信息的變化和與手的動(dòng)作有關(guān)的規(guī)則來(lái)確定時(shí)間片段中的手進(jìn)行的動(dòng)作。

4、根據(jù)本公開(kāi)的另一方面，提供了一種用于檢測(cè)視頻中的手的動(dòng)作的方法，包括：獲取與視頻中的每幀圖像中的手的三維關(guān)鍵點(diǎn)有關(guān)的信息，與手的三維關(guān)鍵點(diǎn)有關(guān)的信息至少包括手的各個(gè)關(guān)節(jié)點(diǎn)在三維空間中的位置；基于與手的三維關(guān)鍵點(diǎn)有關(guān)的信息得到每幀圖像的手部狀態(tài)信息，手部狀態(tài)信息至少包括指節(jié)彎曲狀態(tài)；獲得視頻的時(shí)間片段中的手部狀態(tài)信息的變化；以及基于手部狀態(tài)信息的變化和與手的動(dòng)作有關(guān)的規(guī)則來(lái)確定時(shí)間片段中的手進(jìn)行的動(dòng)作。

5、根據(jù)本公開(kāi)的另一方面，提供了一種機(jī)器可讀存儲(chǔ)介質(zhì)，其上攜帶有包括存儲(chǔ)在其中的機(jī)器可讀指令代碼的程序產(chǎn)品，其中，所述指令代碼當(dāng)由計(jì)算機(jī)讀取和執(zhí)行時(shí)，能夠使所述計(jì)算機(jī)執(zhí)行根據(jù)本公開(kāi)的檢測(cè)方法。

6、使用根據(jù)本公開(kāi)的動(dòng)作檢測(cè)裝置、動(dòng)作檢測(cè)方法和機(jī)器可讀存儲(chǔ)介質(zhì)，可以通過(guò)逐幀分析指節(jié)彎曲狀態(tài)并制定手部動(dòng)作規(guī)則來(lái)實(shí)現(xiàn)可復(fù)用的手部動(dòng)作的檢測(cè)。

7、從在此提供的描述中，進(jìn)一步的適用性區(qū)域?qū)?huì)變得明顯。這個(gè)概要中的描述和特定例子只是為了示意的目的，而不旨在限制本公開(kāi)的范圍。

技術(shù)特征：

1.一種用于檢測(cè)視頻中的手的動(dòng)作的裝置，包括：

2.根據(jù)權(quán)利要求1所述的裝置，其中，所述指節(jié)彎曲狀態(tài)是指節(jié)彎曲程度，并且

3.根據(jù)權(quán)利要求2所述的裝置，其中，

4.根據(jù)權(quán)利要求2所述的裝置，其中，

5.根據(jù)權(quán)利要求1所述的裝置，其中，所述指節(jié)彎曲狀態(tài)是指節(jié)彎曲程度，并且

6.根據(jù)權(quán)利要求2或5所述的裝置，其中，

7.根據(jù)權(quán)利要求5所述的裝置，其中，所述手指方向由手指所在的平面的法線向量表示，并且所述計(jì)算單元通過(guò)計(jì)算滑動(dòng)窗中每幀圖像與初始幀圖像之間的手指方向的偏差來(lái)得到手指方向偏差。

8.根據(jù)權(quán)利要求3或5所述的裝置，其中，所述手背方向由手腕與食指指根形成的矢量和手腕與小拇指指根形成的矢量的法線方向表示，并且所述手背方向的變化由所述手背方向與手所處的坐標(biāo)系的x軸、y軸和z軸之間的角度的標(biāo)準(zhǔn)差表示。

9.一種用于檢測(cè)視頻中的手的動(dòng)作的方法，包括：

10.一種機(jī)器可讀存儲(chǔ)介質(zhì)，其上攜帶有包括存儲(chǔ)在其中的機(jī)器可讀指令代碼的程序產(chǎn)品，其中，所述指令代碼當(dāng)由計(jì)算機(jī)讀取和執(zhí)行時(shí)，能夠使所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求9所述的方法。

技術(shù)總結(jié)
本公開(kāi)涉及一種用于檢測(cè)視頻中的手的動(dòng)作的裝置、方法和存儲(chǔ)介質(zhì)。該裝置包括：獲取單元，其獲取與視頻中的每幀圖像中的手的三維關(guān)鍵點(diǎn)有關(guān)的信息，與手的三維關(guān)鍵點(diǎn)有關(guān)的信息至少包括手的各個(gè)關(guān)節(jié)點(diǎn)在三維空間中的位置；計(jì)算單元，其基于與手的三維關(guān)鍵點(diǎn)有關(guān)的信息得到每幀圖像的手部狀態(tài)信息，手部狀態(tài)信息至少包括指節(jié)彎曲狀態(tài)；分析單元，其獲得視頻的時(shí)間片段中的手部狀態(tài)信息的變化；以及確定單元，其基于手部狀態(tài)信息的變化和與手的動(dòng)作有關(guān)的規(guī)則來(lái)確定時(shí)間片段中的手進(jìn)行的動(dòng)作。該裝置可以通過(guò)逐幀分析指節(jié)彎曲狀態(tài)并制定手部動(dòng)作規(guī)則來(lái)實(shí)現(xiàn)可復(fù)用的手部動(dòng)作的檢測(cè)。

技術(shù)研發(fā)人員：王婧怡,李斐,劉汝杰
受保護(hù)的技術(shù)使用者：富士通株式會(huì)社
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28