本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種人體關(guān)聯(lián)關(guān)系的判斷方法、裝置及存儲(chǔ)裝置。

背景技術(shù)：

深度相機(jī)捕獲場(chǎng)景的深度圖像中每一像素具有的深度信息為場(chǎng)景表面到深度相機(jī)的距離，從而根據(jù)深度圖像可以獲取場(chǎng)景目標(biāo)的位置信息。

在現(xiàn)有技術(shù)中，采用2d圖像序列對(duì)場(chǎng)景進(jìn)行監(jiān)控，例如，采用2d視頻進(jìn)行拍攝，再根據(jù)2d視頻里的圖像信息來(lái)獲取視頻內(nèi)的人物的關(guān)聯(lián)信息。對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐過(guò)程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)從2d圖像序列中無(wú)法獲得圖像中目標(biāo)的距離、位置信息，因而也不能分辨前后遮擋的位置關(guān)系，容易導(dǎo)致產(chǎn)生錯(cuò)誤的關(guān)聯(lián)關(guān)系，從而對(duì)場(chǎng)景的監(jiān)控效果不佳。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種人體關(guān)聯(lián)關(guān)系的判斷方法、裝置及存儲(chǔ)裝置，能夠解決現(xiàn)有技術(shù)存在的無(wú)法獲得圖像中目標(biāo)的距離、位置信息導(dǎo)致產(chǎn)生錯(cuò)誤的關(guān)聯(lián)關(guān)系的問(wèn)題。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種人體關(guān)聯(lián)關(guān)系的判斷方法，該方法包括以下步驟：獲取多人場(chǎng)景的深度圖像序列；從所述深度圖像序列中識(shí)別多個(gè)人體；獲取所述多個(gè)人體在所述深度圖像序列中的空間位置信息；根據(jù)所述多個(gè)人體的空間位置信息及所述多個(gè)人體的空間位置信息之間的關(guān)系所持續(xù)的時(shí)長(zhǎng)判斷所述多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的另一個(gè)技術(shù)方案是：提供一種判斷人體關(guān)聯(lián)關(guān)系的裝置，該裝置包括至少一個(gè)深度相機(jī)和處理器，所述深度相機(jī)與所述處理器連接；所述深度相機(jī)用于獲取多人場(chǎng)景的深度圖像序列；所述處理器用于從所述深度圖像序列中識(shí)別多個(gè)人體；獲取所述多個(gè)人體在所述深度圖像序列中的空間位置信息；根據(jù)所述多個(gè)人體的空間位置信息及所述多個(gè)人體的空間位置信息之間的關(guān)系所持續(xù)的時(shí)長(zhǎng)判斷所述多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的又一個(gè)技術(shù)方案是：提供一種存儲(chǔ)裝置，該存儲(chǔ)裝置存儲(chǔ)有程序數(shù)據(jù)，所述程序數(shù)據(jù)能夠被執(zhí)行以實(shí)現(xiàn)上述方法。

本發(fā)明的有益效果是：區(qū)別于現(xiàn)有技術(shù)的情況，本發(fā)明通過(guò)獲取深度圖像序列，并根據(jù)深度圖像序列中人體的位置關(guān)系及持續(xù)時(shí)間來(lái)判斷人體的關(guān)聯(lián)關(guān)系。相比于二維人體圖像的判斷，本發(fā)明基于深度圖像，不僅能獲取人體的像素信息，還能獲取人體的空間位置信息，從而可以獲取人與人之間的相對(duì)距離信息，因此，可以通過(guò)該空間位置信息分辨人體前后遮擋的位置關(guān)系，并且，根據(jù)深度圖像序列可以獲得人與人之間的相對(duì)距離信息在一定時(shí)間段內(nèi)的變化，從而能準(zhǔn)確判斷人體的關(guān)聯(lián)關(guān)系，可以規(guī)避誤判。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的判斷方法實(shí)施例的流程示意圖；

圖2是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的判斷方法另一實(shí)施例的流程示意圖；

圖3是本發(fā)明另一實(shí)施例的一個(gè)場(chǎng)景的俯視圖；

圖4是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的判斷方法又一實(shí)施例的流程示意圖；

圖5是本發(fā)明又一實(shí)施例的一個(gè)場(chǎng)景的俯視圖

圖6是本發(fā)明提供的一種判斷人體關(guān)聯(lián)關(guān)系的裝置實(shí)施例的結(jié)構(gòu)示意圖；

圖7是本發(fā)明提供的一種判斷人體關(guān)聯(lián)關(guān)系的裝置另一實(shí)施例的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明提供的人體關(guān)聯(lián)關(guān)系的判斷方法可應(yīng)用于車(chē)站、游樂(lè)場(chǎng)等公共場(chǎng)合的安防監(jiān)控。請(qǐng)參閱圖1，圖1是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的判斷方法實(shí)施例的流程示意圖。圖1所示的人體關(guān)聯(lián)關(guān)系的判斷方法包括步驟：

s101、獲取多人場(chǎng)景的深度圖像序列。

具體地，深度圖像序列可以通過(guò)深度相機(jī)來(lái)獲取，其中，多人場(chǎng)景可以是例如車(chē)站、游樂(lè)場(chǎng)等公共場(chǎng)合。深度圖像則不僅包括空間物體的像素信息，還包括每一像素信息的深度信息，即空間內(nèi)物體到深度相機(jī)之間的距離信息。深度圖像序列則是指在一個(gè)時(shí)間段內(nèi)的連續(xù)的深度圖像。

s102、從深度圖像序列中識(shí)別多個(gè)人體。

步驟s102中，可以基于深度圖像來(lái)獲取該深度圖像中出現(xiàn)的人體的深度圖輪廓，從而識(shí)別出人體。s103、獲取多個(gè)人體在深度圖像序列中的空間位置信息。

在深度圖像中識(shí)別到人體之后，根據(jù)單個(gè)深度圖像可以獲取人體的空間位置信息，該空間位置信息可以包括該人體相對(duì)于深度相機(jī)的相機(jī)坐標(biāo)系上的第一坐標(biāo)，還可以包括人體相對(duì)于場(chǎng)景所在世界坐標(biāo)系上的第二坐標(biāo)。

s104、根據(jù)多個(gè)人體的空間位置信息及多個(gè)人體的空間位置信息之間的關(guān)系所持續(xù)的時(shí)長(zhǎng)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

具體而言，根據(jù)多個(gè)人體的空間位置信息可以獲取多個(gè)人體之間的位置關(guān)系，從而可以根據(jù)該位置關(guān)系以及持續(xù)的時(shí)長(zhǎng)來(lái)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系，例如，跟隨關(guān)系，可以是一個(gè)人體近距離地跟在另一個(gè)人體后面，并持續(xù)一定時(shí)間，或者，也可以是一個(gè)人牽著另一個(gè)人的手，并持續(xù)一定時(shí)間，或者，還可以是一個(gè)人抱著另一個(gè)人，并持續(xù)一定時(shí)間等。

區(qū)別于現(xiàn)有技術(shù)，本發(fā)明通過(guò)獲取深度圖像序列，并根據(jù)深度圖像序列中人體的位置關(guān)系及持續(xù)時(shí)間來(lái)判斷人體的關(guān)聯(lián)關(guān)系。相比于二維人體圖像的判斷，本發(fā)明基于深度圖像，不僅能獲取人體的像素信息，還能獲取人體的空間位置信息，從而可以獲取人與人之間的相對(duì)距離信息，因此，可以通過(guò)該空間位置信息分辨人體前后遮擋的位置關(guān)系，并且，根據(jù)深度圖像序列可以獲得人與人之間的相對(duì)距離信息在一定時(shí)間段內(nèi)的變化，從而能準(zhǔn)確判斷人體的關(guān)聯(lián)關(guān)系，可以規(guī)避誤判。

請(qǐng)參閱圖2，圖2是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的判斷方法實(shí)施例的流程示意圖。圖2所示的人體關(guān)聯(lián)關(guān)系的判斷方法包括步驟：

s201、獲取多人場(chǎng)景的深度圖像序列。

s202、從深度圖像序列中識(shí)別多個(gè)人體。

首先，可以除去深度圖像中的背景。例如，可以在深度圖中初步確定一個(gè)斑塊(blob，即，具有相似值的像素的連接組)作為對(duì)象的身體，然后從該斑塊中去除具有明顯不同深度值的其它斑塊。以這種方式初步確定的斑塊通常必須具有某個(gè)最小尺寸。然而，為此，斑塊邊緣處的像素坐標(biāo)之間的簡(jiǎn)單的歐幾里德距離不給出該尺寸的準(zhǔn)確測(cè)量。該不準(zhǔn)確的原因是，與具有給定實(shí)際尺寸的物體相對(duì)應(yīng)的斑塊的尺寸(以像素為單位)隨著該物體與設(shè)備的距離的變化而增加或減小。

因此，為了確定物體的實(shí)際尺寸，首先使用下面的公式將物體的(x，y，深度)坐標(biāo)變換為“現(xiàn)實(shí)世界”坐標(biāo)(xr，yr，深度)：

xr＝(x-fovx/2)*像素尺寸*深度/參考深度

yr＝(y-fovy/2)*像素尺寸*深度/參考深度

這里，fovx和fovy為x和y方向上的深度圖的視野(以像素為單位)。像素尺寸為，在離繪圖設(shè)備給定距離(參考深度)處像素所對(duì)著的長(zhǎng)度。然后，斑塊的尺寸可以通過(guò)求該斑塊邊緣的現(xiàn)實(shí)世界坐標(biāo)之間的歐幾里德距離來(lái)實(shí)際確定。

因此，可以通過(guò)識(shí)別具有所要求的最小尺寸的斑塊來(lái)除去深度圖像中的背景，其中，該斑塊在場(chǎng)景中的各斑塊中間具有最小平均深度值。可以假設(shè)，距離深度相機(jī)最近的斑塊為人體，深度比該平均深度值大了至少某個(gè)閾值的所有像素都被假定屬于背景物體，并將這些像素的深度值設(shè)置為零值。其中，上述閾值可以根據(jù)實(shí)際需要來(lái)確定。此外，在一些實(shí)施例中，還可以將具有明顯小于所述斑塊的平均深度值的深度值的各像素置零。另外，還可以預(yù)先設(shè)定一個(gè)最大深度，從而忽略超過(guò)該最大深度的物體。

在一些實(shí)施例中，還可以動(dòng)態(tài)地確定深度值，超過(guò)該深度值的話，物體就從深度圖中去除。為此，假設(shè)場(chǎng)景中的物體正在移動(dòng)。因此，在某最小數(shù)目個(gè)幀中深度沒(méi)有變化的任何像素都被假設(shè)是背景物體。深度值大于該靜態(tài)深度值的像素被認(rèn)為是屬于背景物體的，因此都被置零。開(kāi)始，場(chǎng)景中的所有像素可以都被定義為靜態(tài)，或者場(chǎng)景中的所有像素可以都被定義為非靜態(tài)的。在這兩種情形中，一旦對(duì)象開(kāi)始運(yùn)動(dòng)，就可以動(dòng)態(tài)生成實(shí)際的深度過(guò)濾器。

當(dāng)然，還可以通過(guò)現(xiàn)有技術(shù)中已知的其它方法來(lái)除去深度圖像中的背景。

在除去背景之后，可以通過(guò)邊緣檢測(cè)方法在深度圖中找出身體的外部輪廓。本實(shí)施例中，采用兩步閾值化機(jī)制來(lái)找出人體的輪廓：

首先，遍歷深度圖像中與人形相對(duì)應(yīng)的斑塊中的所有像素，并且，如果任何給定像素具有有效深度值，并且如果該像素與其四個(gè)相連的鄰近像素(右、左、上和下)中的至少一個(gè)像素之間的深度值之差大于第一閾值，則將其標(biāo)記為輪廓位置。(其中，有效深度值和零值之間的差被認(rèn)為是無(wú)窮大)。

然后，在完成了上一步驟之后，再次遍歷該斑塊，并且如果在任何像素(該像素還沒(méi)有被標(biāo)記為輪廓位置)的八個(gè)相連的鄰近像素之中有輪廓像素，并且如果當(dāng)前像素和剩下的相連鄰近位置中的至少一個(gè)像素之間的深度值之差大于第二閾值(低于所述第一閾值)，則將其標(biāo)記為輪廓位置。

在找出人體的外輪廓之后，再識(shí)別身體的各個(gè)部位，例如，頭部、軀干和四肢。

先旋轉(zhuǎn)深度圖像，使得身體輪廓處于豎直位置。該轉(zhuǎn)動(dòng)的目的是為了通過(guò)將身體的縱軸與y坐標(biāo)(垂直)軸對(duì)齊來(lái)簡(jiǎn)化下述步驟中的計(jì)算。可選擇地，下述計(jì)算可以相對(duì)于身體的縱軸來(lái)執(zhí)行，而不需要進(jìn)行該轉(zhuǎn)動(dòng)，如本領(lǐng)域技術(shù)人員所了解的。

在識(shí)別身體的各個(gè)部位之前，可以先找出身體的3d軸。具體地，找出身體的3d軸可以采用以下方法：

將原始深度圖像下采樣(down-sample)為節(jié)點(diǎn)柵格，其中，在x方向和y方向上隔n個(gè)像素取一個(gè)節(jié)點(diǎn)。基于以節(jié)點(diǎn)為中心的n×n方塊中的深度值來(lái)計(jì)算每個(gè)節(jié)點(diǎn)的深度值。如果方塊中多于半數(shù)像素具有零值，則將相應(yīng)節(jié)點(diǎn)設(shè)置為零值。否則，將該節(jié)點(diǎn)設(shè)置為n×n方塊中的有效深度值的平均值。

然后，可以基于鄰近節(jié)點(diǎn)的值來(lái)進(jìn)一步“清理”該下采樣的深度圖像：如果給定節(jié)點(diǎn)的大部分相鄰節(jié)點(diǎn)具有零值，則將該節(jié)點(diǎn)也設(shè)置為零值(即使在前述步驟之后它具有有效的深度值)。

在上述步驟完成時(shí)，找出下采樣的圖中所剩節(jié)點(diǎn)的縱軸。為此，可以進(jìn)行線性最小二乘擬合來(lái)找出最擬合各節(jié)點(diǎn)的線。可選擇地，可以擬合圍繞各節(jié)點(diǎn)的一個(gè)橢圓并找出其主軸。

在找出身體的3d軸之后，通過(guò)在平行和垂直于縱軸的方向上測(cè)量身體輪廓的厚度來(lái)識(shí)別身體的軀干。為此，可以在身體輪廓的周?chē)薅s束框，然后可以對(duì)該框中的像素值進(jìn)行二值化：將具有零深度值的像素設(shè)為0，而將具有非零深度值的像素設(shè)為1。

然后，通過(guò)沿著相應(yīng)的垂直線對(duì)二進(jìn)制像素值進(jìn)行相加，對(duì)框內(nèi)的每個(gè)x值計(jì)算縱向厚度值，并通過(guò)沿著相應(yīng)的水平線對(duì)二進(jìn)制像素值進(jìn)行加和，對(duì)每個(gè)y值計(jì)算橫向厚度值。對(duì)所得到的值應(yīng)用閾值，以便識(shí)別沿著哪些條垂直線和水平線輪廓相對(duì)厚。

當(dāng)輪廓某一水平區(qū)域的橫向厚度超過(guò)x閾值，某一垂直區(qū)域的縱向厚度超過(guò)y閾值時(shí)，該水平區(qū)域和垂直區(qū)域的交集可以確定為軀干。

在確定了軀干之后，可以基于幾何考慮來(lái)識(shí)別身體的頭部和四肢。手部手臂是連接到軀干區(qū)域的左側(cè)和右側(cè)的區(qū)域；頭部是軀干區(qū)域上方的連接區(qū)域；腿部是軀干區(qū)域下方的連接區(qū)域。還可以將軀干區(qū)域的左上角和右上角初步識(shí)別為肩膀。

當(dāng)輪廓以及人體的各個(gè)部位均識(shí)別出來(lái)之后，即可在深度圖像中識(shí)別出人體。

s203、獲取多個(gè)人體在深度圖像序列中的人體位置信息。

當(dāng)步驟s202識(shí)別出人體之后，可以根據(jù)步驟s202中識(shí)別出的人體輪廓、人體部位等信息獲取人體的特定點(diǎn)的位置，即該點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)。

人體位置信息可以是人體的軀干的質(zhì)心的位置信息。例如，人體的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)。步驟s202中，當(dāng)從輪廓中識(shí)別出軀干、頭部、右壁、左臂、右腿和左腿之后，可以確定身體每個(gè)區(qū)域的質(zhì)心。其中，區(qū)域的質(zhì)心指該區(qū)域的代表深度或位置。為此，例如，可以生成區(qū)域內(nèi)深度值的直方圖，并將具有最高頻率的深度值(或具有最高頻率的兩個(gè)或多個(gè)深度值的平均值)設(shè)為該區(qū)域的質(zhì)心。確定了軀干的質(zhì)心之后，即可確定人體的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)。

值得一提的是，本發(fā)明中的質(zhì)心是指通過(guò)深度圖像處理所獲取的質(zhì)心，而并非物理質(zhì)心。本發(fā)明的質(zhì)心可以通過(guò)質(zhì)心法獲取，也可以通過(guò)其它方法獲取，本發(fā)明不做限定。

如圖3所示，圖3是本發(fā)明實(shí)施例的一個(gè)場(chǎng)景的俯視圖。深度相機(jī)10所拍攝的場(chǎng)景內(nèi)有人體a、人體b和人體c，根據(jù)深度相機(jī)10拍攝的深度圖像可以確定人體a的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x1,y1,z1)，人體b的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x2,y2,z2)，人體c的軀干的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x3,y3,z3)。

當(dāng)然，在其它一些實(shí)施例中，人體位置信息還可以是人體輪廓上特定點(diǎn)的位置信息，可以通過(guò)步驟s202識(shí)別的人體的輪廓來(lái)確定人體的輪廓上特定點(diǎn)，從而確定其在相機(jī)坐標(biāo)系上的坐標(biāo)。在另一些實(shí)施例中，人體位置信息還可以是人體的部位或者該部位的質(zhì)心(或中心)的位置信息，可以通過(guò)驟s202識(shí)別的人體頭部、肩膀、四肢等部位，從而確定該人體部位在相機(jī)坐標(biāo)系上的坐標(biāo)，或者通過(guò)上述方法確定該人體部位的質(zhì)心，從而確定該人體部位的質(zhì)心在相機(jī)坐標(biāo)系上的坐標(biāo)。

s204、根據(jù)人體位置信息計(jì)算多個(gè)人體之間的人體距離信息。

具體地，可以通過(guò)各人體在相機(jī)坐標(biāo)系中的坐標(biāo)值來(lái)計(jì)算多個(gè)人體之間的人體距離信息。其中，人體距離信息可以是多個(gè)人體的輪廓邊緣之間的距離，人體距離信息還可以是多個(gè)人體的人體質(zhì)心或者人體中心之間的距離，此外，人體距離信息還可以是多個(gè)人體的某個(gè)人體部位，例如，人體的頭部、肩膀等或者該部位的質(zhì)心或中心的距離。

舉例而言，圖3中的人體a和人體b之間的距離信息s1是人體a的軀干的質(zhì)心和人b的軀干的質(zhì)心之間的距離，其計(jì)算方法為：

同理，人體a的軀干的質(zhì)心和人體c的軀干的質(zhì)心之間的距離信息s2的計(jì)算方法為：

人體b的軀干的質(zhì)心和人體c的軀干的質(zhì)心之間的距離信息s3的計(jì)算方法為：

值得一提的是，當(dāng)識(shí)別出多個(gè)人體的時(shí)候，人體距離信息為多個(gè)人體中兩兩人體之間的距離信息。

s205、將人體距離信息與預(yù)設(shè)的人體距離閾值比較。

具體地，步驟s205之前，可以預(yù)設(shè)一人體距離閾值以使實(shí)際人體距離信息與該人體距離閾值比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的一個(gè)標(biāo)準(zhǔn)。

人體距離閾值s0可以是0-1m，例如，0-0.6m，具體可以是0.2m，0.3m，0.4m或者0.5m，可以理解地，在其它一些實(shí)施例中，人體距離閾值還可以是其它值，可以根據(jù)實(shí)際需求設(shè)定，本發(fā)明不做限定。

例如，本實(shí)施例中，s0＝0.5m，s1＝0.2m，s2＝1.5m，s3＝1.2m，可以得出比較結(jié)果：s1＜s0，s2＞s0，s3＞s0，即，人體a和人體b之間的距離信息小于人體距離閾值，表示人體a和人體b的距離較近，并且可能是跟隨關(guān)系，但人體a和人體b的近距離關(guān)系有可能為偶然發(fā)生的，因而需要進(jìn)入步驟s206-s207排除此種偶然發(fā)生的近距離關(guān)系。而人體b和人體c之間的距離較遠(yuǎn)，人體a和人體c之間等距離也較遠(yuǎn)，因而認(rèn)為人體b和人體c之間、人體a和人體c之間均不是跟隨關(guān)系。

s206、若人體距離信息小于或等于人體距離閾值，則檢測(cè)人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時(shí)長(zhǎng)。

檢測(cè)第一持續(xù)時(shí)長(zhǎng)可以從檢測(cè)到人體距離信息小于或等于人體距離閾值時(shí)開(kāi)始進(jìn)行計(jì)時(shí)。

s207、當(dāng)?shù)谝怀掷m(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)間閾值時(shí)，則判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

步驟s207即從開(kāi)始計(jì)時(shí)到所計(jì)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)間閾值時(shí)即做出判斷。

其中，第一時(shí)間閾值可以在步驟s206前預(yù)先設(shè)定，以將人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時(shí)長(zhǎng)與預(yù)設(shè)的第一時(shí)間閾值進(jìn)行比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的另一個(gè)標(biāo)準(zhǔn)。

具體地，該第一時(shí)間閾值t0可以是30-90s，例如，30-70s，具體可以是45s，50s或者60s等。當(dāng)然，在其它一些實(shí)施例中，第一時(shí)間閾值還可以是其它數(shù)值，具體根據(jù)實(shí)際需要而設(shè)定，本發(fā)明不做限定。

當(dāng)該第一持續(xù)時(shí)長(zhǎng)達(dá)到第一時(shí)間閾值時(shí)，表示人體之間在較長(zhǎng)的時(shí)間段內(nèi)維持了較近距離的位置關(guān)系，因而可以判斷該人體之間的關(guān)聯(lián)關(guān)系為跟隨。

例如，本實(shí)施例中，t0＝60s，當(dāng)檢測(cè)到人體a和人體b的距離信息小于人體距離閾值的狀態(tài)所維持的第一持續(xù)時(shí)長(zhǎng)達(dá)到60s時(shí)，表示人體a和人體b在較長(zhǎng)的時(shí)間內(nèi)保持較近的距離，則判斷人體a和人體b之間的關(guān)聯(lián)關(guān)系為跟隨，然后進(jìn)入步驟s208。

可以理解地，若第一持續(xù)時(shí)長(zhǎng)未達(dá)到第一時(shí)間閾值，表示人體a和人體b之間近距離狀態(tài)持續(xù)的時(shí)間并不長(zhǎng)，表示人體a和人體b之間僅是偶然地發(fā)生近距離狀態(tài)，因而可以認(rèn)為人體a和人體b之間并不是跟隨關(guān)系，因而不會(huì)進(jìn)入步驟s208。

s208、將關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記，并對(duì)關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記，并保存。

在判斷人體a和人體b之間是跟隨關(guān)系之后，可以將該跟隨的關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記，同時(shí)對(duì)該人體a和人體b分別進(jìn)行標(biāo)記，并保存，以便于后期對(duì)該關(guān)聯(lián)關(guān)系及相關(guān)的人體進(jìn)行跟蹤監(jiān)控。

請(qǐng)參閱圖4，圖4是本發(fā)明提供的一種人體關(guān)聯(lián)關(guān)系的判斷方法另一實(shí)施例的流程示意圖。圖4所示的人體關(guān)聯(lián)關(guān)系的判斷方法包括步驟：

s301、獲取多人場(chǎng)景的深度圖像序列。

s302、從深度圖像序列中識(shí)別多個(gè)人體，并根據(jù)識(shí)別出的多個(gè)人體進(jìn)一步識(shí)別人體部位。

具體地，人體部位可以是人體的軀干或者四肢等部位，其中，人體部位可以通過(guò)上一實(shí)施例中的方法來(lái)識(shí)別，在此不再贅述。例如，本實(shí)施例中的人體部位為手部，手部可以在識(shí)別出左、右臂之后，識(shí)別左、右臂的外端部為手部。在深度圖像序列中通過(guò)人體的輪廓識(shí)別出人體之后，可以進(jìn)一步通過(guò)該人體的部位的輪廓來(lái)識(shí)別出人體的部位。例如，通過(guò)手部的輪廓信息來(lái)識(shí)別人體的手部。

s303、獲取多個(gè)人體的人體部位在深度圖像序列中的部位位置信息。

其中，部位位置信息可以是人體部位的輪廓上特定點(diǎn)在在相機(jī)坐標(biāo)系中的坐標(biāo)，還可以是人體部位的質(zhì)心或中心在相機(jī)坐標(biāo)系中的坐標(biāo)。人體部位的輪廓以及人體部位的質(zhì)心的獲取可以通過(guò)上一實(shí)施例中所述的方法，在此不再贅述。

例如，如圖5所示，圖5是本發(fā)明另一實(shí)施例的一個(gè)場(chǎng)景的俯視圖。圖5中深度相機(jī)10所拍攝的場(chǎng)景內(nèi)有人體d和人體e，通過(guò)深度相機(jī)10拍攝的深度圖像可以確定，人體d的手的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x4,y4,z4)，人體e的手的質(zhì)心在相機(jī)坐標(biāo)系中的坐標(biāo)為(x5,y5,z5)。

s304、根據(jù)部位位置信息計(jì)算多個(gè)人體的人體部位之間的部位距離信息。

具體地，可以通過(guò)各人人體部位在相機(jī)坐標(biāo)系中的坐標(biāo)值來(lái)計(jì)算多個(gè)人體部位之間的部位距離信息。部位距離信息可以是人體部位的輪廓的特定點(diǎn)之間的距離，也可以是人體部位的質(zhì)心或者中心之間的距離。

舉例而言，圖5中的人體d的手的質(zhì)心和人體e的手的質(zhì)心之間的距離信息s4的計(jì)算方法為：

s305、將部位距離信息與預(yù)設(shè)的部位距離閾值比較。

其中，部位距離閾值可以在步驟s305之前預(yù)先設(shè)置好，以作為判斷人體關(guān)聯(lián)關(guān)系的一個(gè)標(biāo)準(zhǔn)。

部位距離閾值s0’可以是0-0.03m，例如，0.01m，0.02m，或者0.03m，可以理解地，在其它一些實(shí)施例中，部位距離閾值還可以是其它值，可以根據(jù)實(shí)際需求設(shè)定，本發(fā)明不做限定。

本實(shí)施例中，s0’＝0.02m，s4＝0m，即人體d的手部和人體e的手部之間的距離信息小于部位距離閾值，s4＜s0’，表示人體d的手部和人體e的手部距離較近，本實(shí)施例中，s4＝0m，可表示人體d的手部和人體e的手部接觸，但是人體d的手部和人體e的手部的近距離的關(guān)系有可能為偶然發(fā)生的狀態(tài)，因而需要進(jìn)入步驟s306-s307排除此種偶然發(fā)生的近距離關(guān)系。

s306、若部位距離信息小于或等于部位距離閾值，則檢測(cè)部位距離信息小于或等于部位閾值距離的狀態(tài)的第二持續(xù)時(shí)長(zhǎng)。

步驟s306中，在檢測(cè)到部位距離信息小于或等于部位距離閾值時(shí)即開(kāi)始計(jì)時(shí)，以檢測(cè)第二時(shí)長(zhǎng)。

s307、當(dāng)?shù)诙掷m(xù)時(shí)長(zhǎng)達(dá)到第二時(shí)間閾值時(shí)，則判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

步驟s307即從開(kāi)始計(jì)時(shí)到所計(jì)時(shí)長(zhǎng)達(dá)到第二時(shí)間閾值時(shí)即做出判斷。

其中，第二時(shí)間閾值可以在步驟s306前預(yù)先設(shè)定，以將部位距離信息小于或等于部位距離閾值的狀態(tài)的第二持續(xù)時(shí)長(zhǎng)與預(yù)設(shè)的第二時(shí)間閾值進(jìn)行比較，從而作為判斷人體關(guān)聯(lián)關(guān)系的另一個(gè)標(biāo)準(zhǔn)。

具體地，該第二時(shí)間閾值t0’可以是1-10s，例如，1-4s，或者5s-9s，具體可以是2s，3s，4s，6s或者8s等。可以理解地，在其它一些實(shí)施例中，第二時(shí)間閾值還可以是其它數(shù)值，具體根據(jù)實(shí)際需要而設(shè)定，本發(fā)明不做限定。

當(dāng)該第二持續(xù)時(shí)長(zhǎng)達(dá)到第二時(shí)間閾值時(shí)，表示人體部位之間在較長(zhǎng)的時(shí)間段內(nèi)維持了相互接觸的關(guān)系，因而可以判斷該兩個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

例如，本實(shí)施例中，t0’＝2s，人體d的手部和人體e的手部的距離信息小于部位距離閾值的狀態(tài)的第二持續(xù)時(shí)長(zhǎng)達(dá)到2s時(shí)，表示人體d的手部和人體e的手部在較長(zhǎng)的時(shí)間內(nèi)保持接觸的關(guān)系，表示人體d和人體e之間的關(guān)聯(lián)關(guān)系為牽手，本實(shí)施例將牽手作為跟隨關(guān)系的一種情況，因此，同樣判斷人體d和人體e之間的關(guān)聯(lián)關(guān)系為跟隨，然后進(jìn)入步驟s308。

可以理解地，若第二持續(xù)時(shí)長(zhǎng)未達(dá)到第二時(shí)間閾值，則表示人體d的手部和人體e的手部之間僅是偶然地發(fā)生接觸，該接觸狀態(tài)持續(xù)的時(shí)間并補(bǔ)償，因而可以認(rèn)為人體d和人體e之間并不是跟隨關(guān)系，因而不會(huì)進(jìn)入步驟s308。

s308、將關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記，并對(duì)關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記，并保存。

判斷人體d和人體e之間是跟隨關(guān)系之后，可以將該跟隨的關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記，同時(shí)對(duì)該人體d和人體e分別進(jìn)行標(biāo)記并保存，以便于后期對(duì)該關(guān)聯(lián)關(guān)系即相關(guān)的人體進(jìn)行跟蹤監(jiān)控。

可以理解地，在其它一些實(shí)施例中，人體d和人體e之間還可能是其它狀態(tài)，例如抱嬰狀態(tài)。此時(shí)，人體d和人體e之間，不管是人體之間的人體距離信息還是人體部位之間的部位距離信息均為0，且持續(xù)時(shí)長(zhǎng)較長(zhǎng)，可以通過(guò)深度圖像序列準(zhǔn)確地進(jìn)行判斷。

在本發(fā)明的一些實(shí)施例中，可以直接通過(guò)人體之間的距離及該距離維持的時(shí)間來(lái)判斷人體的關(guān)聯(lián)關(guān)系。在另一些實(shí)施例中，也可以至二級(jí)通過(guò)人體部位之間的距離及該距離維持的時(shí)間來(lái)判斷人體的關(guān)聯(lián)關(guān)系。在又一些實(shí)施例中，還可以是通過(guò)人體之間的距離及其持續(xù)時(shí)間以及通過(guò)人體部位之間的距離及其持續(xù)時(shí)間進(jìn)行判斷，例如，先通過(guò)人體之間的距離及其持續(xù)時(shí)間進(jìn)行判斷，若判斷為非跟隨關(guān)系，則再通過(guò)人體部位之間的距離及其持續(xù)時(shí)間進(jìn)行判斷，以使判斷結(jié)果更加準(zhǔn)確。

本發(fā)明還提供了一種判斷人體關(guān)聯(lián)關(guān)系的裝置，如圖6所示，圖6是本發(fā)明提供的一種判斷人體關(guān)聯(lián)關(guān)系的裝置實(shí)施例的結(jié)構(gòu)示意圖。該裝置包括至少一個(gè)深度相機(jī)10和處理器11，其中深度相機(jī)10和處理器11連接。

具體地，深度相機(jī)10用于獲取多人場(chǎng)景的深度圖像序列。

其中，多人場(chǎng)景可以是例如車(chē)站、游樂(lè)場(chǎng)等公共場(chǎng)合。深度相機(jī)10獲取的深度圖像不僅包括空間物體的像素信息，還包括每一像素信息的深度信息，即空間內(nèi)物體到深度相機(jī)10之間的距離信息。深度圖像序列則是指在一個(gè)時(shí)間段內(nèi)的連續(xù)的深度圖像。

處理器11用于從深度圖像序列中識(shí)別多個(gè)人體；獲取多個(gè)人體在深度圖像序列中的空間位置信息；根據(jù)多個(gè)人體的空間位置信息及多個(gè)人體的空間位置信息之間的關(guān)系所持續(xù)的時(shí)長(zhǎng)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

例如，處理器11基于深度圖像中出現(xiàn)的人體的深度圖輪廓來(lái)識(shí)別人體，根據(jù)深度圖像獲取人體的空間位置信息，該空間位置信息可以包括該人體相對(duì)于深度相機(jī)的相機(jī)坐標(biāo)系上的第一坐標(biāo)，還可以包括人體相對(duì)于場(chǎng)景所在世界坐標(biāo)系上的第二坐標(biāo)。通過(guò)多個(gè)人體各自的空間位置信息獲得多個(gè)人體各自空間位置信息之間的關(guān)系，并檢測(cè)出該空間位置信息之間的關(guān)系持續(xù)的時(shí)長(zhǎng)，最后根據(jù)該空間位置信息之間的關(guān)系以及該關(guān)系維持的時(shí)長(zhǎng)來(lái)判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系。

請(qǐng)參閱圖7，圖7是本發(fā)明提供的一種判斷人體關(guān)聯(lián)關(guān)系的裝置另一實(shí)施例的結(jié)構(gòu)示意圖。

本實(shí)施例的判斷人體關(guān)聯(lián)關(guān)系的裝置包括至少一個(gè)深度相機(jī)20、處理器21和存儲(chǔ)器22，深度相機(jī)20和存儲(chǔ)器22均與處理器21連接。

其中，深度相機(jī)20用于獲取多人場(chǎng)景的深度圖像序列。

處理器21用于從深度圖像序列中識(shí)別多個(gè)人體；獲取多個(gè)人體在深度圖像序列中的空間位置信息，其中，空間位置信息為人體位置信息；根據(jù)人體位置信息計(jì)算多個(gè)人體之間的人體距離信息；將人體距離信息與預(yù)設(shè)的人體距離閾值比較；若人體距離信息小于或等于人體距離閾值，則檢測(cè)人體距離信息小于或等于人體距離閾值的狀態(tài)的第一持續(xù)時(shí)長(zhǎng)；當(dāng)?shù)谝怀掷m(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)間閾值時(shí)，則判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。將關(guān)聯(lián)關(guān)系進(jìn)行標(biāo)記，并對(duì)關(guān)聯(lián)關(guān)系相關(guān)的人體進(jìn)行標(biāo)記。

在另一實(shí)施例中，處理器21用于從深度圖像序列中識(shí)別多個(gè)人體，并根據(jù)識(shí)別出的多個(gè)人體進(jìn)一步識(shí)別人體部位；獲取多個(gè)人體的人體部位在深度圖像序列中的部位位置信息；根據(jù)部位位置信息計(jì)算多個(gè)人體的人體部位之間的部位距離信息；將部位距離信息與預(yù)設(shè)的部位距離閾值比較；若部位距離信息小于或等于部位距離閾值，則檢測(cè)部位距離信息小于或等于部位閾值距離的狀態(tài)的第二持續(xù)時(shí)長(zhǎng)；當(dāng)?shù)诙掷m(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第二時(shí)間閾值時(shí)，則判斷多個(gè)人體之間的關(guān)聯(lián)關(guān)系為跟隨。

存儲(chǔ)器22用于對(duì)所做的標(biāo)記進(jìn)行保存，以便于后期對(duì)該關(guān)聯(lián)關(guān)系即相關(guān)的人體進(jìn)行跟蹤監(jiān)控。

本發(fā)明還提供了一種存儲(chǔ)裝置，該存儲(chǔ)裝置存儲(chǔ)有程序數(shù)據(jù)，該程序數(shù)據(jù)能夠被執(zhí)行以實(shí)現(xiàn)上述任一實(shí)施例的人體關(guān)聯(lián)關(guān)系的判斷方法。

舉例而言，該存儲(chǔ)裝置可以是便攜式存儲(chǔ)介質(zhì)，例如u盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器(rom，read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、磁碟或者光盤(pán)等。可以理解地，存儲(chǔ)裝置還可以是服務(wù)器等各種可以存儲(chǔ)程序代碼的介質(zhì)。

綜上所述，本發(fā)明能準(zhǔn)確判斷人體的關(guān)聯(lián)關(guān)系，可以規(guī)避誤判，能有效地對(duì)場(chǎng)景進(jìn)行監(jiān)控。

以上所述僅為本發(fā)明的實(shí)施方式，并非因此限制本發(fā)明的專(zhuān)利范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專(zhuān)利保護(hù)范圍內(nèi)。