本發(fā)明涉及人臉識(shí)別領(lǐng)域，具體涉及一種面向高噪聲的人臉識(shí)別及運(yùn)動(dòng)軌跡判別方法。

背景技術(shù)：

隨著城市的發(fā)展和安全意識(shí)的提高，各地布置的攝像頭越來(lái)越密集，為了能夠在眾多攝像頭中尋找出特定目標(biāo)，智能監(jiān)控技術(shù)應(yīng)運(yùn)而生。人臉識(shí)別是一種基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部識(shí)別的一系列相關(guān)技術(shù)。

人臉特征識(shí)別方法通過(guò)對(duì)圖片進(jìn)行人臉檢測(cè)得到人臉框，再對(duì)人臉框進(jìn)行特征提取得到特征值，其中特征值是一個(gè)多維的浮點(diǎn)向量，對(duì)同一個(gè)人來(lái)說(shuō)，每次所提取到特征值會(huì)存在差異，特征比對(duì)通過(guò)歐式距離公式計(jì)算出兩個(gè)特征值的距離來(lái)得到相似度。在現(xiàn)實(shí)場(chǎng)景下，因?yàn)榻嵌取⒐饩€明暗、姿態(tài)及匹配誤差等因素的存在，使人臉識(shí)別技術(shù)不可避免地存在誤判。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了解決上述技術(shù)問(wèn)題提供一種面向高噪聲的人臉識(shí)別及運(yùn)動(dòng)軌跡判別方法。

本發(fā)明通過(guò)下述技術(shù)方案實(shí)現(xiàn)：

一種面向高噪聲的人臉識(shí)別方法，包括,

圖片獲取步驟：獲取視頻流解碼出來(lái)的多幀圖片；

特征提取步驟：對(duì)每幀圖片中的各個(gè)人臉進(jìn)行特征提取；

特征比對(duì)步驟：系統(tǒng)將每個(gè)人臉?biāo)崛〉奶卣髋c人臉庫(kù)中存儲(chǔ)的特征進(jìn)行比對(duì)，每個(gè)人臉獲得相對(duì)應(yīng)的兩個(gè)k維向量<id1,id2,…,idk>和<score1,score2,...,scorek>，第一個(gè)向量表示所檢測(cè)到的人臉在人臉庫(kù)中與其最相似的k個(gè)人的id，第二個(gè)向量表示相對(duì)應(yīng)的相似度；

判定步驟：根據(jù)同一視頻流解碼出來(lái)的圖片，根據(jù)比對(duì)結(jié)果中id出現(xiàn)的次數(shù)得到候選人集；再根據(jù)候選人集中id在不同視頻流解碼出來(lái)的圖片中的次數(shù)和及相似度確定嫌疑人id。

作為優(yōu)選，所述判定步驟具體為：根據(jù)同一視頻流解碼出來(lái)的圖片，得到當(dāng)前圖片的比對(duì)結(jié)果與前n-1幀圖片的比對(duì)結(jié)果，對(duì)于同一個(gè)人臉來(lái)說(shuō)，若某個(gè)id的相似度大于給定閾值s1并且在n幀圖片的比對(duì)結(jié)果中出現(xiàn)的次數(shù)超過(guò)閾值x1，則將該id設(shè)置為該人臉的候選人；根據(jù)不同視頻流解碼出來(lái)的圖片，若存在同一個(gè)id的相似度大于給定閾值s2并且在多幀圖片的比對(duì)結(jié)果中出現(xiàn)的次數(shù)超過(guò)閾值x2，將id出現(xiàn)次數(shù)最大且對(duì)應(yīng)相似度之和最大的人臉判定為該嫌疑人。

針對(duì)同一視頻流，連續(xù)的n幀圖片時(shí)間距離很小，可通過(guò)人臉框坐標(biāo)大致估算出這n幀圖片的某個(gè)人臉是否為同一個(gè)人。

因?yàn)槿四樧R(shí)別技術(shù)存在誤檢，但對(duì)人臉進(jìn)行多次檢測(cè)和比對(duì)，如果每次都出現(xiàn)誤檢，這個(gè)概率是非常低的。在相同的條件下，隨著實(shí)驗(yàn)次數(shù)增多，事件出現(xiàn)的頻率會(huì)逐漸穩(wěn)定。相比于只比對(duì)一次人臉取最高值的方法來(lái)說(shuō)，對(duì)同一個(gè)人臉進(jìn)行多次檢測(cè)和比對(duì)可以使結(jié)果更可靠，誤判的可能性更低。對(duì)于一個(gè)人臉來(lái)說(shuō)，得到當(dāng)前幀和前n-1幀圖片的比對(duì)結(jié)果，對(duì)于該人臉來(lái)說(shuō)，當(dāng)前就具有了n個(gè)比對(duì)結(jié)果，在這n個(gè)比對(duì)結(jié)果中找到某個(gè)嫌疑人id與該人臉的相似度大于某閾值s1并且該id在n個(gè)比對(duì)結(jié)果中出現(xiàn)的次數(shù)超過(guò)閾值x1。這樣我們就認(rèn)為檢測(cè)出的人臉很大可能就是該嫌疑人。因?yàn)橐粋€(gè)人臉具有n個(gè)比對(duì)結(jié)果，如果該人是嫌疑人，則嫌疑人id出現(xiàn)在一個(gè)比對(duì)結(jié)果的概率是p，p即為人臉識(shí)別的精度，而n個(gè)比對(duì)結(jié)果可以看成是n次獨(dú)立重復(fù)事件，則相當(dāng)于對(duì)一個(gè)實(shí)驗(yàn)進(jìn)行了n次，而隨著實(shí)驗(yàn)次數(shù)的增多，事件出現(xiàn)的頻率會(huì)逐漸穩(wěn)定，這樣可以降低誤判，我們可以更有把握地認(rèn)為此人為嫌疑人。如果在多個(gè)攝像頭中存在同一個(gè)嫌疑人id都滿足上述條件，則取px最大和對(duì)應(yīng)相似度之和最大的人臉確定為該嫌疑人。

這種判定方法通過(guò)多次檢測(cè)和多次比對(duì)，相對(duì)于直接比對(duì)一次并直接取相似度最高的方法來(lái)說(shuō)，誤判的可能性就降低了。采用該方法可以提高系統(tǒng)判別人臉的可靠性，減少誤判的出現(xiàn)，尤其是在室外存在高噪聲的場(chǎng)景中。

一種面向高噪聲的運(yùn)動(dòng)軌跡判別方法，包括，

嫌疑人身份確認(rèn)步驟：采用上述的人臉識(shí)別方法識(shí)別嫌疑人以確定嫌疑人身份；

跟蹤步驟：記錄嫌疑人id、所在的攝像頭以及嫌疑人出現(xiàn)在該攝像頭的時(shí)間戳，并對(duì)嫌疑人進(jìn)行跟蹤，當(dāng)嫌疑人離開(kāi)該攝像頭時(shí)，記錄嫌疑人離開(kāi)該攝像頭的時(shí)間戳；

軌跡生成步驟：根據(jù)時(shí)間戳的先后順序生成嫌疑人的運(yùn)動(dòng)軌跡。

作為優(yōu)選，在對(duì)某一攝像頭的嫌疑人進(jìn)行跟蹤時(shí)，其他攝像頭的并行地通過(guò)上述人臉識(shí)別方法識(shí)別其他嫌疑人，當(dāng)識(shí)別出其他嫌疑人時(shí)，進(jìn)行跟蹤步驟，分別根據(jù)不同嫌疑人的id、時(shí)間戳生成相應(yīng)嫌疑人的運(yùn)動(dòng)軌跡。相對(duì)于現(xiàn)有只針對(duì)單個(gè)目標(biāo)來(lái)說(shuō)，這種運(yùn)動(dòng)軌跡判別方法獲取實(shí)時(shí)地獲取多個(gè)目標(biāo)的軌跡，多個(gè)攝像頭同時(shí)判定嫌疑人和跟蹤嫌疑人，系統(tǒng)根據(jù)嫌疑人id得到嫌疑人每次出現(xiàn)的攝像頭和時(shí)間，從而獲得各個(gè)嫌疑人的運(yùn)動(dòng)軌跡。當(dāng)在一個(gè)攝像頭對(duì)目標(biāo)進(jìn)行跟蹤時(shí)，其他攝像頭也能進(jìn)行檢測(cè)判定，防止其他的攝像頭出現(xiàn)其他的嫌疑人。并行識(shí)別檢測(cè)判定是針對(duì)人臉庫(kù)中的所有嫌疑人進(jìn)行的，當(dāng)人臉庫(kù)中的一個(gè)或多個(gè)嫌疑人出現(xiàn)在多個(gè)攝像頭時(shí)，系統(tǒng)判定出嫌疑人后對(duì)他們進(jìn)行跟蹤，根據(jù)嫌疑人的id來(lái)記錄嫌疑人每次出現(xiàn)的攝像頭和時(shí)間，實(shí)現(xiàn)對(duì)人臉庫(kù)中的所有嫌疑人進(jìn)行判別和跟蹤。

作為優(yōu)選，跟蹤步驟中采用跟蹤模塊對(duì)嫌疑人進(jìn)行跟蹤，具體方法為比較圖片中人臉框和上一幀圖片的人臉框坐標(biāo)的距離是否小于閾值，是則認(rèn)為是同一個(gè)人，若上一幀圖片出現(xiàn)多個(gè)人臉框坐標(biāo)滿足條件，則通過(guò)人臉特征比較來(lái)判斷是否為同一個(gè)人。

本發(fā)明針對(duì)誤差存在的情況下，提供了一種判別方法，使在室外存在高噪聲的場(chǎng)景中，人臉識(shí)別技術(shù)對(duì)目標(biāo)的比對(duì)更加可靠，并且本發(fā)明提供了一個(gè)完整的系統(tǒng)，系統(tǒng)利用人臉識(shí)別技術(shù)在多攝像頭中定位出特定目標(biāo)，并計(jì)算出目標(biāo)的運(yùn)動(dòng)軌跡。本發(fā)明可以廣泛地應(yīng)用于公安部門(mén)，警察可以從實(shí)時(shí)監(jiān)控視頻中得到犯罪嫌疑人的運(yùn)動(dòng)軌跡及活動(dòng)范圍，從而獲得個(gè)人/團(tuán)體作案信息。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：

1、本發(fā)明在人臉識(shí)別技術(shù)誤差存在的情況下，通過(guò)提供一種基于多次實(shí)驗(yàn)的方法，進(jìn)行多次檢測(cè)和多次比對(duì)，使人臉識(shí)別技術(shù)在確定目標(biāo)時(shí)更加可靠，降低誤判的可能性。

2、本發(fā)明提供實(shí)時(shí)的方式從多個(gè)攝像頭中自動(dòng)檢測(cè)出特定目標(biāo)，并實(shí)時(shí)地計(jì)算出各目標(biāo)的運(yùn)動(dòng)軌跡和活動(dòng)范圍。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明，本發(fā)明的示意性實(shí)施方式及其說(shuō)明僅用于解釋本發(fā)明，并不作為對(duì)本發(fā)明的限定。

實(shí)施例1

一種面向高噪聲的人臉識(shí)別方法，包括,

圖片獲取步驟：獲取視頻流解碼出來(lái)的多幀圖片，視頻流有多個(gè)；此步驟中，系統(tǒng)對(duì)每個(gè)攝像頭的處理是相互獨(dú)立的，系統(tǒng)對(duì)攝像頭發(fā)出的視頻流進(jìn)行解碼，并將解碼數(shù)據(jù)編碼成jpg格式的圖片，多幀圖片的獲取方式優(yōu)選的可采用間隔地方式，譬如：對(duì)其中一路攝像頭來(lái)說(shuō)，假設(shè)它每秒發(fā)出25幀的圖像，我們可以在每秒內(nèi)獲取其中的5幀的圖片，即n取5。因?yàn)樵谝幻胫校獯a出來(lái)的每一幀圖片的差別并不大，特別是相鄰的圖片的差別就更小了。對(duì)每路視頻流來(lái)說(shuō)，系統(tǒng)間隔地獲取解碼出來(lái)的圖片，可以從每秒處理25幀圖片降為每秒n幀圖片，n小于25，系統(tǒng)每秒需要處理的圖片就減少了。因此，間隔地獲取圖片可以降低系統(tǒng)的開(kāi)銷和壓力。

特征提取步驟：系統(tǒng)對(duì)每張圖片進(jìn)行人臉檢測(cè)，可以得到人臉框在圖片中的位置，再對(duì)每個(gè)人臉框進(jìn)行特征提取，即系統(tǒng)要對(duì)一張圖片進(jìn)行特征提取，首先對(duì)圖片進(jìn)行人臉檢測(cè)，得到多個(gè)[top,left,bottom,right]的人臉框坐標(biāo)，表示人臉在圖片中的具體位置，然后對(duì)這些人臉框進(jìn)行特征提取，所提取到的特征是一個(gè)多維向量。

特征比對(duì)步驟：將提取的特征與人臉庫(kù)中存儲(chǔ)的特征進(jìn)行比對(duì)，每個(gè)人臉獲得相對(duì)應(yīng)的兩個(gè)k維向量<id1,id2,id3,…,idk>和<score1,score2,…,scorek>，分別表示在人臉庫(kù)中最相似的k個(gè)人的id以及相似度，每張圖片獲得兩個(gè)m*k的矩陣，其中，m為該幀圖片中的人數(shù)，即若圖片中有m個(gè)人臉，得到了m個(gè)坐標(biāo)[top,left,bottom,right]，在對(duì)人臉進(jìn)行特征提取并將特征向量與人臉庫(kù)比對(duì)，將得到了m個(gè)<id,id2,id3,...,idk>和m個(gè)<score1,score2,...,scorek>。

判定步驟：根據(jù)同一視頻流解碼出來(lái)的圖片，根據(jù)比對(duì)結(jié)果中id出現(xiàn)的概率得到候選人集；再根據(jù)候選人集中id在不同視頻流解碼出來(lái)的圖片中的概率確定嫌疑人id。

判定步驟具體為：在同一視頻流解碼出來(lái)的圖片中，得到當(dāng)前圖片的比對(duì)結(jié)果與前n-1幀圖片的比對(duì)結(jié)果，對(duì)于同一個(gè)人臉來(lái)說(shuō)，若對(duì)比結(jié)果中某個(gè)id的相似度大于給定閾值s1并且在n幀圖片的比對(duì)結(jié)果中出現(xiàn)的次數(shù)超過(guò)閾值x1，則將該id設(shè)置為該人臉的候選人；然后在不同視頻流解碼出來(lái)的圖片中，若存在同一個(gè)id的相似度大于給定閾值s2并且在多幀圖片的比對(duì)結(jié)果中出現(xiàn)的次數(shù)超過(guò)閾值x2，將id概率最大且對(duì)應(yīng)相似度之和最大的人臉判定為該嫌疑人。

其中，x1、x2均為大于1的自然數(shù)，s1、s2可取相等的值。

本方法基于的系統(tǒng)具有多個(gè)videogateway服務(wù)器和多個(gè)人臉庫(kù)服務(wù)器以及判定服務(wù)器，每個(gè)videogateway服務(wù)器可接收多個(gè)攝像頭所發(fā)出的視頻流。系統(tǒng)間隔地獲取圖片,得到當(dāng)前圖片與其前n-1幀圖片，對(duì)于圖片中某個(gè)人來(lái)說(shuō)，則具有n個(gè)topk比對(duì)結(jié)果的向量。如果一個(gè)人真實(shí)身份出現(xiàn)在topk結(jié)果的概率為p，概率p即為人臉比對(duì)的精確度。因?yàn)橐粋€(gè)人臉具有n個(gè)比對(duì)結(jié)果，如果該人是嫌疑人，且嫌疑人id出現(xiàn)在一個(gè)比對(duì)結(jié)果的概率是p，n個(gè)比對(duì)結(jié)果就可以看成是n次獨(dú)立重復(fù)事件，每次該人臉確定為嫌疑人的概率就為p，則相當(dāng)于對(duì)一個(gè)實(shí)驗(yàn)進(jìn)行了n次，而隨著實(shí)驗(yàn)次數(shù)的增多，事件出現(xiàn)的頻率會(huì)逐漸穩(wěn)定。如果同一個(gè)人在n幀圖片的匹配結(jié)果中，某嫌疑人id出現(xiàn)的次數(shù)大于閾值x且相似度大于閾值s，則我們則認(rèn)為該嫌疑人為此人的候選人。若在多個(gè)攝像頭中存在同一個(gè)嫌疑人id都滿足上述條件，取px最大且對(duì)應(yīng)相似度之和最大的人臉判定為該嫌疑人。

如：假設(shè)人臉識(shí)別的精度為80％，當(dāng)n取3，x1和x2取2，s1和s2取80％，在攝像頭1中獲取的當(dāng)前幀中有一個(gè)人臉a，a的n個(gè)比對(duì)結(jié)果的嫌疑人id和相似度分別為:

<id7,id1,id4>,<0.82,0.78,0.57>

<id1,id3,id5>,<0.83,0.61,0.58>

<id3,id1,id5>,<0.81,0.82,0.60>

其中id1出現(xiàn)的次數(shù)為3，但只有2次比對(duì)結(jié)果中相似度是大于80％，我們則認(rèn)為id1在a的n個(gè)比對(duì)結(jié)果中出現(xiàn)了2次，其相似度之和為0.83+0.82＝1.65。id1出現(xiàn)的次數(shù)大于x1規(guī)定的值，取id1為a的候選人，若此時(shí)攝像頭2中的人臉b的n個(gè)比對(duì)結(jié)果中，id1也出現(xiàn)了2次，大于x2規(guī)定的值，我們則認(rèn)為id1也為b的候選人，最后我們通過(guò)id1在a和b出現(xiàn)的次數(shù)和相似度之和來(lái)確定a為嫌疑人id1還是b為嫌疑人id1。

在這個(gè)例子中，如果通過(guò)一次檢測(cè)和對(duì)比我們會(huì)得出a為id7，這很可能是人臉識(shí)別的一次誤判，而因?yàn)殡S著實(shí)驗(yàn)次數(shù)的增多，事件出現(xiàn)的頻率會(huì)逐漸穩(wěn)定，通過(guò)多次檢測(cè)和比對(duì)，我們減少系統(tǒng)的誤判，提高系統(tǒng)判別的穩(wěn)定性和可靠性。

實(shí)施例2

一種面向高噪聲的運(yùn)動(dòng)軌跡判別方法，包括采用實(shí)施例1的人臉識(shí)別方法識(shí)別嫌疑人，嫌疑人身份確認(rèn)后，根據(jù)嫌疑人id記錄該嫌疑人id、所在的攝像頭以及嫌疑人出現(xiàn)在該攝像頭的時(shí)間戳，跟蹤模塊通過(guò)人臉框坐標(biāo)和人臉特征對(duì)嫌疑人進(jìn)行跟蹤，當(dāng)嫌疑人離開(kāi)攝像頭時(shí)，記錄嫌疑人離開(kāi)該攝像頭的時(shí)間戳，這里我們就可以得到一個(gè)嫌疑人在某攝像頭的出現(xiàn)和離開(kāi)的時(shí)間，得到嫌疑人的出現(xiàn)的時(shí)間區(qū)域，能夠準(zhǔn)確地反饋嫌疑人的位置信息及實(shí)時(shí)軌跡。當(dāng)跟蹤模塊對(duì)某一個(gè)攝像頭的嫌疑人進(jìn)行跟蹤時(shí)，其他的攝像頭并行地通過(guò)實(shí)施例1的方法來(lái)判別是否存在其他嫌疑人，若存在另一個(gè)嫌疑人，跟蹤模塊又對(duì)該攝像頭的嫌疑人進(jìn)行跟蹤，并記錄嫌疑人id、所在攝像頭及時(shí)間戳。當(dāng)嫌疑人離開(kāi)攝像頭時(shí)，則系統(tǒng)將對(duì)攝像頭根據(jù)人臉識(shí)別方式重新獲取嫌疑人，該嫌疑人可能與前一個(gè)獲取到嫌疑人不同。以此類推，系統(tǒng)得到了不同嫌疑人出現(xiàn)的攝像頭和時(shí)間戳，從而計(jì)算出各嫌疑人的運(yùn)動(dòng)軌跡和活動(dòng)范圍。

如：在攝像頭1中判別出嫌疑人a，則記錄嫌疑人a的id、所在攝像頭及時(shí)間戳：<嫌疑人a的id，攝像頭1，出現(xiàn)時(shí)間戳，離開(kāi)時(shí)間戳或者為0>。離開(kāi)時(shí)間戳為0表示嫌疑人a還在攝像頭1中。在跟蹤模塊對(duì)嫌疑人a進(jìn)行跟蹤時(shí)，在攝像頭2中又判別出嫌疑人b，則記錄嫌疑人b的id、所在攝像頭及時(shí)間戳：<嫌疑人b的id，攝像頭2，出現(xiàn)時(shí)間戳，離開(kāi)時(shí)間戳或者為0>。跟蹤模塊同時(shí)對(duì)嫌疑人b進(jìn)行跟蹤。當(dāng)嫌疑人離開(kāi)攝像頭1時(shí)，記錄離開(kāi)時(shí)間戳，并系統(tǒng)對(duì)攝像頭1重新根據(jù)權(quán)利要求1的方法來(lái)獲取嫌疑人。當(dāng)攝像頭3判別出了嫌疑人a，則記錄嫌疑人id，所在攝像頭和時(shí)間戳。至此，我們得到：

<嫌疑人a的id，攝像頭1，出現(xiàn)時(shí)間戳，離開(kāi)時(shí)間戳>

<嫌疑人a的id，攝像頭3，出現(xiàn)時(shí)間戳，0>

<嫌疑人b的id，攝像頭2，出現(xiàn)時(shí)間戳，0>

該運(yùn)動(dòng)軌跡判別方法針對(duì)多個(gè)目標(biāo)進(jìn)行，可以實(shí)時(shí)地得到各目標(biāo)的運(yùn)動(dòng)軌跡和活動(dòng)范圍。

本發(fā)明就是致力于在高噪聲的情況下，定位出嫌疑人的運(yùn)動(dòng)軌跡。本發(fā)明可以廣泛地應(yīng)用于公安部門(mén)，警察可從實(shí)時(shí)監(jiān)控視頻中搜索出犯罪嫌疑人的運(yùn)動(dòng)軌跡及活動(dòng)范圍，可幫助警察獲得個(gè)人/團(tuán)體作案信息。

以上所述的具體實(shí)施方式，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。