專利名稱：一種針對感興趣區域的反饋式行人檢測方法
技術領域：
本發明涉及智能監控技術領域，特別涉及智能視頻監控系統中的行人檢測。
背景技術：
行人檢測是物體檢測的重要分支，是近年來計算機視覺領域備受關注的前沿方向和研究熱點。它在智能監控系統、駕駛員輔助系統、運動分析、高級人機接口等眾多領域擁有廣泛的應用前景，作為保障汽車、行人安全的一種主動安全手段，已成為產業界和研究界共同關注的一個研究熱點。近年來，通過研究人員不懈的研究，行人檢測領域涌現了大量優秀的算法，將行人檢測的精度一次又一次地提高，向著實用的方向不斷邁進。當前行人檢測的研究較之以前已經取得了很大的進步，但是依然沒有找到一種可以在實際環境中進行大規模應用的方法。這主要是因為行人檢測作為物體檢測的一個特例有其特殊性，例如行人的多樣性，街道周圍的復雜背景等。從研究的切入點來看，當前的研究方法大致可分為三類第一類是基于特征的方法。這類方法致力于找到一種特征，能夠完美地描述人體，并且盡量不受背景、光照、姿勢的影響，在各種條件下都能將行人和背景區分開；第二類是基于多部位的方法。這類方法致力于解決人體的非剛性以及遮擋對外觀的影響，將人體的變化分解為各個部位的變化，采取各個擊破的方式，分而治之,通過對人體的各個部位的檢測來完成對整個人體的檢測;第三類是基于多視角的方法，這類方法側重于解決在不同視角下行人外觀上的差異。當前的主流研究方向是從機器學習角度出發，從大量的訓練樣本中自動抽取特征，建立人體模型，把行人檢測問題化為一個模式分類的問題。盡管行人檢測已經取得了很大的突破，但距離真正的大規模實用化依然非常遙遠，還有很多問題沒有解決，需要我們不懈地努力與探索。主要難點有1)復雜的背景。由于人類活動范圍廣泛，生活環境不斷改變，因此圖片中的背景變化很大，這無形中就給人體檢測增加了難度，而且由于在圖像中，一般人體只占一少部分，因此背景的細微變化都會對檢測有很大的影響；2)人體姿勢各異。由于人是有關節的，在圖像中人的姿勢差異性很大， 有站，坐，蹲等等，而且著裝也大不相同，有長有短，這些都造成了人體這個類別本身的多變性，造成了對人體建模的困難；3)遮擋問題。一般在圖像當中，人體并不是完全暴露出來的，有可能被前面的物體遮擋，或者與他人有部分重疊，這些都造成了人體檢測的困難；4) 檢測速度。人體檢測是其他應用的前期和基本步驟，它要為后續工作節約時間，因此對人體檢測的速度提出了很高的要求，盡量能夠達到實時的要求，否則很難把它應用的實際的系統中；5)尺度問題。我們知道人體有高、有低，距離攝像機的遠近，也會造成人體大小變化， 會造成在圖像或視頻中人體的尺度范圍變化很大。所以作為人體檢測系統應當能夠處理尺度問題。只有解決了以上問題，行人檢測才能達到令人滿意的效果。行人檢測的關鍵是快速、準確地檢測到行人
發明內容
一種針對感興趣區域反饋式行人檢測方法，能夠魯棒地應對變化環境中的行人檢測。本發明結合離線行人分類和在線跟蹤方法，一方面，離線行人分類結果不僅能為在線行人跟蹤提供初始化信息，實現跟蹤的自動初始化，而且可以作為在線分類器的訓練新樣本， 進而更新優化在線行人分類器，這樣在線跟蹤分類器就可以隨著目標和背景的變化而得以更新。另一方面，在線行人跟蹤的結果作為下一幀離線行人分類的感興趣區域，從而有效降低檢測窗口的掃描范圍和特征維數。因此，本發明既能應對環境動態的變化又能反映感興趣人體區域，不僅能提高行人檢測速度和準確性，而且能有效應對變化場景。本發明方法包括以下步驟步驟1，正負樣本圖像特征的提取采用MIT和INTRA行人數據庫作為訓練庫樣本，提取圖正負樣本的特征向量，其步驟為1)在每個像素上計算圖像的梯度；2)將梯度投影到每個最小單位矩形中，并計算梯度方向；3)在塊內對最小單位矩形中的梯度進行歸一化處理；4)利用AdaBoost選擇大小不同的塊結構，將檢測窗口中的塊中的梯度向量級聯形成最后的圖像特征向量，其中檢測窗口大小將與離線行人分類器的正樣本相同；步驟2，離線行人分類器設計和訓練離線行人分類器采用AdaBoost分類算法選擇大小不同的塊結構特征向量，將選擇的特征向量作為篩選出來的特征作為支持向量機特征輸入，訓練離線行人分類器；步驟3，將獲取的視頻圖像幀(原始圖像)按照雙線性內插法縮放成一系列的待測圖像；步驟4，用檢測窗口從左上到右下掃描不同尺度下的待測圖像，在檢測窗口提取圖像的方向梯度直方圖，其步驟包括1)在每個像素上計算圖像的梯度；2)將梯度投影到每個最小單位矩形中，并計算梯度方向；3)在塊內對最小單位矩形中的梯度進行歸一化處理；4)利用AdaBoost選擇大小不同的塊結構，將檢測窗口中的塊中的梯度向量級聯形成最后的圖像特征向量，其中檢測窗口大小將與離線行人分類器的正樣本相同；步驟5，用訓練好的離線行人分類器在待測窗口中判定行人，給出行人候選區域， 然后用非最大值抑制法融合不同尺度下待測圖像中行人候選區域，最后給出原始圖像中行人分類結果； 步驟6，將離線行人分類的行人結果輸入到在線跟蹤模塊，對在線跟蹤模塊進行初始化，在線跟蹤模塊將離線行人分類結果作為新的正樣本，將行人以外的其他區域作為負樣本重新訓練在線分類器，從而更新優化在線分類跟蹤。然后在新場景中給出跟蹤預測結果;步驟8，將離線分類行人結果和跟蹤結果綜合分析給出最終的行人檢測結果，對離線行人分類結果的集合和跟蹤結果的集合作集合運算，同時結合它們各自的分類預測值最終給出行人檢測結果。將跟蹤預測及行人檢測結果反饋到離線行人分類模塊中；步驟9，對行人檢測結果進行后續處理；


為了更清楚地說明本發明實施例，下面將對本發明實施例描述中所需要使用的附圖作簡單的介紹，顯然地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動前提下，還可以根據這些附圖獲得的更多的附圖。
附圖I是本發明針對感興趣區域的反饋式行人檢測的流程圖；附圖2是本發明中在線跟蹤模塊在線分類器實現的流程圖；附圖3是本發明中離線行人分類器實現的流程圖。
具體實施例方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述。顯然，所描述的實例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護范圍。附圖I是本發明針對感興趣區域反饋式行人檢測方法的流程圖。該方法包括S101、獲取視頻幀圖像(原始待測圖像)；此處圖像可以是從存儲的視頻文件中獲得，也可以從攝像機直接獲得。由于光照和天氣情況影響，獲取的圖像亮度會有很大的差別，需要對視頻圖像(原始待測圖像)進行亮度均衡；S102、對視頻圖像進行縮放處理；通過雙線性內插法將原始待測圖像縮放成一系列的大小尺度不同的待測圖像。Sr 為圖像尺度步進，首先初始化尺度開始尺度Ss = 1，，根據圖像大小和檢測窗口大小計算圖像結束尺度Se = min (WiZffn, Hi/Hn)，(Wi, Hi是圖像的寬度和高度，Wn, Hn是檢測窗口的寬度和高度)，然后計算尺度級數Sn Sn = Hooril0^s^ + I)
log CSV)那么圖像尺度Si = [Ss, SsSr, · · ·，SJ。S103、用檢測窗口掃描待測圖像并在檢測窗口中提取圖像的方向梯度直方圖；用檢測窗口從左上到右下掃描不同尺度下的待測圖像，同時在檢測窗口提取圖像的方向梯度直方圖，其步驟包括1)在每個像素上計算圖像的梯度，計算圖像梯度采用簡單的一維[_1，0，1]梯度算子，其效果最好；2)將梯度投影到每個最小單位矩形中，并將梯度方向在
度范圍內量化為9個單位；3)在塊內對最小單位矩形中的梯度進行歸一化處理，歸一化方法采用L2-norm;4)將檢測窗口中的塊中的梯度向量級聯形成最后的圖像特征向量，此特征向量將是離線行人分類器分類輸入；S104、用離線人體分類器在檢測窗口中判定行人；將在S103中檢測窗口中提取的圖像方向梯度直方圖輸入到離線人體分類器中， 分類器輸出標識I或-I (行人/非行人)和預測值，標出原始待測圖像行人候選區域。其中離線行人分類器的訓練樣本將采用目前比較流行的行人數據庫，附圖3是離線行人分類器的實現流程圖，其具體實現細節將在后面介紹；S105、對不同尺度下行人候選區域進行融合，標出行人在原始待測圖像中的位置區域，給出行人分類結果即行人位置區域ιγ··ιν··及預測值λ = {λι···λη···}；在原始圖像中行人可以可能在不同尺度下可能檢測出很多行人候選區域，這就要求將不同尺度下的行人候選區域進行融合，此處采用的是非最大值抑制算法對它們進行處理；
S106、在線分類跟蹤；在線分類器在新場景中分類跟蹤行人，給出跟蹤結果凡…!^…及預測值{μι··· μη···}。其中在線跟蹤模塊實現細節將在后面給出介紹，附圖2是在線跟蹤模塊的實現流程圖；S107、將離線行人分類和在線跟蹤結果綜合判定給出最終的行人檢測結果Pf·· Pn…；根據新場景中離線分類檢測結果集合r = {!γ..IV..}及預測值入={入丄…λ n···} 和新場景中跟蹤結果R= {IV"Rn}及預測值μ = {μι··· μη···}運算和比較結果給出最終的檢測結果。對于{iyrn···} n {IV··!^··}集合中的檢測結果確定為行人區域。而R_r 集合中的檢測結果是否是行人區域將由對應的預測值μ確定，即若μ <0.5，則將此檢測結果視為非行人區域，否則，將視為行人區域。對于r-R集合中的檢測結果，有兩種可能，一種是新的行人進入到場景中被離線行人分類器檢測到，另一種是離線分類器誤檢。對此處理辦法采用r-R集合對應的λ首先判定，即若λ >0.6，則將其視為行人區域；否則，采用 r-R集合中檢測結果的矩形區域坐標位置進行判決，若矩形區域處于圖像的邊緣將其視為非行人區域，若矩形區域不處于圖像的邊緣，則視為行人。這樣就確定了最終的行人檢測結果，輸出行人檢測結果的同時要把跟蹤預測和行人檢測結果反饋到離線分類檢測S103中，調整離線行人分類中圖像尺度變化級數Sn，同時確定S104中檢測窗口掃描的范圍，這些區域將作為下一幀圖像的行人檢測的感興趣區域。S108、給出行人檢測結果；根據上S107中輸出的行人檢測結果？廣乂…，在原始待測圖像幀中用不同顏色畫出行人區域，最后輸出視頻中行人檢測結果。附圖2是在線跟蹤模塊流程圖，各模塊功能描述如下S201、提取舊場景中的離線行人分類結果，對樣本進行特征提取；根據前η幀(I1,…In)行人檢測結果IV·· IV··分別作為在線跟蹤模塊的正樣本， 其周圍的非行人區域作為負樣本，把樣本區域內的像素集合IxJ表示成一個特征向量，采用特征用方向直方圖。先把屬于行人目標的樣本點標記為正樣本，把屬于背景的樣本點標記為負樣本，這樣，樣本點集合IxJ標記為{yj，對于二分類就是71取值為+1或-I。S202、設計和訓練級聯分類器；在線跟蹤分類器采用級聯分類器，方法是，每幀都采用支持向量機作為分量分類器，從而得到一組不同合適精度的支持向量機分類器，然后用AdaBoost 方法將它們組合成為一個強分類器，此處支持向量機核函數選用徑向基函數
權利要求
1.一種針對感興趣區域的反饋式行人檢測方法，其特征在于，采用離線行人分類和在線跟蹤相結合的方法，一方面，離線行人分類結果不僅能為在線行人跟蹤提供初始化信息， 實現跟蹤的自動初始化，而且可以作為在線分類器的訓練樣本，更新優化在線行人分類器， 這樣在線跟蹤分類器就可以隨著目標和背景的變化而得以更新，從而適應環境的變化；另一方面，在線行人跟蹤的結果作為下一幀離線行人分類的感興趣區域，從而有效降低檢測窗口的掃描范圍和特征維數，所述方法步驟包括.1)正負樣本圖像特征提取；.2)離線行人分類器的設計與訓練；.3)讀取視頻圖像幀；.4)將獲取的視頻圖像(原始圖像)縮放成一系列不同尺度的待測圖像；.5)在檢測窗口范圍內提取圖像特征；.6)用檢測窗口掃描尺度不同的待測圖像，同時用訓練好的離線行人分類器在待測窗口中判定行人，給出行人候選區域，然后融合不同尺度待測圖像中行人候選區域，最后給出原始圖像中行人分類結果；.7)將離線行人分類的結果輸入到在線跟蹤模塊，更新優化在線分類器；.8)綜合離線分類行人結果和在線跟蹤結果，給出行人檢測結果；.9)行人檢測結果反饋到離線行人分類模塊。
2.根據權利要求I所述方法，其特征在于，所述圖像特征提取方法中采用圖像的方向梯度直方圖作為特征，選擇可變大小的塊結構，其方向梯度直方圖提取步驟包括1)在每個像素上計算圖像的梯度；2)將梯度投影到每個最小單位矩形中，并計算梯度方向；3)在塊內對最小單位矩形中的梯度進行歸一化處理；4)利用AdaBoost選擇大小不同的塊結構， 將檢測窗口中的塊中的梯度向量級聯形成最后的圖像特征向量，其中檢測窗口大小將與離線行人分類器的正樣本相同。
3.根據權利要求I所述方法，其特征在于，步驟2)離線行人分類器采用線性支持向量機分類器算法，將圖像特征向量作為支持向量機的特征輸入，通過訓練獲得離線行人分類器。
4.根據權利要求I所述方法，其特征在于，步驟4)采用雙線性內插法將原始待測圖像縮放成一系列的不同尺度的待測圖像。
5.根據權利要求I所述方法，其特征在于，步驟6)給出的行人分類結果是融合不同尺度下的待測圖像中行人候選區域，輸出的行人分類結果是行人區域的大小、位置及離線行人分類給出的預測值。
6.根據權利要求I所述方法，其特征在于，步驟7)利用離線行人分類結果完成在線跟蹤模塊的初始化，標出跟蹤區域并提取樣本特征向量，選取場景中的訓練樣本集合，此樣本集合是由離線行人分類結果的集合和在線跟蹤結果的集合通過集合運算而獲得。
7.根據權利要求I所述方法，其特征在于，步驟8)對離線分類行人結果和跟蹤結果進行綜合分析，分析方法為將離線行人分類結果集合與跟蹤結果集合作集合運算，同時結合它們各自的分類預測值給出最終的行人檢測結果。
8.根據權利要求I所述方法，其特征在于，步驟9)反饋到離線行人分類中的行人檢測結果是跟蹤預測區域的大小和位置。
9.根據權利要求5所述方法，其特征在于，采用非最大值抑制法對不同尺度下的行人候選區域進行融合。
10.根據權利要求6所述方法，其特征在于，在線分類器的更新和優化是通過結合支持向量機與AdaBoost算法達到的。
全文摘要
本發明提供了一種針對感興趣區域的反饋式行人檢測方法，其步驟包括1、讀取視頻圖像幀；2、將獲取的視頻圖像縮放成一系列的不同尺度待測圖像；3、在檢測窗口內提取圖像特征；4、用檢測窗口掃描尺度不同的待測圖像，同時用訓練好的離線行人分類器在待測窗口中判定行人候選區域，然后融合不同尺度下待測圖像中行人候選區域，最后給出原始圖像中行人分類結果；5、將離線行人分類的結果輸入到在線跟蹤模塊，更新優化在線分類器；6、離線分類行人結果和在線跟蹤結果綜合給出行人檢測結果；7、行人檢測結果反饋到離線行人分類模塊中。本發明既能應對環境的變化又能反映感興趣人體區域，因此能魯棒地對變化場景中的行人進行檢測。
文檔編號G06K9/62GK102609682SQ20121000983
公開日2012年7月25日 申請日期2012年1月13日 優先權日2012年1月13日
發明者李紅梅, 紀越峰, 顧仁濤 申請人:北京郵電大學