本發(fā)明涉及智能視頻分析技術(shù)領(lǐng)域，更具體地，涉及一種基于混合LBF(Local Binary Features，局部二值特征)形狀回歸模型的挖掘機工作狀態(tài)識別方法。

背景技術(shù)：

我國土地資源日益嚴峻，各類違法用地案件也呈多發(fā)頻發(fā)態(tài)勢，國土資源部高度重視土地執(zhí)法監(jiān)察工作。2011年，國土資源部在15個地級市、縣(市、區(qū))開展土地視頻監(jiān)控試點，對重點違法用地易發(fā)區(qū)域進行了視頻監(jiān)控。挖掘機是工程建設(shè)中最主要的工程機械之一，土地間的挖掘機工作狀態(tài)的準確自動識別，是及時發(fā)現(xiàn)違法用地現(xiàn)象的重要手段。另外，挖掘機工作狀態(tài)的自動識別，可為工程項目管理人員及時提供施工現(xiàn)場的重要管理信息。

對于挖掘機工作狀態(tài)監(jiān)控，中國專利公開了“一種挖掘機工作狀態(tài)遠程監(jiān)控裝置”(專利公開號：CN201716836U)，提供了一種使用角速度傳感器監(jiān)控挖掘機工作狀態(tài)的遠程監(jiān)控裝置；“一種基于圖像的露天礦挖掘機裝車過程的監(jiān)控方法和裝置”(專利公開號：CN 102244771B)，利用DSP對接收到的數(shù)字圖像信息和角度測量信息進行對比、匹配處理和計算，得出相應的監(jiān)控結(jié)果。這些專利均需利用角速度傳感器采集挖掘機關(guān)鍵的角度，不僅要增加挖掘機硬件裝置，而且在違法用地監(jiān)控等應用中由于施工者逃避監(jiān)測難以獲取挖掘機角速度傳感器的信息。因此，提供一種利用智能視頻分析自動識別挖掘機工作狀態(tài)的方法是非常有必要的。

近年，LBF形狀回歸模型在人臉關(guān)鍵點檢測、人臉對齊中越來越顯現(xiàn)出其優(yōu)越性。如，一種基于LBP的人臉特征提取方法及裝置(CN 103761515A)，一種魯棒的基于人臉形狀回歸模型的多姿態(tài)疲勞監(jiān)測方法(CN104298963A)、一種基于級聯(lián)回歸的人臉關(guān)鍵點定位方法(CN103824050A)。而LBF形狀回歸模型在其它目標對象特征點檢測的研究目前極少。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提出一種基于混合LBF形狀回歸模型的挖掘機工作狀態(tài)識別方法。本發(fā)明是利用混合LBF形狀回歸模型預測挖掘機形狀(即特征點的相對坐標的集合)，計算挖掘機工作狀態(tài)特征描述子，用SVM分類器進行二分類，從而判斷出當前挖掘機的工作狀態(tài)——工作狀態(tài)或者非工作狀態(tài)。

為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

一種基于混合LBF形狀回歸模型的挖掘機工作狀態(tài)識別方法，包括以下步驟：

S1.訓練一個混合LBF形狀回歸模型，并使用此模型來預測輸入視頻幀中挖掘機的形狀(即特征點的相對坐標的集合)；

S2.根據(jù)挖掘機的長寬比及S1獲得的特征點坐標，計算挖掘機工作狀態(tài)特征描述子；

S3.利用SVM分類器識別挖掘機的工作狀態(tài)——工作狀態(tài)或者非工作狀態(tài)。

本發(fā)明將LBF形狀回歸模型引入挖掘機特征點檢測中，進而提出基于混合LBF形狀回歸模型的挖掘機工作狀態(tài)識別方法，對提高挖掘機等施工機械智能化監(jiān)管水平意義重大。

優(yōu)選地，所述步驟S1具體為：1)計算該挖掘機的長寬比，根據(jù)長寬比把挖掘機分為N類，將該挖掘機歸一化到該類挖掘機對應的尺寸SIZE；2)分別針對每一類挖掘機訓練相應的LBF_n(n＝1,2,…，N)模型，形成混合LBF形狀回歸模型；3)使用該混合LBF模型，對輸入視頻中的挖掘機進行形狀S*預測。

優(yōu)選地，所述步驟S2具體為1)根據(jù)兩幀關(guān)鍵幀圖像中挖掘機的長寬比WHRatio₀和WHRatio₁，計算挖掘機長寬比的變化：ΔWHRatio＝|WHRatio₁-WHRatio₀|；2)依據(jù)S1中獲得的特征點，計算反應回轉(zhuǎn)臂、鏟斗柱、鏟斗和機身旋轉(zhuǎn)四種因素變化的關(guān)鍵夾角變化ΔAngle；3)將長寬比的變化ΔWHRatio和夾角的變化ΔAngle串聯(lián)起來作為挖掘機工作狀態(tài)的特征描述子MMF(Machine Motion Feature)，即MMF＝[ΔWHRatio,ΔAngle]描述挖掘機的運動特征。

優(yōu)選地，所述步驟S4具體為：使用SVM的方法進行二分類，從而判斷出當前挖掘機的工作狀態(tài)——工作狀態(tài)或者非工作狀態(tài)。

本發(fā)明的有益效果是：

1、本發(fā)明將用于人臉對齊的LBF形狀回歸模型引入挖掘機工作狀態(tài)識別，通過對視頻幀中挖掘機的形狀(即特征點的相對坐標的集合)預測，為挖掘機工作狀態(tài)的特征描述子構(gòu)建提供精確的信息，也為感興趣目標運動分析提供新的解決方法。

2、本發(fā)明能對土地間的挖掘機工作狀態(tài)進行準確地自動識別，是及時發(fā)現(xiàn)違法用地現(xiàn)象的重要手段。

附圖說明

圖1是本發(fā)明基于混合LBF形狀回歸模型的挖掘機工作狀態(tài)識別方法的流程圖。

圖2是挖掘機4個特征點構(gòu)成的形狀特征示意圖。

圖3是挖掘機工作狀態(tài)關(guān)鍵夾角變化示意圖。

圖4是局部二值特征的提取過程圖：圖4(a)是挖掘機某一特征點的局部二值特征具體的提取過程流程圖，圖4(b)是挖掘機所有特征點局部二值特征的提取過程流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明做進一步的描述，但本發(fā)明的實施方式并不限于此。

如圖1，本發(fā)明分為離線學習階段和在線識別工作階段：

S1、學習階段時，準備挖掘機訓練，訓練挖掘機的混合LBF形狀回歸模型，利用形狀特征計算變化角度，構(gòu)造挖掘機工作狀態(tài)的特征描述子MMF(Machine Motion Feature)，訓練以MMF為輸入的挖掘機工作狀態(tài)識別的SVM分類器。

S11：挖掘機數(shù)據(jù)集準備。

實驗中，采用DPM(可變形部件模型)檢測模型，進行視頻序列中挖掘機檢測，將檢測出的3000張挖掘機圖像序列保存下來，作為此實驗的素材。對于每一張挖掘機圖像，手工標注4個特征點(如圖2中的白色圓心點)，來刻畫挖掘機機身的旋轉(zhuǎn)以及回轉(zhuǎn)臂、鏟斗柱與鏟斗的變化，這4個特征點的相對坐標即為挖掘機形狀S。并對視頻段中挖掘機工作/非工作狀態(tài)進行標注。

S12：訓練一個混合LBF形狀回歸模型。

S121：LBF模型需要統(tǒng)一尺寸。為克服LBF模型對挖掘機歸一化過程中造成形變、導致魯棒性較差的問題，本發(fā)明根據(jù)挖掘機外接矩形長寬比把挖掘機分為N類，然后在每一類上分別訓練一個LBF_n(n＝1,2,…，N)模型，再將這N個LBF_n模型集成為混合LBF模型。在本實施例中，N＝3，將挖掘機外接矩形長寬比小于1.2的部分歸一化到統(tǒng)一尺寸(80,100)；長寬比大于等于1.2且小于2.0的部分歸一化到統(tǒng)一尺寸(160,100)；長寬比大于等于2.0部分歸一化到統(tǒng)一尺寸(220,100)。

分別訓練3類LBF₁、LBF₂和LBF₃模型，在S122步驟中，由于這3類模型構(gòu)建方法相同，為了便于表達，用LBF表示LBF_n。

S122：為獲得挖掘機形狀特征，利用給定的初始形狀S⁰，將上一步迭代的形狀S^t-1加上當前形狀增量作為當前形狀S^t，當前形狀增量ΔS^t計算公式：

ΔS^t＝W^tΦ^t(I,S^t-1)， (1)其中I表示輸入的圖像，Φ^t和W^t分別表示第t迭代的特征映射函數(shù)和線性回歸矩陣。接著，不斷重復以上步驟直到形狀S達到要求。要構(gòu)建LBF模型，則要訓練訓練Φ^t和W^t，具體步驟：

(1)對于上一階段的形狀S^t-1特征點相對坐標集合，分別以各個特征點為中心選取半徑r的圓形局部區(qū)域(附圖4中實心圓圈內(nèi)部分)，然后在該區(qū)域內(nèi)隨機選取的兩個像素點(圖4(a)中的A和B)來計算對應的像素差特征{I(x₁,y₁)-I(x₂,y₂)|(x₁,y₁),(x₂,y₂)∈Ω}，其中Ω表示該特征點局部區(qū)域。

(2)對于每個特征點的局部區(qū)域，為了由兩個像素點像素差，預測當前實際的形狀增量(即特征點相對坐標的偏移值)，分別獨立使用隨機森林方法學習局部特征映射函數(shù)其隨機森林訓練的目標函數(shù)為：

其中，I_i表示第i張訓練樣本，操作π_l表示提取向量中元素，表示在第i張訓練樣本中提取第l個特征點的實際二維偏移值。如表示在第2張訓練樣本中提取出第3個特征點的相對橫坐標和縱坐標實際偏移值。

對已訓練成功的隨機森林的每一棵決策樹中，各非葉節(jié)點為像素差最佳分割點；各葉節(jié)點中都存儲了一個二維偏移向量。

(3)在特征點形狀特征提取時，每個特征點的局部區(qū)域中，隨機選取兩個像素點的像素差在訓練得到的隨機森林中的每棵決策樹上進行遍歷，直到到達每棵樹的一個葉節(jié)點。隨機森林的輸出就是存儲在這些葉節(jié)點的二維偏移值之和。假設(shè)葉節(jié)點的總數(shù)為D，那么輸出可表示為：

其中是一個2×D的矩陣，其每一列是存儲在相應葉節(jié)點上的二維偏移向量；而則為D維的二值向量。對于中每一維來說，如果輸入樣本可到達某葉節(jié)點，它的值就為1，反之則為0。中非零的數(shù)目與隨機森林中決策樹的個數(shù)相同，稱為“局部二值特征”。

局部二值特征的提取步驟(附圖4)：圖4(a)每一個局部特征映射函數(shù)將其對應的局部區(qū)域編碼為一個二值特征，然后將所有的局部二值特征組合起來構(gòu)成一個高維的二值特征。圖4(b)在所有特征點上，使用隨機森林作為局部映射函數(shù)，并根據(jù)樣本遍歷的情況獲得對應的D維的局部二值特征。

(4)將局部二值特征組合起來構(gòu)成一個全局二值特征Φ^t，并通過回歸學習的方式獲得一個全局線性回歸模型W^t。其優(yōu)化目標函數(shù)是關(guān)于W^t的二次函數(shù)：

其中第一部分是回歸的目標，第二部分在W^t上做L₂規(guī)則化，λ則是控制規(guī)則化強度的參數(shù)。全局二值特征Φ^t的維度很高，為避免過學習，必須進行規(guī)則化處理。對于挖掘機4個特征點來說，Φ^t的維度可能達到10K+。此外，該全局二值特征是高度稀疏的，所以使用雙坐標下降法進行全局最優(yōu)，獲得W^t。所有階段的特征映射函數(shù)Φ＝[Φ¹,…,Φ^T]以及全局線性回歸矩陣W＝[W¹,…,W^T]構(gòu)成一個LBF模型，即LBF＝{Φ,W,S}。

(5)對輸入挖掘機圖像序列，利用公式(1)計算ΔS^t，將ΔS^t與第t-1次迭代的特征點相對坐標S^t-1相加得到第t迭代特征點相對坐標S^t，最終獲得挖掘機的預測形狀S^*(即特征點的相對坐標的集合)。

S123、根據(jù)這些特征點的坐標以及檢測到的挖掘機的長寬比，計算挖掘機工作狀態(tài)特征描述子，具體過程為：

1)根據(jù)兩幀關(guān)鍵幀圖像中挖掘機外接矩形的長寬比WHRatio₀和WHRatio₁，計算挖掘機長寬比的變化：ΔWHRatio＝|WHRatio₁-WHRatio₀|；2)依據(jù)步驟S122中獲得的特征點的相對坐標，計算反應回轉(zhuǎn)臂、鏟斗柱、鏟斗和機身旋轉(zhuǎn)四種因素變化的關(guān)鍵夾角變化(見附圖2)，其中，上角標i表示不同的角度，下角標j表示不同的關(guān)鍵幀；3)將長寬比的變化ΔWHRatio和夾角的變化ΔAngle，串聯(lián)起來作為挖掘機工作狀態(tài)的特征描述子MMF(Machine Motion Feature)，即MMF＝[ΔWHRatio,ΔAngle]描述挖掘機的運動特征。

S124、以挖掘機工作狀態(tài)的特征描述子MMF為輸入，以挖掘機工作/非工作狀態(tài)為輸出，訓練SVM分類器，從而判斷出當前挖掘機的工作狀態(tài)——工作狀態(tài)或者非工作狀態(tài)。其中，SVM選擇了C_SVC類型、RBF核函數(shù)。其中，C_SVC的參數(shù)C設(shè)置為10，RBF的參數(shù)gamma則設(shè)置為8.0。

S2、工作階段時(附件圖1中的在線識別)，對采集到的挖掘機視頻序列，利用S1訓練得到的LBF模型計算局部二值特征，預測當前實際的形狀增量計算挖掘機工作狀態(tài)的特征描述子MMF，將MMF輸入到SVM分類器中，獲得挖掘工作/非工作狀態(tài)。

下面說明本發(fā)明的實驗結(jié)果：

本實驗中，分別采用ΔWHRatio、ΔAngle和MMF＝[ΔWHRatio,ΔAngle]三種特征描述子分別對20段挖掘機視頻片段進行挖掘機運動狀態(tài)識別，這20段視頻包括挖掘機靜止、行駛和挖掘工作，每段視頻為5分鐘。具體的實驗結(jié)果如表1所示。表1中的準確率指的是測試集中挖掘機處于工作狀態(tài)和非工作狀態(tài)兩情況的片段的正確識別數(shù)占測試集總數(shù)的百分比。從表1可以看到，使用ΔAngle特征描述子時，其準確率達到92.66％，這遠高于采用ΔWHRatio特征描述子62.80％的準確率。實驗表明，利用混合LBF模型進行挖掘機形狀S*(即特征點的相對坐標的集合)預測，可獲取反應回轉(zhuǎn)臂、鏟斗柱、鏟斗和機身旋轉(zhuǎn)四種因素變化的關(guān)鍵夾角變化ΔAngle，該ΔAngle對挖掘機運動狀態(tài)的描述能力比使用ΔWHRatio挖掘機長寬比的變化差值更強。而且，采用MMF特征描述子比采用ΔAngle特征描述子的準確率提高了0.87％，高達93.53％。因此，本發(fā)明方法能對土地間的挖掘機工作狀態(tài)進行準確地自動識別。

表1 挖掘機工作狀態(tài)識別結(jié)果統(tǒng)計表

以上所述的本發(fā)明的實施方式，并不構(gòu)成對本發(fā)明保護范圍的限定。任何在本發(fā)明的精神原則之內(nèi)所作出的修改、等同替換和改進等，均應包含在本發(fā)明的權(quán)利要求保護范圍之內(nèi)。