本發明涉及的是一種移動目標跟蹤裝置。本發明也涉及的是一種移動目標跟蹤方法。具體地說是一種智能監控裝置及目標跟蹤方法。

背景技術：

視頻監控技術由攝像部分、圖像傳輸部分、系統控制部分和顯示記錄部分組成，應用于社會的很多場所。其通過對攝像機采集到的圖像進行特定的處理以發揮應用價值。近幾年來，伴隨著計算機技術、網絡技術、存儲技術和芯片技術的進步和迅速發展，尤其是流媒體服務技術在監控系統中得應用，使得有線和無線遠程視頻技術取得了重要的突破，在社會的公共場所得到了廣泛的使用，為遏制犯罪、提供證據、保護人民財產等方面做出了突出的貢獻。

例如在住宅中，根據數字視頻監控系統的設計標準和要求，對整個進行安防布控，包括具體的監控點位、傳輸模式、視頻圖像處理和云臺控制等問題；然后將該的多個數字監控客戶端的視頻實時上傳至網絡服務器中，在服務器中進行視頻后續智能方法處理，以實現一種智能視頻監控系統。在眾多智能視頻與計算機視覺方法中，運動目標跟蹤方法是關鍵一環，可以不斷獲取目標的最新圖像，是其他各種視頻智能處理方法的前提，例如，目標行為分析、行為識別等。

目前，運動目標檢測與運動目標跟蹤的算法有很多種，解決了一些監控中的實際問題，例如核相關濾波目標跟蹤算法。核相關濾波目標跟蹤算法是對csk跟蹤算法的完善。csk算法本身就已經采用了循環矩陣的性質來簡化計算，采用稠密采樣的采樣方式進行采樣，雖然其采集到了目標的一切數據，但是這些都是利用了其灰度特征，其對目標的表達能力是不夠的。核相關濾波目標跟蹤算法的一個重要改變就是使用多通道hog(histogramoforientedgradient)特征對目標進行描述核相關濾波算法目標跟蹤算法使用核函數方法對特征進行融合，因而獲得的分類器能夠具有表達目標的優秀能力。對于多數算法來說，使用二進制來表示不同樣本的處理方式，即利用1和0分別表示正負樣本。這種處理方法無法有效的表示不同樣本的重要性，也就是說對于和目標遠近不同時應該區別對待。核相關濾波目標跟蹤算法通過使用[0,1]區間的數值作為樣本回歸值，其值越大就表示越靠近目標，反之表示越遠離目標，從而使不同偏移下得到的樣本有不同的權重，結果表明此種表達方式可以獲得更優秀的效果。核相關濾波目標跟蹤算法在應對各種不利因素，例如有非剛性形變、雜亂背景以及光照改變情況表現較為不錯，然而對于存在較大遮擋與模型快速變化等問題表現不夠好。

技術實現要素：

本發明的目的在于提供一種能夠實現復雜場景下目標的智能監控與跟蹤，有更好的適應性、穩定性和跟蹤效果的智能監控裝置。本發明的目的還在于提供一種基于智能監控裝置的目標跟蹤方法。

本發明的智能監控裝置包括云臺運動單元、視頻采集單元、視頻流控制單元和服務器單元；云臺運動單元為一個六自由度云臺；視頻采集單元為攝像頭，固定在云臺上并與嵌入式圖像處理平臺相連、用于進行視頻采集；視頻流控制單元為一個嵌入式圖像處理平臺，一端與攝像頭相連用于傳輸視頻圖像，另一端與云臺相連接收服務器單元的控制命令，控制云臺的動作；服務器單元用于接收圖像，運行自適應更新學習速率核相關濾波目標跟蹤方法，向嵌入式圖像處理平臺發布云臺的控制指令。

基于本發明的智能監控裝置的目標跟蹤方法為：

(1)獲得一幀視頻圖像，判斷是否是第一幀圖像，如果是第一幀圖像，訓練分類器，并更新分類器，返回并繼續獲取視頻圖像；如果不是第一幀圖像，就通過更新后的最新的分類器確定圖像中目標的位置，繼續步驟(2)；

(2)判斷濾波器響應的最大值與更新閾值θ的大小，如果濾波器響應的最大值大于閾值θ，則進行步驟(3)，否則進行步驟(5)；

(3)檢測目標遮擋和模型變化情況；

(4)根據目標遮擋和模型變化情況，調整學習速率，結合之前所有幀的情況而形成新的分類器更新公式，進行分類器的更新，并且更新haar特征，返回步驟(1)；

(5)濾波器響應的最大值小于閾值θ，則利用surf算法中的haar特征匹配方法進行目標位置修正，如果匹配到目標，則利用當前匹配到的目標位置，作為當前幀的目標位置，返回步驟(1)，如果匹配不成功，則繼續進行目標特征匹配，直到匹配到目標。

1、對目標遮擋情況進行判斷的方法為，

核相關濾波器的響應核相關濾波器響應的最大值為樣本寬和高分別為d和l，由遮擋檢測算法，設每幀圖像匹配的處的位置為mmax，設遮擋閾值λ1、0<λ1<1，面積因子λ2、0<λ2<1，mmax周圍大于的所有點位置mi，求取mi所有點到mmax的歐式距離disi＝||mmax-mi||，當大于λ2·d·l時判斷為遮擋，否則，為未遮擋。

實驗中取λ1為0.8，λ2為0.3。

2、對目標模型變化情況的判斷方法為，

其中，對于每一幀中目標外觀模型的樣本寬和高分別為d和l的圖像塊，m表示圖像塊內像素點的個數，xij表示每一個像素點的灰度值，其中0≤i≤d-1，0≤j≤l-1，p代表第p幀圖像，r代表相鄰兩幀圖片間的差值、能反映圖片的目標表觀模型的變化情況、其值越大代表模型變化大、對應更高的學習速率才能取得更好的跟蹤效果，反之r值小對應于更小的η值。

r實際取值在0到255之間。

3、模型更新公式中學習速率的動態改變的方法為：

用q表示學習速率η的影響因子，即q越大，越應調整學習速率為更大值，令η＝q，q由下式表示，

其中，

本發明提供了一種用于智能監控的裝置，本發明還提供了一種用于智能監控的自適應更新學習速率核相關濾波目標跟蹤方法，該方法使得核相關濾波目標跟蹤方法遇到目標遮擋和模型變化時，根據情況動態更新學習速率，有效的改善了核相關濾波目標跟蹤方法在遇到目標遮擋和模型變化時跟蹤效果不佳的缺陷，實現了更好的目標跟蹤。

本發明具有以下有益效果：

1、利用本發明，可以實現復雜場景下目標的智能監控與跟蹤。

2、利用本發明的改進的自適應更新的核相關濾波方法，可以對遮擋以及模型變化較快的情況有更好的適應性，對長時間跟蹤的情況穩定性更好，因而可以使跟蹤效果得到有效提高。

附圖說明

圖1監控裝置系統框圖。

圖2算法處理流程圖。

圖3視頻視野區域圖。

圖4(a)-圖4(f)原算法跟蹤效果圖。

圖5(a)-圖5(f)改進后的算法的跟蹤效果圖。

具體實施方式

下面舉例對本發明做更詳細的描述。

結合圖1，本發明的智能監控裝置的實現為：

步驟1：攝像頭采集圖像，并將采集到的圖像傳輸到嵌入式圖像處理平臺。

所述的攝像頭采集圖像的功能是基于v4l2框架實現的，共分為4個步驟：

1)usb攝像頭的參數初始化；

2)向驅動申請幀緩沖空間并映射到用戶控件；

3)捕獲并簡單處理視頻；

4)關閉usb攝像頭設備。

步驟2：嵌入式圖像處理平臺將圖像傳輸到服務器端。

所述的圖像傳輸過程為：

1)基于ffmpeg的h.264軟件編解碼

ffmpeg是一套可用于錄制、處理數字音視頻，并可以將其轉化為流的解決方案，選用ffmpeg庫實現視頻編解碼與轉碼功能。對于開發者來說，這種方法簡潔明了，利用第三方庫ffmpeg能夠更好完成跨平臺的程序開發，且移植和升級更加方便。在本發明中就是利用ffmpeg庫，將每幀視頻數據壓縮為h.264格式。

2)基于jrtplib庫的視頻傳輸

編碼為h.264格式的信息通過rtp協議發送，jrtplib庫為用戶提供了良好的rtp協議支持。rtp是與udp一起來完成工作的，在利用了tcp/ip的基礎上來進行視音頻處理，rtcp協議是用于實時監控數據傳輸質量和擁塞控制。本發明將采集到的h.264原始碼流按照rtp協議的要求封裝成包，再通過jrtplib庫提供的api函數將rtp包傳輸給服務器。

步驟3：服務器端通過jrtplib庫提供的api函數接收嵌入式圖像處理平臺的視頻流信息，在通過ffmpeg庫進行視頻流解壓，然后運行自適應更新學習速率核相關濾波目標跟蹤方法，并將相關信息傳回嵌入式圖像處理平臺。

步驟4：嵌入式圖像處理平臺根據服務器端傳回的信息，指導云臺進行相應的動作。

同時結合圖2，本發明的自適應更新學習速率核相關濾波目標跟蹤方法，實現步驟如下：

1、獲得一幀視頻圖像，判斷是否是第一幀圖像，如果是第一幀圖像，訓練分類器，并更新分類器，返回并繼續獲取視頻圖像。如果不是第一幀圖像，就通過更新后的最新的分類器確定圖像中目標的位置，繼續步驟(2)。

2、判斷濾波器響應的最大值與更新閾值θ的大小，如果濾波器響應的最大值大于閾值θ，則進行步驟3，否則進行步驟5。

所述核相關濾波器響應的最大值為為核相關濾波器的響應。

3、檢測目標遮擋和模型變化情況。

所述檢測目標遮擋情況的判斷方法為：

核相關濾波器的響應核相關濾波器響應的最大值為樣本寬和高分別為d和l，由遮擋檢測算法，設每幀圖像匹配的處的位置為mmax，設遮擋閾值λ1(0＜λ1＜1)，面積因子λ2(0＜λ2＜1)，mmax周圍大于的所有點位置mi，求取所有mi點到mmax的歐式距離disi＝||mmax-mi||，當大于λ2·d·l時判斷為遮擋，否則，為未遮擋。實驗中取λ1為0.8，λ2為0.3，為第t幀變換系數。設j為，

所述檢測目標模型變化情況的方法為：

r表示相鄰兩幀圖片目標表觀模型的改變情況，其中，對于每一幀中目標外觀模型的樣本寬和高分別為d和l的圖像塊來說，m表示圖像塊內像素點的個數，xij來表示每一個像素點的灰度值，其中0≤i≤d-1，0≤j≤l-1，p代表第p幀圖像的像素，r實際取值在0到255之間。

r代表相鄰兩幀圖片間的差值，更能反映圖片的目標表觀模型的變化情況，其值越大代表模型變化越大。

4、根據目標遮擋和模型變化情況，調整學習速率，結合之前所有幀的情況而形成新的分類器更新公式，進行分類器的更新，并且更新haar特征，返回步驟1。

所述的學習速率調整的具體方法為：

r代表相鄰兩幀圖片間的差值，更能反映圖片的目標表觀模型的變化情況，其值越大代表模型變化越大，對應更高的學習速率，才能取得更好的跟蹤效果，反之，r值小對應于更小的η值。

學習速率η表明了目標外觀對當前幀的學習能力，η越大說明學習能力越強，對于目標模型變化較大的情況，例如非剛體的大幅度的形變、姿態變化與平面物體的旋轉等情況，有更好的跟蹤效果，而對于目標外觀模型變化較小，如快速的目標變化，光照變化、攝像機視角變化及遮擋等周圍環境引起的變化的情況，η越小時，跟蹤效果越好。

本發明用q表示學習速率η的影響因子，即q越大，越應調整學習速率為更大值。即令η＝q，q由下式表示，

所述的分類器更新的具體方法為：

在原核相關濾波目標跟蹤方法里，目標模型由變換后分類器參數與目標外觀模型x兩部分組成。模型更新中是利用如下(4)(5)公式，

其中，η是學習速率，一般情況選值0.02，和分別是第t-1幀和第t幀更新過的變換系數，而和則分別為第t-1幀與第t幀更新過后的目標外觀模型，xt代表第t幀模型，代表第t幀變換系數。

在原核相關濾波目標跟蹤方法中跟蹤器在目標模型與變換系數的學習更新中只考慮了當前幀中目標，并沒有考慮到之前幀，使得更新的有效性大大降低。

參考mosse跟蹤器考慮之前幀所有幀的更新方式，對模型進行更新。從第一幀到第t幀的目標模型設作{x^j:j＝1,...,t}，則自適應更新學習速率核相關濾波目標跟蹤方法需要求解的公式修改為

依照上式可得第t幀變換系數

其中，元素為κ(,)為原算法中核函數，yi為xi對應的回歸值。

設θ為更新閾值，當濾波器響應的最大值大于閾值，即時，則目標模型的更新仍利用式(4)(5)，而此時的變換系數的分母與分子就分別采用下式(8)(9)來更新。

5、濾波器響應的最大值小于閾值θ，則利用surf算法的haar特征匹配方法進行目標位置修正，如果匹配到目標，則利用當前匹配到的目標位置，作為當前幀的目標位置，返回步驟1，如果匹配不成功，則繼續進行目標特征匹配，直到匹配成功。

所述的利用surf算法的haar特征匹配方法進行目標位置修正方法的實現步驟為：

(1)如圖3所示，當目標所在區域完全處于視頻顯示區域中，即橫縱坐標都在顯示區域的坐標范圍內時，根據閾值檢測響應最大值與θ進行比較，當大于θ時，運用原有更新公式(8)(9)進行更新，并且此時更新haar特征值，而當小于θ時，利用haar特征匹配進行重定位，將定位后的目標位置，作為最新目標出現位置來繼續跟蹤以及更新分類器模板；

(2)當目標中心坐標有超出顯示區域范圍時，停止分類器模型的更新，利用surf算法匹配尋找目標出現位置，由于surf特征匹配不能完全達到實時處理，所以需要等一幀圖像匹配完后，再去取下一幀，經過測試，即每隔三四幀即取一幀來進行匹配，可以達到預期效果。當利用haar特征匹配目標位置后，重新進行分類器更新，此時haar特征匹配的目標位置作為最新幀的目標所在位置的坐標。

自適應更新學習速率核相關濾波目標跟蹤方法有效的改善了原核相關濾波目標跟蹤方法在遇到目標遮擋和外觀模型變化時的跟蹤效果不佳的缺陷，同時自適應更新學習速率核相關濾波目標跟蹤方法也較好的實現了長時間跟蹤。如圖4(a)-圖4(f)所示，圖4(a)、圖4(b)、圖4(c)表示原核相關濾波目標跟蹤方法在遇到遮擋時的跟蹤效果，圖4(c)很明顯的表明，目標在遇到遮擋時，跟蹤效果不佳，跟蹤目標丟失。圖4(d)、圖4(e)、圖4(f)表示原核相關濾波目標跟蹤方法在遇到外觀模型變化時的跟蹤效果，圖4(e)和(f)表示目標在發生外觀模型的較大變化時，跟蹤效果不佳。如組圖5(a)-圖5(f)所示，圖5(a)、圖5(b)、圖5(c)表示自適應更新學習速率核相關濾波目標跟蹤方法在遇到遮擋時的跟蹤效果，圖5(c)表明，目標在遇到遮擋時，跟蹤效果良好，可以準確的跟上目標。相比于組圖4(c)來說，跟蹤目標的能力有了很大的提高。圖5(d)、圖5(e)、圖5(f)表示自適應更新學習速率核相關濾波目標跟蹤方法在膜表模型變化時的跟蹤效果，由圖5(e)、圖5(f)可以看出，改進后的目標跟蹤方法在遇到外觀模型變化時的跟蹤效果良好，可以較為準確的跟蹤上目標，相對于圖4(e)、圖4(f)來說，改進后的跟蹤方法跟蹤能力明顯得到了提高。因此，由上圖的比較可以看出，改進后的目標跟蹤方法的跟蹤效果明顯優于原目標跟蹤方法。