專利名稱：基于智能視頻監(jiān)控的多層次實時預(yù)警系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及智能預(yù)警系統(tǒng)技術(shù)領(lǐng)域，特別是一種基于智能視頻分析的目標檢測、定位、分類識別和基于網(wǎng)絡(luò)管理的多層次實時預(yù)警系統(tǒng)。
實時預(yù)警系統(tǒng)的信息來源包括各種傳感器和網(wǎng)絡(luò)信息。實時預(yù)警系統(tǒng)的預(yù)警對象是各種場景下發(fā)生的不同等級的異常情況。
本發(fā)明采用的傳感器是視覺傳感器。采用的方法包括靜態(tài)場景下的目標檢測、目標跟蹤、目標分類、場景標定、基于推理的信息融合、基于規(guī)則的行為識別。預(yù)警對象是可多層次定義預(yù)警規(guī)則的所有場合。
背景技術(shù)：
目前的預(yù)警系統(tǒng)大多基于一種傳感器進行預(yù)警的，獲取的信息量少，具有很大的局限性。視覺是人獲取外界信息的主要途徑，包含比聽覺觸覺更多的信息，因此基于智能視頻分析的監(jiān)控系統(tǒng)比其他的預(yù)警系統(tǒng)具有更大的應(yīng)用前景。
現(xiàn)有的視頻監(jiān)控系統(tǒng)包含視頻采集、運動檢測和壓縮存儲。視頻采集使用了各種不同的相機，包括CCD相機、CMOS相機、紅外相機等。運動檢測(也叫移動偵測)是檢測視頻序列中有運動的幀，并不檢測和跟蹤目標，還不是一種智能分析方法。壓縮存儲主要采用了MPEG-4和H.264標準的編解碼方法。一般視頻存儲在大容量的硬盤中，由于存儲的內(nèi)容過多，視頻只能保留有限的時間。當(dāng)需要查詢特定的視頻內(nèi)容時，就要用人工的方法去視頻庫中查詢，費時又費力。更重要的是，當(dāng)監(jiān)控場景發(fā)生異常情況時，傳統(tǒng)的監(jiān)控系統(tǒng)不能及時預(yù)警，通常是通過其他方式報警，然后人工查詢監(jiān)控錄像進行取證。因此，目前的監(jiān)控系統(tǒng)主要用于錄像、事后查詢和取證，并不具備真正的預(yù)警功能。
隨著安防的發(fā)展，現(xiàn)實中將有越來越多的監(jiān)控系統(tǒng)，用人工查詢的方式已經(jīng)不適應(yīng)市場對監(jiān)控系統(tǒng)的要求，這就需要采用智能分析的方法，對采集的視頻進行智能分析，分類存儲，并在異常情況發(fā)生前，及時預(yù)警，消除隱患。
現(xiàn)實中的預(yù)警是分不同等級的，不同場合的預(yù)警等級不一樣。比如，當(dāng)有人在油庫外圍徘徊時，就應(yīng)該預(yù)警并提醒門衛(wèi)注意防范，當(dāng)有人翻越圍墻接近油庫時，應(yīng)該及時報警。就像人的視覺是獲取外界信息的主要途徑一樣，基于視覺分析的監(jiān)控系統(tǒng)能獲取比其他預(yù)警系統(tǒng)更多的信息，通過對場景中的目標檢測和行為分析，能及時檢測到徘徊、翻越圍墻等行為，盡早預(yù)警，防止事故發(fā)生。通過網(wǎng)絡(luò)信息管理平臺，不同攝像機的信息得到共享，實現(xiàn)較大范圍的監(jiān)控。因此，基于智能視頻分析的監(jiān)控系統(tǒng)比其他預(yù)警系統(tǒng)更適用于多層次實時預(yù)警。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于智能視頻分析的多層次實時預(yù)警系統(tǒng)。
智能視頻分析可以實現(xiàn)目標的檢測跟蹤、目標的行為分析和基于用戶自定義規(guī)則的行為判別。由于視頻監(jiān)控的應(yīng)用環(huán)境千變?nèi)f化，這就需要視頻分析方法具有很高的魯棒性，要適用于不同天氣、不同背景和不同光照條件。同時，智能分析方法必須是實時的，這樣才能達到及時預(yù)警的目的，這就對智能分析方法提出很高的要求。多層次的預(yù)警系統(tǒng)還需要不同攝像機之間信息共享，實現(xiàn)不同攝像機之間的關(guān)聯(lián)，并由用戶指定關(guān)聯(lián)的規(guī)則，這就要求行為分析必須在不同場合下都準確有效。
基于智能視頻分析的多層次實時預(yù)警系統(tǒng)由五部分組成視頻采集、視頻處理單元、基于規(guī)則的行為識別、網(wǎng)絡(luò)管理平臺和報警模塊。
視頻采集模塊用于獲取數(shù)字視頻序列，兼容不同的相機，只要能產(chǎn)生數(shù)字圖像信息的攝像機都可以作為采集模塊。
視頻處理單元采用了背景建模、目標提取、對光照自適應(yīng)的參數(shù)控制方法、場景自標定、目標跟蹤、軌跡提取方法、視頻編碼和選擇存儲。視頻處理單元是本發(fā)明的核心模塊之一，它對場景具有參數(shù)自適應(yīng)功能，因此具有較好的魯棒性，可用于下雨天、下雪天和夜晚時的目標檢測和行為識別。同時，目標跟蹤中采用了縮放旋轉(zhuǎn)平移不變特征，跟蹤方法本身也是自適應(yīng)的，不受場景變化影響。
基于規(guī)則的行為識別模塊是基于用戶自定義規(guī)則下的行為判別。這一模塊用于分析視頻分析模塊得到的目標軌跡，根據(jù)上層用戶定義的規(guī)則，以及預(yù)警的等級，在不同的目標軌跡中，提取符合規(guī)則的軌跡，并進行預(yù)警。
網(wǎng)絡(luò)管理模塊用于管理不同的智能分析終端，并根據(jù)不同的安全等級設(shè)置多層次預(yù)警方式，并使所有智能終端接受上層管理，便于形成一個區(qū)域監(jiān)控系統(tǒng)。
報警模塊接收網(wǎng)絡(luò)管理平臺的信號來實時預(yù)警，也可以是來自智能終端的報警信號。報警模塊可以是通過網(wǎng)絡(luò)傳輸信號來報警，可以是直接由終端來報警，也可以是分層次報警，根據(jù)用戶指定的規(guī)則來確定。
綜上所述，與已有的視頻監(jiān)控系統(tǒng)相比，本發(fā)明提出的基于智能視頻監(jiān)控的多層次實時預(yù)警系統(tǒng)具有以下不同之處1)視頻處理單元中采用了參數(shù)自適應(yīng)控制方法，目標跟蹤中使用的特征是縮放旋轉(zhuǎn)平移不變特征，跟蹤方法本身也是自適應(yīng)的，軌跡分析采用了基于學(xué)習(xí)和場景標定的方法。目前已有的背景建模、目標提取和跟蹤方法都是有缺陷的，還沒有一種方法能達到參數(shù)自適應(yīng)和適用于不同的天氣環(huán)境。如果要使智能監(jiān)控實用化，必須在方法中考慮并克服天氣和環(huán)境的影響。本發(fā)明解決了這一問題。
2)采用了基于用戶自定義規(guī)則的行為識別方法。應(yīng)用背景的多樣化決定了規(guī)則的多樣化，基于用戶自定義規(guī)則的行為識別方法具有更廣泛的實用性。
3)采用了多層次預(yù)警的方法。實際應(yīng)用中智能終端的功能往往都是關(guān)聯(lián)而不是獨立的，這就要求終端之間的預(yù)警功能具有層次性。由于智能監(jiān)控系統(tǒng)會存在少量的誤報警，基于多層次的預(yù)警系統(tǒng)則可以降低誤報警的概率。


圖1是本發(fā)明的基于智能視頻監(jiān)控的多層次實時預(yù)警系統(tǒng)。
圖2為本發(fā)明的視頻處理單元。
圖3為本發(fā)明的基于規(guī)則的行為識別模塊。
具體實施例方式
基于智能視頻監(jiān)控的多層次實時預(yù)警系統(tǒng)框圖如圖1所示。整個系統(tǒng)由五部分組成視頻采集、視頻處理單元、基于規(guī)則的行為識別、多層次預(yù)警網(wǎng)絡(luò)管理平臺和報警模塊。
視頻采集模塊用于采集視頻，兼容不同的攝像機；視頻處理單元用于分析和壓縮存儲視頻；基于規(guī)則的行為識別用于識別檢測到的目標；多層次預(yù)警網(wǎng)絡(luò)管理平臺用于管理不同的攝像機，形成層次性預(yù)警機制；報警模塊用于實時傳送和執(zhí)行報警信息。
如圖2所示，視頻處理單元又可分為七個子單元視頻編碼模塊、選擇存儲模塊、背景建模模塊、前景提取模塊、場景分析模塊和參數(shù)自適應(yīng)調(diào)整模塊、目標跟蹤模塊、目標軌跡模塊。視頻編碼模塊采用MPEG標準編碼方法。選擇存儲模塊根據(jù)智能分析的結(jié)果，只存儲有跟蹤目標的視頻序列，并把跟蹤信息和視頻同步起來并存儲，這樣有利于事后查詢和搜索，同時降低監(jiān)控系統(tǒng)對存儲空間的需求。背景建模模塊用于建立背景模型，模型參數(shù)根據(jù)場景分析自適應(yīng)調(diào)整。前景提取模塊用于提取前景，模型參數(shù)根據(jù)場景分析自適應(yīng)調(diào)整。目標跟蹤模塊對提取的前景進行跟蹤，目標跟蹤中使用的特征是縮放旋轉(zhuǎn)平移不變特征，跟蹤方法本身也是自適應(yīng)的。目標軌跡模塊則包含與目標運動相關(guān)的時間、軌跡、大小、類型、形狀、顏色信息，軌跡分析采用了基于學(xué)習(xí)和場景標定的方法。
圖3是基于規(guī)則的行為識別模塊，它包括由用戶定義的不同規(guī)則和行為識別2個子模塊。規(guī)則經(jīng)多層次網(wǎng)絡(luò)管理平臺由用戶指定，這樣便于形成一個區(qū)域監(jiān)控，也具有更廣泛的實用性。
基于智能視頻監(jiān)控的多層次實時預(yù)警系統(tǒng)的具體實施流程如下第一，在網(wǎng)絡(luò)管理平臺上設(shè)定每一個攝像機的預(yù)警規(guī)則，必要時還要對攝像機進行場景標定。通過對每一個攝像機的預(yù)警規(guī)則的設(shè)定，實現(xiàn)多層次的實時預(yù)警機制。
第二，啟動系統(tǒng)并運行。
第三，終端攝像機采集圖像序列到視頻處理單元。
第四，在視頻處理單元，視頻序列分成三路，一路用于編碼壓縮，一路用于場景分析，一路用于背景建模。視頻處理單元同時具有編碼和分析的功能。場景分析提取場景的變化特征，采用自適應(yīng)控制理論的方法自適應(yīng)調(diào)整背景模型和前景模型參數(shù)。背景建模建立背景模型。前景提取用于提取前景運動塊。目標跟蹤中使用了縮放旋轉(zhuǎn)平移不變特征，跟蹤方法本身也是自適應(yīng)的，軌跡分析采用了基于學(xué)習(xí)和場景標定的方法，這樣可以剔除一些虛假目標或干擾，得到真正的目標軌跡。視頻處理單元放在終端上，這樣可以實現(xiàn)分散存儲和分散計算，易于網(wǎng)絡(luò)管理。
第五，得到目標軌跡之后，經(jīng)網(wǎng)絡(luò)傳輸?shù)叫袨樽R別模塊，并根據(jù)用戶定義的規(guī)則進行行為識別。如果終端本身就是網(wǎng)絡(luò)服務(wù)器之一，那么目標軌跡將在本地直接進行行為識別。
第六，如果出現(xiàn)違反設(shè)定預(yù)警規(guī)則的目標行為，立即輸出報警信號。
本發(fā)明的特點與效果有1)視頻處理單元具有參數(shù)自適應(yīng)能力，目標跟蹤的性能不隨場景而變化。視頻分析的最大問題在于穩(wěn)定性，目前已有的傳統(tǒng)目標檢測和跟蹤方法，都或多或少有不穩(wěn)定的缺陷。智能監(jiān)控的應(yīng)用場合千變?nèi)f化，有下雨天、下雪天、白天和晚上等，所以智能監(jiān)控系統(tǒng)必須能夠適應(yīng)天氣和環(huán)境的變化，才可以實用化，這就要求視頻分析必須有自適應(yīng)的能力。
2)基于用戶自定義規(guī)則的行為識別。規(guī)則可由用戶通過網(wǎng)絡(luò)管理平臺進行制定，對具體應(yīng)用場合具有更恰當(dāng)?shù)尼槍π裕阌谕茝V應(yīng)用。
3)具有多層次預(yù)警機制。可以由用戶指定預(yù)警規(guī)則，并把多個攝像機進行聯(lián)網(wǎng)，形成一個區(qū)域網(wǎng)絡(luò)監(jiān)控系統(tǒng)，具有更加廣泛的實用性。
4)降低了對存儲空間的要求。只對有目標運動的視頻序列進行存儲，可以大大降低存儲空間，同時便于事后查詢，因為每一個視頻序列都對應(yīng)一個目標行為。
5)便于擴展成為基于網(wǎng)絡(luò)管理的廣域視頻監(jiān)控系統(tǒng)。隨著監(jiān)控攝像頭數(shù)目的大量增加，用計算機來管理監(jiān)控視頻存儲是迫在眉睫的需求，采用基于智能視頻分析的多層次網(wǎng)絡(luò)管理模式，是監(jiān)控系統(tǒng)的發(fā)展趨勢，同時也有利于監(jiān)控視頻的檢索。
6)系統(tǒng)的實現(xiàn)可以是以下三種方式之一硬件實現(xiàn)、軟件實現(xiàn)或者軟硬件結(jié)合實現(xiàn)。
權(quán)利要求
1.一種基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其特征在于，所述由五個模塊組成視頻采集模塊、視頻處理單元、基于規(guī)則的行為識別模塊、網(wǎng)絡(luò)管理平臺和報警模塊，其模塊連接關(guān)系為視頻采集模塊、視頻處理單元、基于規(guī)則的行為識別模塊、網(wǎng)絡(luò)管理平臺和報警模塊物理上依次串聯(lián)連接，五個模塊的功能分別為視頻采集模塊，用于獲取數(shù)字視頻序列，兼容不同的相機，只要能產(chǎn)生數(shù)字圖像信息的攝像機都可以作為采集模塊；視頻處理單元，用于視頻分析和視頻壓縮存儲，視頻處理單元對場景具有參數(shù)自適應(yīng)功能，目標跟蹤中采用了縮放旋轉(zhuǎn)平移不變特征，跟蹤方法本身也是自適應(yīng)的，不受場景變化影響；基于規(guī)則的行為識別模塊，用于行為識別，根據(jù)用戶上層定義的規(guī)則，以及預(yù)警的等級，在不同的目標軌跡中，提取符合規(guī)則的軌跡，并進行預(yù)警；網(wǎng)絡(luò)管理平臺，用于管理不同的智能分析終端，并根據(jù)不同的安全等級設(shè)置多層次預(yù)警方式，并使所有智能終端接受上層管理，便于形成一個區(qū)域監(jiān)控系統(tǒng)；報警模塊，接收網(wǎng)絡(luò)管理平臺的信號來實時預(yù)警；系統(tǒng)的整體功能是通過網(wǎng)絡(luò)管理平臺管理其余四個模塊，形成多層次的智能視頻監(jiān)控系統(tǒng)，每一個視頻處理單元自適應(yīng)地檢測待檢測區(qū)域的目標軌跡，然后由基于行為的識別模塊識別出異常行為，再由報警模塊進行報警。
2.根據(jù)權(quán)利要求1的基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其特征在于其中的視頻處理單元，用于視頻分析的背景建模和前景參數(shù)提取是自適應(yīng)調(diào)整的，跟蹤方法中采用的特征是縮放旋轉(zhuǎn)平移不變的，跟蹤方法本身是自適應(yīng)的，軌跡分析是基于學(xué)習(xí)和場景標定的，視頻存儲是根據(jù)視頻分析結(jié)果選擇存儲的。
3.根據(jù)權(quán)利要求1的基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其基于規(guī)則的行為識別模塊是基于用戶自定義規(guī)則的。
4.根據(jù)權(quán)利要求1的基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其網(wǎng)絡(luò)管理平臺是多層次實時的，能夠形成一個區(qū)域監(jiān)控的平臺。
5.根據(jù)權(quán)利要求1的基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其系統(tǒng)是可以擴展為廣域網(wǎng)監(jiān)控平臺的。
6.根據(jù)權(quán)利要求1的基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其系統(tǒng)可應(yīng)用于基于行為、目標或者事件的視頻檢索。
7.根據(jù)權(quán)利要求1的基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其系統(tǒng)可應(yīng)用于裝有攝像機的任意場合。
8.根據(jù)權(quán)利要求1的基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其邏輯上的執(zhí)行順序是，先在網(wǎng)絡(luò)管理平臺上設(shè)定每一個攝像機的預(yù)警規(guī)則，然后由視頻采集模塊采集視頻、視頻分析和存儲、基于規(guī)則的行為識別，最后輸出報警信號。
9.根據(jù)權(quán)利要求1的基于智能視頻監(jiān)控的多層次預(yù)警系統(tǒng)，其系統(tǒng)的實現(xiàn)可以是以下三種方式之一硬件實現(xiàn)、軟件實現(xiàn)或者軟硬件結(jié)合實現(xiàn)。
全文摘要
本發(fā)明涉及智能預(yù)警系統(tǒng)技術(shù)領(lǐng)域，特別是一種基于智能視頻分析的目標檢測、定位、分類識別和基于網(wǎng)絡(luò)管理的多層次實時預(yù)警系統(tǒng)。系統(tǒng)包括五部分視頻采集、視頻處理單元、基于規(guī)則的行為識別、網(wǎng)絡(luò)管理平臺和報警模塊。方法包括1.由用戶在網(wǎng)絡(luò)管理平臺上指定每一個攝像機的預(yù)警規(guī)則，實現(xiàn)多層次的實時預(yù)警機制；2.在視頻處理單元，視頻序列分成三路，一路用于編碼壓縮，一路用于場景分析，一路用于背景建模，視頻處理單元同時具有編碼和分析的功能，經(jīng)視頻分析后得到目標軌跡；3.目標軌跡經(jīng)網(wǎng)絡(luò)傳輸?shù)叫袨樽R別模塊，并根據(jù)用戶定義的規(guī)則進行行為識別；4.如果出現(xiàn)異常情況，立即報警。
文檔編號G08B25/00GK101055662SQ20071010593
公開日2007年10月17日 申請日期2007年6月1日 優(yōu)先權(quán)日2007年6月1日
發(fā)明者洪義平 申請人:北京匯大通業(yè)科技有限公司, 洪義平, 鄒繪華