專利名稱：基于多幀差分與投射陰影去除的運動車輛檢測方法及裝置的制作方法
技術領域：
本發明涉及智能交通管理和視頻監控領域，具體涉及一種基于多幀差分與投射陰影去除的運動車輛檢測方法及裝置。
背景技術：
隨著我國經濟的快速發展和社會機動車輛擁有量的急劇增加，涉車事件、案件成幾何倍數增長。為了提升社會治安水平，降低涉車事件、案件的發生概率，針對機動車輛的檢測和監控技術得到了廣泛的研究。基于視頻分析的機動車輛檢測技術得到了迅速的推 廣應用，被應用于治安卡口、闖紅燈抓拍、異常車輛事件檢測、不停車自動收費系統、小區/停車場車輛管理系統、交通流信息檢測系統等智能交通技術中。目前，針對運動車輛檢測的視頻分析技術，主要有光流法、背景差分法和幀間差分法采用光流法，因其運算較復雜，在嵌入式系統中運行時間長，難以滿足實時檢測的需求；采用背景差分法，因背景建模時間較長，背景更新速度較慢，在光照變化的情況下，無法有效去除投射陰影，不能準確地將機動車輛從背景中分離出來；因受投射陰影影響，造成前后機動車輛產生粘連的情況，卻難以分離；采用簡單的幀間差分法，可以避免光照條件對背景建模的影響，但是在光照情況下，確無法去除投射陰影對運動車輛粘連造成的影響。基于幀間差分法改進的多幀差分方法，可有效去除運動車輛投射陰影，準確地將機動車輛從背景中分離出來，提高檢測準確率。

發明內容
本發明的目的就在于克服現有技術存在的問題和的不足，提供一種基于多幀差分與投射陰影去除的運動車輛檢測方法及裝置。本發明的目的是這樣實現的利用多幀之間運動車輛剛體特性的關聯性，以及機動車輛和投射陰影局部紋理特性的差異性，實現投射陰影的去除，有效解決了投射陰影對機動車輛分離造成的目標粘連、目標分離不準確的問題。一、基于多幀差分與投射陰影去除的運動車輛檢測方法(簡稱方法)a、獲得當前幀序列圖片；b、獲取當前幀的灰度值序列圖片；C、獲得當前幀邊緣、幀間差邊緣的二值化圖像特征Cl、獲得當前幀邊緣的二值化圖像特征；c2、獲得圖像幀間差邊緣的二值化圖像特征；d、獲得當前幀運動車輛的邊緣特征；
e、獲得當前幀陰影的邊緣特征el、采用Cl過程獲得的當前幀邊緣的二值化圖像特征得到當前幀陰影的邊緣特征；e2、采用c2過程獲得的幀間差邊緣的二值化圖像特征得到當前幀陰影的邊緣特征；f、獲得當前幀陰影的準確邊緣特征；g、獲得準確的運動車輛邊緣特征的圖片序列；h、從圖片序列中提取運動車輛的具體坐標。二、基于上述運動車輛檢測方法的攝像裝置
I、智能網絡攝像機(有DSP圖像傳感器)；2、網絡攝像機(無DSP圖像傳感器)+工業控制機。本發明具有下列優點和積極效果①為智能交通系統的運動車輛檢測提供了基于視頻檢測的捕獲方案，系統安裝更加簡單，且易于維護；②本發明相對傳統的檢測方法，提升了運動車輛的捕獲率，提升了機動車輛的位置檢測精度；③本發明解決了運動車輛在各種光照條件下、在復雜的背景條件下的捕獲率，為智能交通系統的深度應用提供了技術方案，如闖紅燈電子警察系統中的違法直行、違法左轉、違法右轉。


圖I是智能網絡攝像機的結構方框圖；圖2是網絡攝像機+工業控制機的結構方框圖；圖3是本方法的工作流程圖；圖4是攝像裝置應用示意圖。圖中O—攝像裝置；A一智能網絡攝像機；B—網絡攝像機；C一工業控制機；Cl一實時圖片序列米集模塊；C2—運動車輛檢測分析模塊；C3—檢測結果輸出處理模塊。I—LENS 光學鏡頭；2一CO)(Charge Coupled Device,電荷f禹合器件)圖像傳感器；3—信號采集轉換器；4—HV信號驅動器；5-FPGA(Field — Programmable Gate Array,現場可編程門陣列)可編程邏輯處
理器；
6-SDRAM(Synchronous Dynamic Random Access Memory,同步動態隨機存儲器)存儲器；7-H264錄像編碼器；8-ARM (Advanced RISC Machines)中心處理器；9—DSP (Signal Processor,數字信號處理)圖像處理器。401-闖紅燈電子警察系統；402—治安卡口系統；403—小區/停車場車輛管理系統；
404—異常車輛事件檢測系統； 405—交通流信息檢測系統；406—不停車自動收費系統。
具體實施例方式下面結合附圖和實施例詳細說明一、智能網絡攝像機AI、總體如圖I，智能網絡攝像機A包括LENS光學鏡頭I、CXD圖像傳感器2、信號采集轉換器3、HV信號驅動器4、FPGA可編程邏輯處理器5、SDRAM存儲器6、H264錄像編碼器7和ARM中心處理器8 ；設置有DSP圖像處理器9 ；①LENS光學鏡頭I、CXD圖像傳感器2、信號采集轉換器3、FPGA可編程邏輯處理器5、SDRAM存儲器6、DSP圖像處理器9和ARM中心處理器8依次連接，實現圖像采集、存儲、分析和處理；②FPGA可編程邏輯處理器5、HV信號驅動器4和CXD圖像傳感器2依次連接，實現對CCD圖像傳感器2的控制；③FPGA可編程邏輯處理器5、H264錄像編碼器7和ARM中心處理器8依次連接，實現視頻監控和處理。2、功能部件I) LENS光學鏡頭1、CCD圖像傳感器2、信號采集轉換器3、HV信號驅動器4、FPGA可編程邏輯處理器5、SDRAM存儲器6、H264錄像編碼器7和ARM中心處理器8均為通用器件。2) DSP圖像處理器9是一種高性能的圖像處理器件，其主頻高達800Mhz ；可以選用TMS320DM64X、TMS320DM81X等系列的DSP圖像處理器，其內嵌入本方法的專用軟件(后面介紹)；DSP圖像處理器9主要通過圖片序列的分析處理，實現運動車輛檢測、定位、跟蹤、捕獲功能，然后將運動車輛捕獲記錄輸出給ARM中心處理器8。3、工作原理FPGA可編程邏輯處理器5通過LENS光學鏡頭1、(XD圖像傳感器2、信號采集轉換器3將智能網絡攝像機A視場的信息按25fps的速度采集上來，再存放在SDRAM存儲器6中；DSP圖像處理器9按照時間順序依次從SDRAM存儲器6中獲取實時圖片序列，并采用本方法，實時分析與檢測運動車輛。FPGA可編程邏輯處理器5通過HV信號驅動器4對CXD圖像傳感器2控制，調節CXD圖像傳感器的曝光時間、增益、白平衡。在運動車輛行駛過程中，進入系統預先設置的抓拍位置時，自動觸發抓拍車輛通行圖片；DSP圖像處理器9處理每一幀圖像，得到運動車輛運動序列；DSP圖像處理器9從SDRAM存儲器6中獲得抓拍圖片后進行其他處理車牌識別、車標識別、車身顏色識別、車輛類型識別、抓拍信息疊加等處理之后，傳給ARM中心處理器8進行相應處理；H264錄像編碼器7，可將實時視頻編碼為H264視頻文件，實現道路監控功能，再傳給ARM中心處理器8進行相應處理。二、網絡攝像機+工業控制機 I、總體如圖2，本攝像裝置包括網絡攝像機(無DSP圖像傳感器)B+工業控制機C。具體地說，本攝像裝置包括LENS光學鏡頭I、CXD圖像傳感器2、信號采集轉換器3、HV信號驅動器4、FPGA可編程邏輯處理器5、SDRAM存儲器6、H264錄像編碼器7、ARM中心處理器8和工業控制機C ；①LENS光學鏡頭I、CXD圖像傳感器2、信號采集轉換器3、FPGA可編程邏輯處理器5、SDRAM存儲器6、ARM中心處理器8和工業控制機C依次連接，實現圖像采集、存儲、分析和處理；②FPGA可編程邏輯處理器5、HV信號驅動器4和CXD圖像傳感器2依次連接，實現對CCD圖像傳感器2的控制；③FPGA可編程邏輯處理器5、H264錄像編碼器7和ARM中心處理器8依次連接，實現視頻監控和處理。網絡攝像機B+工業控制機C的攝像裝置，與智能網絡攝像機A的主要區別在于圖片序列處理方法在工業控制機C上實現，而不是在DSP圖像處理器8上實現，其他功能與智能網絡攝像機A上的實現相同。2、主要功能部件工業控制機C為一種高性能的工業級控制計算機，其主頻高達3. OGHz,內存為2G，其內嵌入本方法的專用軟件(后面介紹)；本軟件包括依次交互的實時圖片序列采集模塊Cl、運動車輛檢測分析模塊C2和檢測結果輸出處理模塊C3，通過圖片序列的分析處理，實現運動車輛檢測、定位、跟蹤和捕獲功能。3、工作原理ARM中心處理器8按照時間順序依次從SDRAM存儲器6中獲取實時圖片序列，然后傳給工業控制機C。工業控制機中實時圖片序列采集Cl模塊獲得實時圖片序列后，傳給運動車輛分析C2模塊進行分析處理，最后將分析處理結果傳給檢測結果輸出處理C3模塊。三、多幀差分與投射陰影去除的運動車輛檢測方法實現過程如圖3，本方法實現過程如下a-101 :當前幀序列圖片Fn
DSP圖像處理器9從SDRAM內存6中獲得當前幀序列圖片Fn，每幀圖像數據由B、G、R三種顏色分量組成；b-102 :獲取當前幀的灰度值處理過程；Yn(i，j)=0. 299*Rn(i，j)+0. 587*Gn(i，j)+0. 114*Bn(i，j)Bn(i, j)、Gn(i，j)、Rn(i，j)是第n幀圖像的第i行第j列上B、G、R顏色分量的值，Yn(i, j)為第η幀圖像的第i行第j列的灰度值；第η幀的灰度值矩陣簡寫為Yn，則視頻圖像的灰度圖序列為Y1'Y2、-,Yn ；c :獲得當前幀邊緣、幀間差邊緣的二值化圖像特征 Cl :獲得當前幀邊緣的二值化圖像特征cl-103 :獲取當前幀灰度值圖像的邊緣特征采用Canny算子、或Sobel算子將灰度值圖像轉換為邊緣特征圖像，轉換后的邊緣特征圖像序列表示為E (Y1)、E (Y2)、…、E(Yn)cl-106. a: 二值化處理，將步驟b所得的邊緣特征E (Yn)進行二值化處理。根據機動車輛檢測經驗獲得步驟cl-103的二值化閾值為10。二值化之后的圖片序列表示為B(E(Y))、B(E(Y2))、…、B(E(Yn))簡寫為Bg(I)、Bg(2)、...、Bg(n)c2 :獲得圖像幀間差邊緣的二值化圖像特征C2-104 :獲取當前幀與前一幀的灰度值差灰度值差圖像序列表示為Y2-Y1^Y3-Y2,…、Yn-YlriDy2 ⑴=Y2-Y1' Dy3 ⑵=Y3-Y2' …、Dyn(n-1) =Yn-YlriC2-105 :獲取灰度值差圖像的邊緣特征采用Canny算子、或Sobel算子將灰度值差圖像轉換為邊緣特征圖像，灰度值差圖像邊緣特征的圖像序列表示為E(Dy2(l))、E(Dy3(2))、…、E(Dyn(n_l))c2-106. b :二值化處理，將步驟C2-105所得的邊緣特征E (Dyn(n_l))進行二值化處理。根據機動車輛檢測經驗獲得步驟C2-105的二值化閾值為8。二值化之后的圖片序列表示為B(E(Dy2(l)))、B(E(Dy3(2))、…、B(E(Dyn(n_l)))簡寫為Bd (2)、Bd (3)、...、Bd(n)d-107 :獲得當前幀運動車輛的邊緣特征將步驟c 二值化處理之后的圖像Bg(n) ,Bd(η)進行邏輯‘與，運算，即可得到運動車輛的邊緣特征，Bg(n)&Bd(n)。e :獲得當前幀陰影的邊緣特征
獲得當前幀陰影的特征有兩種方法得到，且得到的結果不完全一樣。el-108, a :采用cl過程獲得的當前幀邊緣的二值化圖像特征得到當前幀陰影的邊緣特征，具體方法為步驟cl-106. a的得到二值化圖像減去步驟d-107當前幀運動車輛邊緣特征的二值化圖像，所得到的圖像序列表示為Bg (2) -Bg (2) &Bd (2)、Bg (3) -Bg (3) &Bd (3)、…、Bg (n) -Bg (n) &Bd (η)e2-108. b :采用c2過程獲得的幀間差邊緣的二值化圖像特征得到當前幀陰影的邊緣特征，具體方法為步驟C2-106. 6的得到二值化圖像減去步驟d-107當前幀運動車輛邊緣特征的二值化圖像，所得到的圖像序列表示為Bd (3) -Bg (2) &Bd (2)、Bd (4) -Bg (3) &Bd (3)、...、Bd (η+1) -Bg (n) &Bd (η)
f-109 :獲得當前幀陰影的準確邊緣特征在步驟e中，分別通過兩種方法獲得了當前幀背景的邊緣特征二值化圖像矩陣序列。最后，將這兩組圖像矩陣序列進行邏輯‘與’運算得到陰影的邊緣特征的圖片序列。當前幀陰影的準確邊緣特征的圖像矩陣序列表示如下{Bg (2) -Bg (2) &Bd (2)} & {Bd (3) -Bg (2) &Bd (2)}、{Bg (3) -Bg (3) &Bd (3)} & {Bd (4) -Bg (3) &Bd (3)}、…、{Bg (n) -Bg (n) &Bd (n)} & {Bd (n+1) -Bg (n) &Bd (n)}g-110 :獲得準確的運動車輛邊緣特征的圖片序列，具體方法在步驟d-107中獲得運動車輛邊緣特征的數據序列減去步驟f-109中陰影邊緣特征的數據序列，即可得到去除陰影的運動車輛的邊緣特征的數據序列，該數據序列用公式可表示為Bg (2) &Bd (2) - {Bg (2) -Bg (2) &Bd (2)} & {Bd (3) -Bg (2) &Bd (2)}、Bg (3) &Bd (3) - {Bg (3) -Bg (3) &Bd (3)} & {Bd (4) -Bg (3) &Bd (3)}、…、Bg (n) &Bd (n) - {Bg (n) -Bg (n) &Bd (n)} & {Bd (n+1)-Bg (n) &Bd (n)}h-111 :從圖片序列中提取運動車輛的具體坐標。在此階段，會根據需要對數據序列進行去噪處理、膨脹處理；最后，采用八鄰域搜索算法獲得運動車輛的具體位置坐標，以及相關的運動屬性。四、攝像裝置應用如圖4，ARM中心處理器8通過網絡方式上傳給后臺管理系統闖紅燈電子警察系統401、治安卡口系統402、小區/停車場車輛管理系統403、異常車輛事件檢測系統404、交通流信息檢測系統405和不停車自動收費系統406等，實現上述系統前端數據采集功能。
權利要求
1.一種基于多幀差分與投射陰影去除的運動車輛檢測方法，其特征在于 a、獲得當前幀序列圖片； b、獲取當前幀的灰度值序列圖片； C、獲得當前幀邊緣、幀間差邊緣的二值化圖像特征 Cl、獲得當前幀邊緣的二值化圖像特征； c2、獲得圖像幀間差邊緣的二值化圖像特征； d、獲得當前幀運動車輛的邊緣特征； e、獲得當前幀陰影的邊緣特征 el、采用Cl過程獲得的當前幀邊緣的二值化圖像特征得到當前幀陰影 的邊緣特征； e2、采用c2過程獲得的幀間差邊緣的二值化圖像特征得到當前幀陰影的 邊緣特征； f、獲得當前幀陰影的準確邊緣特征； g、獲得準確的運動車輛邊緣特征的圖片序列； h、從圖片序列中提取運動車輛的具體坐標。
2.基于權利要求I所述的運動車輛檢測方法的智能網絡攝像機(A)，包括LENS光學鏡頭(1)、(XD圖像傳感器(2)、信號采集轉換器(3)、HV信號驅動器(4)、FPGA可編程邏輯處理器(5 )、SDRAM存儲器(6 )、H264錄像編碼器(7 )和ARM中心處理器(8 );其特征在于 設置有DSP圖像處理器(9)； ①LENS光學鏡頭(1)、(XD圖像傳感器(2)、信號采集轉換器(3)、FPGA可編程邏輯處理器(5)、SDRAM存儲器(6)、DSP圖像處理器(9)和ARM中心處理器(8)依次連接，實現圖像采集、存儲、分析和處理； ②FPGA可編程邏輯處理器(5)、HV信號驅動器(4)和CXD圖像傳感器(2)依次連接，實現對CXD圖像傳感器(2)的控制； ③FPGA可編程邏輯處理器(5)、H264錄像編碼器(7 )和ARM中心處理器(8 )依次連接，實現視頻監控和處理； 所述的DSP圖像處理器9是一種高性能的圖像處理器件，其主頻高達800Mhz ;其內嵌入本方法的專用軟件。
3.基于權利要求I所述的運動車輛檢測方法的攝像裝置一網絡攝像機+工業控制機，包括LENS光學鏡頭(I)、CXD圖像傳感器(2)、信號采集轉換器(3)、HV信號驅動器(4)、FPGA可編程邏輯處理器(5 )、SDRAM存儲器(6 )、H264錄像編碼器(7 )和ARM中心處理器(8 );其特征在于 設置有工業控制機(C); ①LENS光學鏡頭(1)、(XD圖像傳感器(2)、信號采集轉換器(3)、FPGA可編程邏輯處理器(5 )、SDRAM存儲器(6 )、ARM中心處理器(8 )和工業控制機(C )依次連接，實現圖像采集、存儲、分析和處理； ②FPGA可編程邏輯處理器(5)、HV信號驅動器(4)和CXD圖像傳感器(2)依次連接，實現對CXD圖像傳感器(2)的控制； ③FPGA可編程邏輯處理器(5)、H264錄像編碼器(7 )和ARM中心處理器(8 )依次連接，實現視頻監控和處理； 所述的工業控制機(C)為一種高性能的工業級控制計算機，其主頻高達3. OGHz,內存為2G，其內嵌入本方法的專用軟件。
全文摘要
本發明公開了一種基于多幀差分與投射陰影去除的運動車輛檢測方法及裝置，涉及智能交通管理和視頻監控領域。本方法是a、獲得當前幀序列圖片；b、獲取當前幀的灰度值序列圖片；c、獲得當前幀邊緣、幀間差邊緣的二值化圖像特征d、獲得當前幀運動車輛的邊緣特征；e、獲得當前幀陰影的邊緣特征；f、獲得當前幀陰影的準確邊緣特征；g、獲得準確的運動車輛邊緣特征的圖片序列；h、從圖片序列中提取運動車輛的具體坐標。本發明為智能交通系統的運動車輛檢測提供了基于視頻檢測的捕獲方案，系統安裝更加簡單，且易于維護；提升了運動車輛的捕獲率，提升了機動車輛的位置檢測精度。
文檔編號H04N5/232GK102881161SQ20121036779
公開日2013年1月16日 申請日期2012年9月28日 優先權日2012年9月28日
發明者張仁輝, 萬晨 申請人:武漢烽火眾智數字技術有限責任公司