本發明屬于計算機機器視覺檢測技術領域,用于在內河河道船舶航行參數的監測中,使用融合區域紋理梯度的方法去除船舶陰影對船舶航行參數測量的影響,為一種融合區域紋理梯度的船舶陰影去除方法。
背景技術:
為了保障內河河道的航運安全以及對船舶運行狀態事實監測的需要,目前借助于監控視頻實時提取內河船舶運行流量等參數的船舶檢測系統得以廣泛應用。在監測過程中需要獲取船舶的位置、速度、長寬等信息,這些信息對規范船舶型號、防止橋梁碰撞、檢測船只超速等都有重要的意義。但在實際的河道監測視頻中目標(船舶)一般都存在陰影,而陰影的存在導致無法對船舶運行參數進行精確的檢測;甚至可能導致兩個或多個目標檢測為一個目標,造成檢測錯誤。因此在對河道監控視頻進行船舶參數檢測時,需要將船舶陰影去除。
傳統顏色紋理陰影去除方法(se-ct,shadoweliminationbasedoncolorandtexture)主要結合顏色和紋理不變性特征分割目標和陰影。由陰影光譜屬性可知,陰影區域中的像素點的光強度比背景區域的要小。在陰影區域中rg分量的反射比b分量的強,同時陰影覆蓋的背景區,其b分量增加、rg分量減小;在光照條件不斷變化的環境中,紋理不變性常被用來做陰影檢測。
然在實際的河道監控環境下,由于水面波紋的原因陰影覆蓋前后區域的紋理特征不變性這一假設并不總是成立的。傳統的視頻檢測方法往往難以有效區分船體邊界,造成顏色、紋理相似的前景和陰影區域檢測相混淆。在河道這一特定環境下,船舶陰影去除任然是一個具有挑戰的問題。
技術實現要素:
本發明需要解決的技術問題是:陰影覆蓋前后,水面區域的紋理特征不變性這一假設并不總是成立,從而導致傳統陰影檢測方法往往難以有效區分船體邊界,造成顏色、紋理相似的前景和陰影區域檢測相混淆。
本發明的技術方案為:融合區域紋理梯度的船舶陰影去除方法,根據內河河道的監控視頻,采用改進的顏色及紋理特征對船舶陰影區域進行預檢測,再利用梯度填充的方法來優化確定最終的陰影位置,進而去除陰影,具體步驟如下:
1)利用監控視頻的連續視頻幀構建河道背景模型,并對視頻圖像中的河道進行興趣域檢測及標定,采用混合高斯模型進行前景的提取,并根據連續視頻幀的輸入不斷更新背景幀b;
2)對提取出的前景目標利用改進的顏色特征對陰影區域進行初步檢測:
2.1)獲取前景目標區域內的每一個像素點的hsv值;
2.2)候選陰影區域spt(p)定義為:
式中,
3)利用改進的lbp紋理特征對陰影區域進行檢測:
對步驟2)的候選陰影區域利用紋理特征進一步優化,更新候選陰影區域,改進的lbp紋理特征如下:
式中,(x0,y0)為候選陰影區域的中心像素點的坐標,gc為中心像素點的灰度值,gp和gq為以(x0,y0)為中心的3×3窗口上對稱像素點的灰度值,gm為以(x0,y0)為中心的周圍圓邊上的m個對稱像素點;
4)對更新處理后得到的陰影候選區域使用梯度填充的方法來優化得到最終的陰影區域;
5)把混合高斯模型提取出來的前景區域與最終標出的陰影區域做圖像差分,得到去除陰影的船舶目標。
進一步的,步驟4)獲取最終的陰影區域具體為:
4.1)對于步驟2)-3)處理后得到的陰影候選區域中的每一塊連通域,像素點p(x,y)的梯度幅值
式中,
對于具有顯著權重的像素點p=(x,y),計算t時刻視頻幀f和背景幀b的梯度差δθp:
4.2)利用t時刻視頻幀f和背景幀b在梯度方向上的相關性判斷陰影區域,如下式:
式中,s為陰影檢測的結果,n為候選陰影區域像素的個數,τa為梯度閾值;τc為給定的梯度差閾值,如果s大于τc,則像素點屬于陰影區域,否則屬于前景,對檢測出的陰影采用數學形態學的閉運算來填充陰影掩碼,降低噪聲影響,得到最終的陰影區域。
本發明針對內河河道這一特定場景,提出了一種融合區域紋理梯度的船舶陰影去除方法,有效解決了傳統的陰影檢測方法在實際的監控視頻流中,由于陰影覆蓋前后區域的紋理特征不變性這一假設并不總是成立的,造成的難以有效區分船體邊界,造成顏色、紋理相似的前景和陰影區域檢測相混淆的問題;提高了對內河船舶航行參數的檢測精度,特別是對準確獲得船舶尺寸具有重要意義。
附圖說明
圖1是本發明方法實現船舶陰影去除的流程步驟框圖。
圖2是本發明方法中船舶陰影去除各步驟結果圖,(a)為輸入圖像,(b)為混合高斯建模,(c)為基準圖,(d)為改進顏色特征,(e)為改進紋理特征,(f)為梯度填充,(g)為陰影檢測,(h)為陰影去除,(i)為匹配跟蹤。
圖3是本發明改進的lbp紋理檢測方法中,3×3窗口鄰接像素點模版的實施例。
具體實施方式
以下結合附圖和具體實施例對本發明進行詳細說明。
參照圖1,本發明給出一種內河河道特定場景下的實現船舶陰影去除流程包括以下步驟:
步驟(1):首先從視頻源獲取視頻,然后采用混合高斯模型提取出帶有陰影的前景目標區域,使用混合高斯模型提取出來的前景圖像如圖2(b)所示。
步驟(2):前面的步驟中,前景區域是通過混合高斯模型來進行提取的,相較于rbg空間,在hsv空間中,由于亮度和色度是分開的,所以該空間適用于可見的陰影檢測,對于提取出來的前景區域,本發明選擇hsv顏色空間檢測陰影。對于提取出來的前景區域,獲取區域內以及對應區域的背景模型內的每一個像素點的hsv值,使用改進的顏色特征篩選出候選陰影區域spt(p)。根據hsv值綜合判斷陰影區域的定義如下:
式中,
由上述改進的顏色特征篩選出來的陰影候選區域如圖2(d)所示。
由于傳統的lbp紋理特征提取是利用圖像選定區域的中心像素與其周圍局部像素進行閾值對比,如果中心像素的亮度不小于相鄰像素值,標記為1,否則標記為0,并將最終的結果求和。而這樣的檢測算法抗噪聲性能差,細微的噪聲都會引起陰影像素的誤檢和漏檢,但由于水面波紋總是存在的,因此噪聲也是無法避免的。針對這個問題步驟(3)提出了一種基于改進的lbp紋理特征陰影檢測的方法,并從步驟(2)得到的候選陰影掩膜中利用這種方法進一步優化。這種改進的lbp紋理特征陰影檢測方法將中心像素點與周圍圓邊上的對稱像素點做多次比較。
步驟(3)具體為:在步驟(2)篩選出的陰影候選區域中,使用改進的lbp紋理特征做進一步優化,更新候選陰影區域。改進的lbp特征定義如下:
式中,(x0,y0)為候選陰影區域中心像素點的坐標,gc為中心像素點的灰度值,gp和gq為以(x0,y0)為中心的3×3窗口上對稱像素點的灰度值,gm為以(x0,y0)為中心的周圍圓邊上的m個對稱像素點。本步驟將候選陰影區域中心像素點與周圍圓邊上的對稱像素點做多次比較后,用lbp(x,y)值代替中心像素點(x0,y0)的灰度值,進而更新候選陰影區域。
改進的lbp紋理檢測方法中,3×3窗口鄰接像素點模版如圖3所示。
根據上述改進lbp特征得到的陰影候選區域如圖2(e)所示。
步驟(4)采用梯度填充的方法獲取最終陰影區域。
首先對于步驟2)-3)處理后得到的陰影候選區域中的每一塊連通域,像素點p(x,y)的梯度幅值
式中,
對于具有顯著特征的像素p=(x,y),計算前景幀(f)和背景幀(b)的梯度差:
這里具有顯著特征是指:經過上面各步驟的處理,在船舶與水面交界處,會有一些像素點還沒有辦法判斷是否是陰影區域,所謂顯著,簡單講就是一個白色像素點周圍都是黑色的,那么這個白色的像素點就是顯著的。
梯度填充的方法利用當前幀和背景幀在梯度方向上的相關性判斷陰影區域,表示如下:
式中,s為陰影檢測的結果,n為候選陰影區域像素的個數。τa為梯度閾值。如果s大于給定的梯度差閾值τc,則像素點屬于陰影區域,否則屬于前景。對檢測出的陰影采用數學形態學的閉運算來填充陰影掩碼,降低噪聲影響,得到最終的陰影區域。梯度填充后的陰影圖像如圖2(f)所示,最終檢測出來的陰影區域如圖2(g)所示。
步驟(5)把混合高斯模型提取出來的前景區域與最終標出的陰影區域做圖像差分以得到去除陰影的船舶目標,結果如圖2(h)所示。
如圖2(a)所示,在船舶與水面交界部分,其顏色與紋理特征變化不明顯。如圖2(d)和圖2(e)所示僅通過顏色及紋理特征無法準確提取出陰影部分。因此對上面得到的結果再使用本發明提到的梯度修復的方法可以更加準確地區分水面與船舶的交界,最后采用本發明方法得到的去除陰影后的船舶目標如圖2(h)所示。參照圖2(c)基準圖,陰影去除效果優秀,完全滿足實時性要求。