連續(xù)型道路分割物檢測方法和裝置制造方法
【專利摘要】公開了具有高度的連續(xù)型道路分割物檢測方法和檢測裝置。所述檢測方法包括：獲得包括該連續(xù)型道路分割物的視差圖以及對(duì)應(yīng)的U視差圖；獲取從前N幀的U視差圖檢測到該連續(xù)型道路分割物時(shí)的中間檢測結(jié)果；利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物。
【專利說明】連續(xù)型道路分割物檢測方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體涉及圖像處理，更具體地涉及連續(xù)型道路分割物的檢測方法和檢測裝置。
【背景技術(shù)】
[0002]駕駛輔助系統(tǒng)的應(yīng)用日漸普及。而道路或車道警告系統(tǒng)(Lane/Road detectionwarning, LDW/RDW)是駕駛輔助系統(tǒng)的子系統(tǒng)，可以避免碰撞，更準(zhǔn)確地確定駕駛方向等。道路或車道檢測對(duì)于LDW/RDW系統(tǒng)非常關(guān)鍵，只有在知道了道路信息的基礎(chǔ)上才可能做進(jìn)一步的處理，例如警告。一般通過檢測道路分割物來檢測道路或車道。
[0003]道路分割物包括路肩石、白線、柵欄和其他能夠標(biāo)識(shí)路的區(qū)域以及車道的物體。在道路分割物中，存在具有一定高度的連續(xù)型道路分割物，常見的比如柵欄、灌木叢、路肩石
坐寸o
[0004]對(duì)于具有一定高度的連續(xù)型道路分割物，目前已經(jīng)提出了一些檢測方法。
[0005]例如，在非專利文獻(xiàn)1，Giancarlo Alessandretti, Alberto Broggi, and PietroCerri 等人的文章 Vehicle and Guard Rail Detection Using Radar and Vision DataFusion, IEEE 2007 TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS 中，介紹了一種雷達(dá)和光學(xué)相機(jī)相結(jié)合輸入的車輛和柵欄檢測方法。雷達(dá)圖像輔助提供了灰度圖像無法獲取的材質(zhì)信息，從而幫助實(shí)現(xiàn)車輛和柵欄的檢測。然而，該方法由于環(huán)境條件的變化和視覺上產(chǎn)生的幾何形變，因此在實(shí)際應(yīng)用過程中很難獲得穩(wěn)定的結(jié)果，并且運(yùn)算量也非常大。
[0006]因此，希望能提供一種具有一定高度的連續(xù)型道路分割物的檢測技術(shù)，該技術(shù)能夠在復(fù)雜的環(huán)境中更加穩(wěn)定準(zhǔn)確，具有較高的檢測率，并且運(yùn)算量能夠大幅減少。

【發(fā)明內(nèi)容】

[0007]根據(jù)本發(fā)明的一個(gè)方面，提供了一種具有高度的連續(xù)型道路分割物檢測方法，包括:獲得包括該連續(xù)型道路分割物的視差圖以及對(duì)應(yīng)的U視差圖；獲取從前N幀的U視差圖檢測到該連續(xù)型道路分割物時(shí)的中間檢測結(jié)果；利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物。
[0008]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種具有高度的連續(xù)型道路分割物檢測裝置，包括:圖像獲取部分，用于獲得包括該連續(xù)型道路分割物的視差圖以及對(duì)應(yīng)的U視差圖；中間檢測結(jié)果獲取部分，用于獲取從前N幀的U視差圖檢測到該連續(xù)型道路分割物時(shí)的中間檢測結(jié)果；檢測部分，用于利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物。
[0009]在根據(jù)本發(fā)明的實(shí)施例的具有高度的連續(xù)型物體檢測方法和裝置中，通過追蹤獲取并利用在歷史幀U視差圖中進(jìn)行檢測的中間檢測結(jié)果，來從當(dāng)前幀U視差圖檢測連續(xù)型道路分割物，因此可以大大減少檢測的計(jì)算量，提聞檢測準(zhǔn)確性，并提聞檢測效率。【專利附圖】

【附圖說明】
[0010]圖1示意性地示出了具有柵欄部分的視差圖以及對(duì)應(yīng)的U視差圖和V視差圖；
[0011]圖2示出了根據(jù)本發(fā)明第一實(shí)施例的柵欄檢測方法的總體流程圖；
[0012]圖3示出了根據(jù)本發(fā)明第一實(shí)施例的柵欄檢測方法的子流程圖；
[0013]圖4是柵欄在U視差圖中的示意圖；
[0014]圖5是柵欄在U視差圖中的另一示意圖；
[0015]圖6示意性地示出了視差圖中平行于地面的切片、視差圖落在切片上的視差點(diǎn)形成的V視差圖以及視差圖落在切片上的視差點(diǎn)形成的U視差圖；
[0016]圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的具有高度的連續(xù)型道路分割物檢測裝置的總體配置圖；以及
[0017]圖8是示出根據(jù)本發(fā)明實(shí)施例的具有高度的連續(xù)型道路分割物檢測系統(tǒng)的總體硬件框圖。
【具體實(shí)施方式】
[0018]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0019]在本發(fā)明的實(shí)施例中，使用了視差、視差圖、V視差圖和U視差圖的概念。這些概念是本領(lǐng)域公知的，因此在這里只對(duì)這些概念進(jìn)行簡單的介紹。
[0020]視差，是指從相隔一定距離的兩個(gè)點(diǎn)觀察同一個(gè)目標(biāo)所產(chǎn)生的方向差異。當(dāng)利用例如雙目相機(jī)拍攝同一個(gè)目標(biāo)的左右兩幅圖像時(shí)，該目標(biāo)的視差可以理解為該目標(biāo)在左圖像中的橫坐標(biāo)與在右圖像中的橫坐標(biāo)之間的差。
[0021]視差圖(disparity map)是以任一圖像為基準(zhǔn)圖像，其尺寸為該基準(zhǔn)圖像的尺寸，并且其每個(gè)點(diǎn)(像素點(diǎn))的灰度值為基準(zhǔn)圖像中對(duì)應(yīng)點(diǎn)的視差的圖像。可以以本領(lǐng)域公知的很多方式獲得視差圖。例如，可以從雙目相機(jī)拍攝的左圖像和右圖像計(jì)算得到視差圖，可以從多目相機(jī)或立體相機(jī)拍攝的圖像計(jì)算得到視差圖，或者可以通過立體視圖中的深度圖計(jì)算得到視差圖。
[0022]基準(zhǔn)圖像中的點(diǎn)的坐標(biāo)可以表示為(x，y)，其中X為橫坐標(biāo)，y為縱坐標(biāo)。在通過轉(zhuǎn)換該基準(zhǔn)圖像而獲得的二維視差圖中，與點(diǎn)(x，y)對(duì)應(yīng)的點(diǎn)的坐標(biāo)可以表示為U，V)，其中u為橫坐標(biāo),V為縱坐標(biāo),并且u=x, v=y。視差圖中每個(gè)點(diǎn)處的灰度值為該點(diǎn)處的視差,用d表示。可替換地，可以將視差圖中的點(diǎn)表示為U，V，d)以便同時(shí)反映點(diǎn)的坐標(biāo)和視差。
[0023]V視差圖和U視差圖可以從視差圖導(dǎo)出。V視差圖看起來像是原始三維場景的測視圖，其橫坐標(biāo)軸為d軸，縱坐標(biāo)軸為V軸，其上的點(diǎn)可表示為(d，V)，并且點(diǎn)(d，v)的灰度值(亮度值)是對(duì)應(yīng)視差圖的縱坐標(biāo)為V的行中視差等于d的點(diǎn)的數(shù)量，因此，可以通過統(tǒng)計(jì)該數(shù)量或者使用本領(lǐng)域公知的其他方法來從視差圖導(dǎo)出V視差圖。U視差圖看起來像是原始三維場景的鳥瞰圖，其橫坐標(biāo)軸為u軸，縱坐標(biāo)軸為d軸，其上的點(diǎn)可表示為(u，d)，并且點(diǎn)U，d)的灰度值(亮度值)是對(duì)應(yīng)視差圖的橫坐標(biāo)為u的列中視差等于d的點(diǎn)的數(shù)量，因此，可以通過統(tǒng)計(jì)該數(shù)量或者使用本領(lǐng)域公知的其他方法來從視差圖導(dǎo)出U-視差圖。圖1示意性地示出了具有柵欄部分的視差圖以及對(duì)應(yīng)的U視差圖和V視差圖。
[0024]根據(jù)本發(fā)明實(shí)施例的檢測技術(shù)可以應(yīng)用于任何具有高度的連續(xù)型道路分割物。所謂具有高度的連續(xù)型道路分隔物指的是以路面為基準(zhǔn)具有一定高度、并沿道路方向延伸的具有分割道路功能的物體，例如路邊的柵欄、灌木叢、路肩石等。需要注意的是，這里物體的高度無需固定，也不需要等高。在下文中將以柵欄為例，對(duì)根據(jù)本發(fā)明實(shí)施例的用于檢測具有高度的連續(xù)型道路分割物的方法進(jìn)行描述。
[0025]<第一實(shí)施例>
[0026]圖2示出了根據(jù)本發(fā)明第一實(shí)施例的柵欄檢測方法的總體流程圖。
[0027]如圖2所示，在步驟S21中，獲得包括該柵欄的視差圖以及對(duì)應(yīng)的U視差圖。
[0028]任何現(xiàn)有的獲取視差圖的方法均可以用于本發(fā)明。例如，可以通過雙目相機(jī)、多目相機(jī)、立體相機(jī)拍攝并計(jì)算得到包括柵欄的視差圖。具體地，例如，可以通過雙目相機(jī)來拍攝左圖像和右圖像，基于左圖像和右圖像計(jì)算得到視差圖。或者，可以從立體視圖中獲得深度圖，根據(jù)深度圖得到視差圖。獲得視差圖后，由視差圖變換得到對(duì)應(yīng)的U視差圖和對(duì)應(yīng)的V視差圖。
[0029]在步驟S22中，獲取從前一幀的U視差圖檢測到柵欄時(shí)的中間檢測結(jié)果。
[0030]一般情況下，柵欄呈直線形式延伸，因而在U視差圖中表現(xiàn)為直線，從而可以通過在U視差圖中檢測直線來檢測柵欄。具體地，可以使用各種直線檢測方法在U視差圖中檢測直線從而定位柵欄的位置，隨后通過用預(yù)定的檢測參數(shù)對(duì)檢測出的直線進(jìn)行過濾，獲得最終的檢測結(jié)果。眾所周知，存在著多種從圖像中檢測直線的方法，在以下的說明中，將以霍夫變換為例進(jìn)行描述。
[0031]霍夫變換是一 種常用的從圖像中檢測直線的方法。平面直角坐標(biāo)系中的直線方程y=kx+b經(jīng)過霍夫變換可以表示為r = X ? cos 0 +y ? sin 0 ,其中r表示該直線與原點(diǎn)之間的距離，而0表示該直線與X軸的夾角。這樣，對(duì)于具有坐標(biāo)(x0，y0)的任意一點(diǎn)，穿過該點(diǎn)的所有直線滿足r( 0 ) =X0 ? cos 0 +y0 ? sin 0。當(dāng)通過霍夫變換檢測直線時(shí),對(duì)于圖像中的每一個(gè)點(diǎn)確定穿過該點(diǎn)的以r，0的形式表示的直線的集合(即對(duì)于0°到360°的范圍中以一定角度間隔取樣的每一個(gè)9角計(jì)算對(duì)應(yīng)的r值)，穿過每一個(gè)點(diǎn)的直線的集合的坐標(biāo)可以構(gòu)成霍夫空間中的一條曲線，多條曲線在霍夫空間中的交點(diǎn)代表由相應(yīng)點(diǎn)形成的直線。通常，由最多條曲線相交形成的交點(diǎn)代表檢測出的直線。
[0032]在檢測連續(xù)視頻信號(hào)中的柵欄時(shí)，一種最基本的方式是在每一幀U視差圖中單獨(dú)地檢測直線以確定柵欄的位置，即在當(dāng)前幀U視差圖中進(jìn)行檢測時(shí)不參考在歷史各幀的U視差圖中檢測到直線時(shí)的參數(shù)；或者僅僅參考?xì)v史各幀中的最終檢測結(jié)果在當(dāng)前幀U視差圖中進(jìn)行檢測。容易想到，這樣的檢測方法的檢測效率必然較低，并且計(jì)算量很大。
[0033]如上所述，柵欄通常呈連續(xù)的直線形式延伸，因此在通過例如上述霍夫變換檢測直線時(shí)，相鄰若干幀U視差圖中檢測到的直線的0角應(yīng)該變化不大。因此，當(dāng)在當(dāng)前幀U視差圖中檢測直線時(shí)，可以追蹤并利用前一幀U視差圖中檢測到的直線的0角，從而減小當(dāng)前幀中進(jìn)行檢測所需的計(jì)算量。
[0034]在步驟S23中，利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測柵欄。
[0035]在該步驟中，利用所獲得的中間檢測結(jié)果，同樣使用例如霍夫變換在當(dāng)前幀U視差圖中檢測直線從而定位柵欄的位置，隨后通過用預(yù)定的檢測參數(shù)對(duì)檢測出的直線進(jìn)行過濾，獲得最終的檢測結(jié)果。圖3示出了該處理過程的示例性流程圖。下面，將結(jié)合圖3進(jìn)行具體的描述。[0036]在步驟S231，根據(jù)所獲得的中間檢測結(jié)果縮小從當(dāng)前幀U視差圖進(jìn)行檢測的范圍。具體的，在當(dāng)前幀中，僅在從步驟S220獲得的、在前一幀U視差圖中檢測到的直線的0角的周圍(即+/-A°的范圍中)以一定角度間隔取樣e角并計(jì)算對(duì)應(yīng)的r值，即縮小了檢測直線的霍夫空間，從而可以減小計(jì)算量。
[0037]在步驟S232，在縮小后的范圍中檢測出候選柵欄。具體的，例如在利用霍夫變換檢測直線時(shí)，確定縮小的霍夫空間中的峰值點(diǎn)，即由最多條曲線相交形成的交點(diǎn)，由此得到由該峰值點(diǎn)表示的直線。
[0038]在步驟S233，判斷檢測出的候選柵欄是否滿足預(yù)定的檢測參數(shù)的閾值條件，并且當(dāng)滿足閾值條件時(shí)，將該檢測出的候選柵欄作為檢測結(jié)果。所述檢測參數(shù)及其閾值條件用于反映目標(biāo)柵欄的特征，并且可以根據(jù)具體情況和要求預(yù)先確定。例如，閾值條件可以是直線上的點(diǎn)數(shù)是否達(dá)到要求閾值(例如250個(gè)點(diǎn))、檢測出的直線的長度是否滿足最小閾值(例如對(duì)應(yīng)于250個(gè)像素值的長度)、形成的直線上是否有超過閾值(例如40個(gè)像素)的裂口，等等任何適當(dāng)?shù)臈l件。只有當(dāng)檢測出的柵欄滿足閾值條件時(shí)，才將其作為正確的檢測結(jié)果。
[0039]在以上的描述中，在從當(dāng)前幀U視差圖檢測柵欄時(shí)，僅追蹤并利用前一幀U視差圖中檢測到的直線的0角。事實(shí)上，追蹤并利用前N幀U視差圖中檢測到的直線的0角，以在當(dāng)前幀U視差圖中進(jìn)行檢測也是可以的。例如，可以在步驟S22中獲取分別對(duì)應(yīng)于前N幀U視差圖的N個(gè)0角，隨后通過例如加權(quán)取平均值、簡單取平均值等任何適當(dāng)?shù)姆椒ù_定在步驟S23中將要利用的0角。接著在步驟S23中，利用該確定的0角，從當(dāng)前幀U視差圖檢測柵欄。
[0040]上面以霍夫變換為例對(duì)根據(jù)本發(fā)明實(shí)施例的柵欄檢測方法進(jìn)行了描述。實(shí)際上，可以采用各種其他線檢測方法在U視差圖中檢測直線從而定位柵欄的位置。容易理解，當(dāng)采用除了霍夫變換以外的其他線檢測方法時(shí)，可以類似地追蹤獲取和利用相應(yīng)的中間檢測參數(shù)。
[0041]在上述本發(fā)明第一實(shí)施例的檢測方法中，通過追蹤獲取并利用前N幀的U視差圖檢測到柵欄時(shí)的中間檢測結(jié)果，來從當(dāng)前幀U視差圖檢測柵欄。因此，可以大大減少檢測的計(jì)算量，提高檢測準(zhǔn)確性，并提高檢測效率。
[0042]<第二實(shí)施例>
[0043]在第一實(shí)施例中，通過追蹤獲取并利用歷史幀的U視差圖的中間檢測結(jié)果，減少了當(dāng)前幀的檢測中的計(jì)算量，從而提高了檢測效率。在本實(shí)施例中，通過追蹤并自適應(yīng)地調(diào)整檢測參數(shù)的閾值條件，進(jìn)一步提高了檢測效率，同時(shí)增加了檢測物體時(shí)的適應(yīng)性和魯棒性。
[0044]如前所述，檢測參數(shù)及其閾值條件用于反映目標(biāo)柵欄的特征，并且可以根據(jù)具體情況和要求預(yù)先確定。直線檢測參數(shù)通常有兩種類型，一種是基本參數(shù)，例如最小線長，最大裂口長度等，它們一般根據(jù)道路狀況和柵欄特點(diǎn)變化比較小；另一種是特別參數(shù)，例如線上點(diǎn)的數(shù)目、線上點(diǎn)的密度，點(diǎn)在線上的允許誤等，這些參數(shù)會(huì)受到例如光照、天氣等環(huán)境的影響，因此相較于基本參數(shù)變化較大。對(duì)于這兩種參數(shù)，都可以進(jìn)行追蹤，并根據(jù)當(dāng)前幀的信息(例如直方圖、U視差圖中像素點(diǎn)的個(gè)數(shù)等等)或歷史幀和當(dāng)前幀中應(yīng)用的檢測參數(shù)的閾值進(jìn)行自適應(yīng)的調(diào)整，以便更加適應(yīng)各種環(huán)境變化，提高檢測的準(zhǔn)確率和效率。
[0045]檢測參數(shù)及其閾值條件的含義以及如何選擇適當(dāng)?shù)臋z測參數(shù)并設(shè)定其閾值條件均是本領(lǐng)域技術(shù)人員公知的。此處，對(duì)其中示例性的最小線長、最大裂口長度、線上點(diǎn)的數(shù)量、線上點(diǎn)的密度、點(diǎn)在線上的允許誤差進(jìn)行簡單的介紹，以便于理解本發(fā)明。
[0046]最小線長是對(duì)檢測出的直線的長度的要求。當(dāng)檢測出的直線的長度達(dá)到閾值時(shí)，該直線才有可能被保留下來作為檢測結(jié)果。
[0047]由于目標(biāo)柵欄未必總是連續(xù)的，所以代表柵欄的直線可能會(huì)有斷斷續(xù)續(xù)的情況，允許一定程度的斷裂可以增加檢測到完整目標(biāo)物體的機(jī)會(huì)。因此，用最大裂口長度描述允許在直線上存在的裂口的最大長度。
[0048]線上點(diǎn)的密度是一個(gè)重要的參數(shù)，如果檢測出的直線上的點(diǎn)的密度大于該密度閾值，則認(rèn)為該直線上有足夠的點(diǎn)，因此是有效的；否則若密度過低，則認(rèn)為該直線是無效的，即不能作為檢測結(jié)果。
[0049]線上點(diǎn)的數(shù)目與線上點(diǎn)的密度是類似的，如果檢測出的直線上的點(diǎn)的數(shù)目大于閾值，則認(rèn)為該直線上有足夠的點(diǎn)，因此是有效的；否則若數(shù)目過少，則認(rèn)為該直線是無效的，即不能作為檢測結(jié)果。
[0050]由于點(diǎn)的分布是雜亂無章的，因此各個(gè)點(diǎn)不一定完全準(zhǔn)確地落在某條直線上，因此允許一定的距離誤差就能使得更多的點(diǎn)落在線上，增加檢測到完整目標(biāo)物體的機(jī)會(huì)。點(diǎn)在線上的允許誤差是用于反映這一特征的檢測參數(shù)。只要點(diǎn)到線的距離小于該參數(shù)的設(shè)定閾值，則認(rèn)為點(diǎn)在該條直線上。例如，以通過霍夫變換檢測直線為例，如前所述，穿過每一個(gè)點(diǎn)的直線的集合的坐標(biāo)可以構(gòu)成霍夫空間中的一條曲線，多條曲線在霍夫空間中的交點(diǎn)代表由相應(yīng)點(diǎn)形成的直線。當(dāng)多個(gè)點(diǎn)準(zhǔn)確的落在某一條直線上時(shí)，多條對(duì)應(yīng)的曲線在霍夫空間中的交點(diǎn)的尖峰形態(tài)很強(qiáng)，即該交點(diǎn)是一個(gè)精確的點(diǎn)。然而當(dāng)各個(gè)點(diǎn)不能完全準(zhǔn)確落在某條直線上，所述交點(diǎn)的尖峰形態(tài)可能較為平緩，即該交點(diǎn)并非是一個(gè)精確的點(diǎn)，而是某一小的區(qū)域，此時(shí)需要設(shè)定點(diǎn)在線上的允許誤差。更明確的說，交點(diǎn)的尖峰形態(tài)越平緩，點(diǎn)在線上的允許誤差應(yīng)該設(shè)定得相對(duì)越大。
[0051]容易理解，檢測參數(shù)并不止以上所舉例說明的，而是可以根據(jù)具體環(huán)境設(shè)定任何適當(dāng)?shù)钠渌麢z測參數(shù)。
[0052]根據(jù)本實(shí)施例的柵欄檢測方法與第一實(shí)施例中的方法基本相同，其區(qū)別僅在于步驟S232。具體的，在本實(shí)施例的該步驟S232’中，當(dāng)縮小后的范圍中能夠形成柵欄的像素點(diǎn)數(shù)目太少時(shí)，調(diào)整檢測參數(shù)的閾值，同時(shí)在該縮小后的范圍中檢測出候選的柵欄。
[0053]舉例來說，假設(shè)在拍攝原始三維場景圖時(shí)，由于不同天氣、不同時(shí)間、不同光照、不同場景等環(huán)境因素的影響，導(dǎo)致固定閾值產(chǎn)生很多局限性，例如某一段時(shí)間內(nèi)光照較弱導(dǎo)致曝光量較低，導(dǎo)致當(dāng)前幀的U視差圖中可能形成柵欄的像素點(diǎn)的數(shù)目太少(例如小于某一閾值)，以致將從該U視差圖中檢測出的直線將無法滿足上述檢測參數(shù)的閾值條件。此時(shí)，可以調(diào)整檢測參數(shù)的閾值，以降低對(duì)檢測出的直線的參數(shù)要求，使得在后續(xù)的步驟S233中能夠得到滿足檢測參數(shù)的閾值條件的檢測結(jié)果。例如，在當(dāng)前幀的U視差圖中有可能形成柵欄的像素點(diǎn)的數(shù)目太少時(shí)，可以減小例如前述的最小線長、線上點(diǎn)的數(shù)量、線上點(diǎn)的密度的閾值，也可以增大例如最大裂口長度、點(diǎn)在線上的允許誤差的閾值。通過這種自適應(yīng)的調(diào)整檢測參數(shù)，可以減少漏檢并提高檢測效率。可以理解，如果當(dāng)前幀的U視差圖中可能形成柵欄的像素點(diǎn)的數(shù)目太多，也可以與上述調(diào)整相反地調(diào)整檢測參數(shù)的閾值，以提高對(duì)檢測出的直線的參數(shù)要求，從而提高檢測的精確度。[0054]以上描述了根據(jù)當(dāng)前幀U視差圖的信息自適應(yīng)地調(diào)整該當(dāng)前幀U視差圖中應(yīng)用的檢測參數(shù)的閾值。另一方面，在本實(shí)施例中，可以根據(jù)歷史幀和當(dāng)前幀U視差圖的信息特征自適應(yīng)的調(diào)整檢測參數(shù)，從而增加檢測物體時(shí)候的適應(yīng)性和魯棒性。
[0055]例如，假設(shè)如上所述由于突發(fā)環(huán)境因素例如反光等，導(dǎo)致曝光變化從而影響獲取圖像質(zhì)量，因此在從當(dāng)前幀的U視差圖檢測柵欄時(shí)對(duì)檢測參數(shù)的閾值進(jìn)行了較大的調(diào)整，而在下一幀中導(dǎo)致曝光量變化的突發(fā)環(huán)境因素消失，即環(huán)境因素又恢復(fù)到與形成歷史幀U視差圖時(shí)相似。或者，例如假設(shè)在從當(dāng)前幀的U視差圖檢測柵欄時(shí)，錯(cuò)誤地對(duì)檢測參數(shù)的閾值進(jìn)行了較大的調(diào)整。可以理解，此時(shí)該進(jìn)行了較大的調(diào)整的檢測參數(shù)顯示不適合后續(xù)幀的U視差圖。為了解決這一問題，可以在第一實(shí)施例中描述的檢測方法的步驟S23之后，追蹤當(dāng)前幀U視差圖和至少前一幀U視差中應(yīng)用的檢測參數(shù)的閾值，并據(jù)此調(diào)整將在下一幀U視差圖中應(yīng)用的檢測參數(shù)的閾值，以避免局部最小值問題。
[0056]舉例來說，假設(shè)當(dāng)前幀為t，則對(duì)于以上作為示例描述的幾個(gè)檢測參數(shù)，可以根據(jù)下面的計(jì)算式調(diào)整第t+1幀中使用的檢測參數(shù)的閾值:
[0057]最小線長:length(t+1) =F (length (t), length (t_l), length (t_2),...)
[0058]最大裂口長度:gap(t+l)=F(gap(t), gap(t-l), gap(t_2),...)
[0059]線上點(diǎn)的數(shù)量:numinline(t+1) =F (numinline (t)，numinline (t_l)，
[0060]numinline (t_2)，…)
[0061]線上點(diǎn)的密度:density(t+1) =F (density (t), density (t_l), density (t_2)，…)
[0062]點(diǎn)在線上的允許誤差:bias(t+1) =F (bias (t), bias (t~l), bias(t_2),…)(I) [0063]其中F(...)可以是任何進(jìn)行追蹤調(diào)整的算法，例如為了考慮處理速度可以采用簡單的計(jì)算平均值的方式。并且從上面的計(jì)算式中可以看出，可以基于當(dāng)前幀和N個(gè)歷史幀中的檢測參數(shù)進(jìn)行調(diào)整，其中N > 1，并且具體取值可以根據(jù)具體情況由用戶適當(dāng)?shù)卦O(shè)定。
[0064]在上述本發(fā)明第二實(shí)施例的檢測方法中，描述了根據(jù)當(dāng)前幀U視差圖的信息自適應(yīng)地調(diào)整當(dāng)前幀U視差圖中應(yīng)用的檢測參數(shù)的閾值，以及跟蹤獲取當(dāng)前幀U視差圖和歷史幀U視差圖的信息自適應(yīng)地調(diào)整下一幀U視差圖中應(yīng)用的檢測參數(shù)的閾值。通過這樣的自適應(yīng)調(diào)整,能夠進(jìn)一步提高檢測效率，同時(shí)增加檢測物體時(shí)的適應(yīng)性和魯棒性。
[0065]<第三實(shí)施例>
[0066]根據(jù)本實(shí)施例的柵欄檢測方法與第一實(shí)施例和第二實(shí)施例中的方法基本相同，其區(qū)別僅在于在步驟S231之前還包括步驟S230:確定U視差圖中包含有柵欄的感興趣區(qū)域。也就是說，在本實(shí)施例中，不是從包含有柵欄的整個(gè)U視差圖中進(jìn)行檢測，而是僅在整個(gè)U視差圖中的感興趣區(qū)域中進(jìn)行檢測。
[0067]感興趣區(qū)域通常是根據(jù)實(shí)驗(yàn)結(jié)果或者歷史經(jīng)驗(yàn)確定的。例如，在觀察很多柵欄在U視差圖上的位置后總結(jié)出，左側(cè)柵欄的角度通常在30度和45之間，如圖4和圖5所示。由此可以確定U視差圖中包含柵欄的感興趣區(qū)域(即角度在30度和45之間的區(qū)域)，并且通過僅在該感興趣區(qū)域中進(jìn)行檢測，可以提高檢測率和縮短計(jì)算時(shí)間。類似的，可以根據(jù)柵欄的例如位置、長度范圍等確定U視差圖中的感興趣區(qū)域。
[0068]< 變型 >
[0069]以上已經(jīng)對(duì)根據(jù)本發(fā)明實(shí)施例的柵欄檢測方法進(jìn)行了描述，下面將對(duì)所述檢測方法的一些可能的變型進(jìn)行描述。
[0070]在以上的實(shí)施例中，描述了從U視差圖檢測柵欄的方法。如前所述，獲取U視差圖的方法是本領(lǐng)域中公知的，并且由于在拍攝的原始三維場景圖中，路面幾乎是整個(gè)三維場景中的最低平面，因此通常U視差圖是指原始視差圖落在路面上的視差點(diǎn)形成的U視差圖。而在本發(fā)明的一個(gè)變型中，U視差圖采用原始視差圖落在與路面平行的切片上的視差點(diǎn)形成的U視差圖。
[0071]設(shè)想一下，在視差圖對(duì)應(yīng)的三維世界中，用平行于地面的切片切割該三維世界中的所有物體，這時(shí)與切片相交的物體的點(diǎn)都位于同一平行于地面的平面上，通過適當(dāng)選取切片的高度，切片可以只與高度在某范圍內(nèi)的物體相交。例如，在檢測柵欄的情況下，可以在通常的柵欄高度取值范圍內(nèi)安排切片，這樣的切片不與路面上的白線、路基以及高處的建筑物相交，從而避免了這些物體的干擾，使得要處理的切片上的信息大大降低，因此可以減少檢測的計(jì)算量，提聞檢測效率。
[0072]圖6中的左上圖示意性地示出了視差圖中平行于路面的切片，如其中灰色部分所示，圖6中的右上圖示意性地示出了視差圖落在該切片上的視差點(diǎn)形成的V視差圖，其中V視差圖中的直線對(duì)應(yīng)于視差圖中的水平切片，圖6中的左下圖示意性地示出了視差圖落在該切片上的視差點(diǎn)形成的U視差圖，其中的柵欄看起來近似直線。
[0073]為了獲得視差圖落在切片上的視差點(diǎn)形成的U視差圖，可以利用各種已知的方法。例如，參見本 申請(qǐng)人:的申請(qǐng)?zhí)枮?01210147642.5的發(fā)明中描述的示例性方法。
[0074]前面各實(shí)施例均以所檢測的柵欄是直線型的情況加以說明，但本發(fā)明并不局限于此。在本發(fā)明的又一個(gè)變型中，可以對(duì)隨著道路的拐彎而呈彎曲形式的柵欄進(jìn)行檢測。
[0075]具體地，在該變型中可以從包括彎曲柵欄的U視差圖檢測多個(gè)相連但斜率不同的線段來擬合曲線，從而檢測彎曲的柵欄。
[0076]在以上根據(jù)本發(fā)明實(shí)施例的方法中，以柵欄為例進(jìn)行了描述，但如上所述，本發(fā)明的方法可以應(yīng)用任意具有高度的連續(xù)型道路分割物的檢測。
[0077]<具有高度的連續(xù)型道路分割物檢測裝置的總體配置>
[0078]圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的具有高度的連續(xù)型道路分割物檢測裝置的總體配置圖。
[0079]如圖7所示，該連續(xù)型道路分割物檢測裝置700包括:圖像獲取部分710，用于獲得包括該連續(xù)型道路分割物的視差圖以及對(duì)應(yīng)的U視差圖；中間檢測結(jié)果獲取部分720，用于獲取從前N幀的U視差圖檢測到該連續(xù)型道路分割物時(shí)的中間檢測結(jié)果；檢測部分730，用于利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物。
[0080]雖然圖7中未示出，但是該連續(xù)型道路分割物檢測裝置700還可以包括檢測參數(shù)調(diào)整部分，用于追蹤當(dāng)前幀U視差圖和/或至少前一幀U視差中應(yīng)用的檢測參數(shù)的閾值，并據(jù)此調(diào)整將在下一幀U視差圖中應(yīng)用的檢測參數(shù)的閾值。
[0081]另外，雖然圖中并未示出，圖7中的檢測部分730可以例如包括:范圍確定部分，根據(jù)中間檢測結(jié)果縮小從當(dāng)前幀U視差圖進(jìn)行檢測的范圍；候選目標(biāo)檢測部分，在縮小后的范圍中檢測出候選的連續(xù)型道路分割物；檢測結(jié)果確定部分，判斷檢測出的候選的連續(xù)型道路分割物是否滿足預(yù)定的檢測參數(shù)的閾值條件，并且當(dāng)滿足閾值條件時(shí)，將該檢測出的候選的連續(xù)型道路分割物作為檢測結(jié)果。[0082]<系統(tǒng)硬件配置>
[0083]本發(fā)明還可以通過一種具有高度的連續(xù)型道路分割物硬件檢測系統(tǒng)來實(shí)施。圖8是示出根據(jù)本發(fā)明實(shí)施例的具有高度的連續(xù)型道路分割物檢測系統(tǒng)的總體硬件框圖。如圖8所示，該檢測系統(tǒng)800包括:輸入設(shè)備810，用于從外部輸入有關(guān)圖像或信息，例如立體相機(jī)拍攝的左右圖像或深度信息，或者連續(xù)型道路分割物部分的視差圖等，該攝入設(shè)備可以用例如鍵盤、鼠標(biāo)器、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸入設(shè)備來實(shí)現(xiàn)；處理設(shè)備820，用于實(shí)施上述的按照本發(fā)明實(shí)施例的具有高度的連續(xù)型道路分割物檢測方法，或者實(shí)施為上述的具有高度的連續(xù)型道路分割物檢測裝置，該處理設(shè)備可以用例如計(jì)算機(jī)的中央處理器或其它具有處理能力的芯片來實(shí)現(xiàn)；輸出設(shè)備830，用于向外部輸出實(shí)施連續(xù)型道路分割物檢測所得到的結(jié)果，該輸出設(shè)備可以用例如顯示器、打印機(jī)、以及通信網(wǎng)絡(luò)及其所連接的遠(yuǎn)程輸出設(shè)備來實(shí)現(xiàn)；以及存儲(chǔ)設(shè)備840，用于以易失或非易失的方式存儲(chǔ)上述連續(xù)型道路分割物檢測過程所涉及的圖像、視差圖、U視差圖、V視差圖、中間檢測結(jié)果、檢測參數(shù)及其閾值等各種圖像和數(shù)據(jù)，該存儲(chǔ)設(shè)備可以用例如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、硬盤、或半導(dǎo)體存儲(chǔ)器等各種易失或非易失性存儲(chǔ)器來實(shí)現(xiàn)。
[0084]以上結(jié)合具體實(shí)施例描述了本發(fā)明的基本原理，但是，需要指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員而言，能夠理解本發(fā)明的方法和裝置的全部或者任何部分，可以在任何計(jì)算裝置(包括處理器、存儲(chǔ)介質(zhì)等)或者計(jì)算裝置的網(wǎng)絡(luò)中，以硬件、固件、軟件或者它們的組合加以實(shí)現(xiàn)。
[0085]因此，本發(fā)明公開的檢測技術(shù)還可以通過在任何計(jì)算裝置上運(yùn)行一個(gè)程序或者一組程序來實(shí)現(xiàn)。所述計(jì)算裝置可以是公知的通用裝置。本發(fā)明所公開的檢測技術(shù)也可以僅僅通過提供包含實(shí)現(xiàn)所述方法或者裝置的程序代碼的程序產(chǎn)品來實(shí)現(xiàn)，或者通過存儲(chǔ)有這樣的程序產(chǎn)品的任意存儲(chǔ)介質(zhì)來實(shí)現(xiàn)。
[0086]還需要指出的是，在本發(fā)明的裝置和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本發(fā)明的等效方案。另外，執(zhí)行上述系列處理的步驟可以按照描述的先后順序執(zhí)行，但是各步驟并非必須順序執(zhí)行，某些步驟可以并行或彼此獨(dú)立地執(zhí)行。
[0087]上述的【具體實(shí)施方式】并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限制。本領(lǐng)域技術(shù)人員應(yīng)該明白，取決于設(shè)計(jì)要求和其他因素，可以發(fā)生各種各樣的修改、組合、子組合和替代。任何在本發(fā)明的精神和原則之內(nèi)所作的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種具有高度的連續(xù)型道路分割物檢測方法，包括: 獲得包括該連續(xù)型道路分割物的視差圖以及對(duì)應(yīng)的U視差圖； 獲取從前N幀的U視差圖檢測到該連續(xù)型道路分割物時(shí)的中間檢測結(jié)果； 利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物。
2.如權(quán)利要求1所述的檢測方法，其中所述U視差圖是視差圖落在與原始三維場景中的路面平行的切片上的視差點(diǎn)形成的U視差圖。
3.如權(quán)利要求1所述的檢測方法，其中利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物進(jìn)一步包括:確定當(dāng)前幀U視差圖中包含有該連續(xù)型道路分割物的感興趣區(qū)域。
4.如權(quán)利要求1所述的檢測方法，其中通過利用霍夫變換從U視差圖檢測代表該連續(xù)型道路分割物的直線來檢測該連續(xù)型道路分隔物，所述中間檢測結(jié)果是0值，該0值表示代表連續(xù)型道路分割物的直線與X軸的夾角。
5.如權(quán)利要求1-4中任意一項(xiàng)所述的檢測方法，其中利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物進(jìn)一步包括: 根據(jù)所述中間檢測結(jié)果縮小從當(dāng)前幀U視差圖進(jìn)行檢測的范圍， 在縮小后的范圍中檢測出候選的連續(xù)型道路分割物， 判斷檢測出的候選的連續(xù)型道路分割物是否滿足預(yù)定的檢測參數(shù)的閾值條件，并且當(dāng)滿足閾值條件時(shí)，將該檢測出的候選的連續(xù)型道路分割物作為檢測結(jié)果。
6.如權(quán)利要求5所述的檢測方法，其中在縮小后的范圍中檢測出候選的連續(xù)型道路分割物進(jìn)一步包括:當(dāng)縮小后的范圍中能夠形成連續(xù)型道路分割物的像素點(diǎn)數(shù)目太少時(shí)，調(diào)整所述檢測參數(shù)的閾值。
7.如權(quán)利要求6所述的檢測方法，還包括步驟，追蹤當(dāng)前幀U視差圖和至少前一幀U視差中的應(yīng)用的檢測參數(shù)的閾值，并據(jù)此調(diào)整將在下一幀U視差圖中應(yīng)用的檢測參數(shù)的閾值。
8.如權(quán)利要求5所述的檢測方法，其中所述預(yù)定的檢測參數(shù)包括以下中的至少一項(xiàng):代表該連續(xù)型道路分割物的線的最小線長、該線上的最大裂口長度、該線上的像素點(diǎn)的數(shù)量、該線上的像素點(diǎn)的密度、像素點(diǎn)在該線上的允許誤差。
9.如權(quán)利要求1到8中任意一項(xiàng)所述的檢測方法，其中利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物進(jìn)一步包括:通過從U視差圖檢測多個(gè)相連但斜率不同的線段，來檢測彎曲的連續(xù)型道路分割物。
10.一種具有高度的連續(xù)型道路分割物檢測裝置，包括: 圖像獲取部分，用于獲得包括該連續(xù)型道路分割物的視差圖以及對(duì)應(yīng)的U視差圖； 中間檢測結(jié)果獲取部分，用于獲取從前N幀的U視差圖檢測到該連續(xù)型道路分割物時(shí)的中間檢測結(jié)果； 檢測部分，用于利用所獲得的中間檢測結(jié)果，從當(dāng)前幀U視差圖檢測該連續(xù)型道路分割物。
【文檔編號(hào)】G06T7/00GK103679691SQ201210360018
【公開日】2014年3月26日 申請(qǐng)日期:2012年9月24日 優(yōu)先權(quán)日:2012年9月24日
【發(fā)明者】劉殿超, 劉媛, 劉童, 師忠超, 王剛 申請(qǐng)人:株式會(huì)社理光