本發明涉及一種路面病害圖像的自動識別方法和系統，屬于圖像處理技術領域。

背景技術：

路面病害中路面裂縫作為路面病害在高等級公路路面破損的主要表現形式，對于現代化、高效率的公路養護非常重要。由于傳統的人工檢測方法耗時長、不準確、危險性高、妨礙交通、主觀差異性大，現在多采用高精度相機快速拍攝路面圖像，進行計算機自動檢測。各種各樣的路面裂縫檢測定位算法被提出。

根據裂縫區域的灰度值較低的圖像特點，謝昌榮等發表路面裂縫檢測圖像處理算法的研究中通過分析各種經典的圖像處理算法優異性，進行裂縫檢測。kirschkekr提出了基于直方圖統計的裂縫檢測策略。egement等提出了直方圖投影的算法，采用形態學算子消除圖像分割后的噪聲，獲取裂縫。根據裂縫特征的頻域角度出發，bahramj等提出了基于小波變換的檢測算法，馬常霞等提出了結合nsct和圖像形態學的裂縫檢測算法，王剛等運用了脊波變換檢測局部線性裂縫。將二維圖像映射到三維曲面，唐磊等提出了基于三維地形的路面裂縫檢測方法。也有一些跨領域的方法也被提出，用以刻畫復雜環境下的裂縫特征，如任亮等提出的基于prim最小生成樹的方法，鄒勤等提出的利用目標點最小生成樹的檢測算法，馬常霞等提出的基于分數階微分的裂縫檢測算法。這些算法在某些環境的路面圖像中，取得了較好的檢測效果。但對于復雜情況下的含有較多非裂縫信息，較多干擾物的情況下，卻無法達到理想的識別效果。

技術實現要素：

發明目的：針對現有技術中存在的問題，本發明目的在于提供一種路面病害圖像的自動識別方法和系統，提高路面裂縫檢測效率，且能適用于不同特征的裂縫圖像，具有較理想識別效果。

技術方案：為實現上述發明目的，本發明提供一種路面病害圖像的自動識別方法，包括如下步驟：

(1)將拍攝的路面圖像進行預處理，所述預處理包括gamma灰度校正、高斯濾波增強和局部自適應二值化；

(2)對預處理后得到的二值化圖像進行邊緣檢測；

(3)對邊緣檢測后的圖像進行連通域輪廓檢測，獲得連通域的個數和連通域輪廓的外接矩形；

(4)根據連通域輪廓的外接矩形的形狀判斷出路面裂縫所在區域；

(5)根據路面裂縫所在區域的位置信息從邊緣檢測后的圖像中提取裂縫區域圖像，并疊加黑色模板形成與原始圖像大小相同的裂縫特征圖像；

(6)基于卷積神經網絡對裂縫特征圖像進行分類。

作為優選，所述步驟(1)中對圖像進行gamma灰度校正時，校正參數γ<1，將圖像的高光部分拓展而暗調部分壓縮。

作為優選，所述步驟(1)中局部自適應二值化的計算方法為：

其中，(x1,y1)、(x2,y2)為局部區域的左上角和右下角點的坐標值，為局部區域的長和寬，s(x,y)為局部區域范圍內像素點積分圖像值，s(i,j)為局部區域的中心點的積分圖像值，i(i,j)為二值化后的灰度值。

作為優選，所述步驟(2)中采用canny算子進行邊緣檢測。

作為優選，所述步驟(4)中路面裂縫所在區域的判斷依據為：若外接矩形的寬和高之和大于等于設定的閾值，則認為是路面裂縫所在區域。

作為優選，所述步驟(6)中卷積神經網絡包括三層卷積層和一層全連接層，前兩層卷積層連接池化層，全連接層有四個神經元，神經網絡訓練集中的圖像包括橫向裂縫圖像、縱向裂縫圖像、網狀裂縫圖像和無裂縫圖像。

本發明還提供一種路面病害圖像的自動識別系統，包括：預處理模塊，用于對拍攝的路面圖像進行預處理，所述預處理模塊包括：灰度校正單元，用于對原始圖像進行gamma灰度校正處理；濾波增強單元，用于對灰度校正后的圖像進行高斯濾波增強處理；以及，二值化單元，用于對濾波增強后的圖像進行局部自適應二值化處理；邊緣檢測模塊，用于對二值化后的圖像進行邊緣檢測；裂縫區域定位模塊，用于對邊緣檢測后的圖像進行連通域輪廓檢測，獲取連通域輪廓的外接矩形，并基于外接矩形的形狀定位路面裂縫所在區域；裂縫精確分割模塊，用于根據裂縫所在區域的位置信息從邊緣檢測后的圖像中提取裂縫區域圖像，并疊加黑色模板形成與原始圖像大小相同的裂縫特征圖像；以及，裂縫分類模塊，用于基于卷積神經網絡對裂縫特征圖像進行分類。

有益效果：本發明提供的路面病害圖像的自動識別方法和系統，是在大量觀察裂縫圖像的特征，發現路面裂縫圖像具有灰度值低、稀疏性、裂縫區域的連通性等特征的基礎上，對傳統的圖像處理算法進行分析與改進，結合最大連通域，設計了適用于檢測裂縫的定位和分割算法，并結合卷積神經網絡的網絡結構對裂縫特征圖像進行分類，以實現路面病害圖像的自動識別。實驗表明，與現有技術相比，本發明對于路面病害中的裂縫定位具有十分優異的檢測效率，而且對于不同特征的裂縫圖像具有不錯的魯棒性表現。

附圖說明

圖1為本發明實施例的方法流程圖。

圖2為局部自適應二值化方法中4×4圖像的灰度值數組示意圖。其中(a)為圖像灰度值數組，(b)為灰度值求和后的數組。

圖3為局部自適應二值化方法中圖像區域劃分示意圖。

圖4裂縫圖像預處理結果圖。其中(a)為原始圖像，(b)為灰度校正后的圖像，(c)為高斯濾波后圖像，(d)為局部自適應二值化后的圖像。

圖5為邊緣檢測得到的圖像結果圖。

圖6為裂縫定位算法opencv實現流程圖。

圖7為基于裂縫區域位置信息對裂縫進行精確分割的流程圖。

圖8為各種裂縫檢測定位視覺效果圖。其中(a)為橫向裂縫1的檢測定位，(b)為橫向裂縫2的檢測定位，(c)為縱向裂縫檢測定位，(d)網狀裂縫的檢測定位。

圖9為裂縫分割圖視覺效果對比圖。其中(a)為原圖，(b)-(d)分別為采用ac算法思想、lc算法思想、ft算法思想的分割結果圖，(e)為本發明精確分割的結果圖。

具體實施方式

下面結合具體實施例，進一步闡明本發明，應理解這些實施例僅用于說明本發明而不用于限制本發明的范圍，在閱讀了本發明之后，本領域技術人員對本發明的各種等價形式的修改均落于本申請所附權利要求所限定的范圍。

如圖1所示，本發明實施例公開的一種路面病害圖像自動識別方法，首先將拍攝的路面圖像進行預處理，然后對預處理后圖像進行邊緣檢測，接著進行連通域輪廓檢測，并基于連通域輪廓的外接矩形的形狀進行裂縫區域定位和分割得到裂縫特征圖像，最后基于卷積神經網絡對裂縫特征圖像進行分類。詳細處理步驟如下。

步驟1：圖像預處理

通過攝像機實際拍攝的路面裂縫圖像，存在復雜大量的噪聲成分：路面材料顆粒形成的大范圍隨機紋理覆蓋整幅圖像；光照不均引起圖像中間亮周圍暗的典型變化；路面油污、水漬、雜物以及行道線的干擾。

鑒定于原始路面圖像中的情況復雜，且缺乏豐富的彩色信息，本發明先從圖像預處理的角度出發，進行灰度矯正和濾波處理，降低背景噪聲影響，突出裂縫信息。

步驟1.1：灰度矯正

經過大量觀察裂縫圖片可知，路面裂縫最明顯的特征就是裂縫中心的灰度級比其周圍背景要黑。由于光照不均產生的中間亮兩邊暗、偏暗的影響。并且整體灰度偏低，為了突出裂縫灰度級上的顯著性，在此應用一種非線性變化算法gamma灰度矯正算法。

該算法對輸入圖像的灰度值進行指數變換，進而矯正亮度偏差，可應用于擴展暗亮的細節，其計算公式如下：

其中a是常數，vin為矯正前輸入圖像，vout為矯正后的圖像，γ為矯正的參數。當γ>1時，圖像高光部分被壓縮而暗調部分被拓展，當γ<1時，圖像的高光部分被拓展而暗調部分被壓縮。經過大量實驗，γ＝0.75，效果最佳。

步驟1.2通過濾波增強圖像特征

對于路面裂縫的圖像其最明顯的一個特點是存在復雜大量的噪聲和干擾點，由于裂縫具有稀疏性和連續性，可以對其進行濾波操作進而減少非裂縫因素的影響。同時由于裂縫特征明顯，可以達到增強裂縫顯著性特征的效果。因此，對灰度校正后的圖像應用高斯濾波進行處理。考慮到公路路面的粗糙程度，本發明實施例采用5*5的高斯卷積核進行處理。

步驟1.3局部自適應二值化

圖像二值化是指圖像上的像素點的灰度值設置為0或255，也就是將整個圖像呈現出明顯的黑白效果。經過以上處理的圖像在圖像二值化時，傳統的二值化方法對于路面裂縫圖像的二值化效果均不佳。本發明參照dbgroth的方法，進行改進優化達到了對于裂縫圖像的裂縫區域良好的二值化效果。

首先灰度化后的單通道，各處的像素值如圖2(a)。之后得到每個點的左上方所有點的像素值之和(包括該點，即灰度值積分)并可用一個二維數組暫時存儲，如圖2(b)所示。

一般地，圖像二值化就是給定一個閾值，當圖像中某一點的像素值大于閾值時令它的像素為255(0)，像素值小于閾值時為0(255)。而區域二值化，就是把圖片劃分為若干的區域，每個區域有各自的閾值，再分別判定。

如圖3所示，我們要判定區域d時，就可以利用圖2(b)的積分圖像，通過計算區域d的總閾值，計算公式如下：

其中，(x1,y1)、(x2,y2)為區域d的左上角和右下角點的坐標值，s(x,y)為點(x,y)的積分圖像值。

總閾值與區域內的像素個數求平均值得到該區域的平均值p。本實施例中使用區域中心點(i,j)的積分圖像值與平均值p進行比較，若s(i,j)>p,則重寫點(i,j)的像素為255(0)，反之為0(255)。計算公式如下：

其中表示圖像中區域d的長和寬，s(i,j)為區域中心點的灰度值，i(i,j)為二值化后的灰度值。

圖4為對一幅橫向裂縫圖像進行預處理后的結果圖，其中(a)為原始圖像，(b)為灰度校正后的圖像，(c)為高斯濾波后圖像，(d)為局部自適應二值化后的圖像。

步驟2：圖像邊緣檢測

通過上述對于路面裂縫圖像的預處理，大大削弱了已存在復雜大量的噪聲和干擾點對裂縫信息的干擾。可采用常見的邊緣檢測算法對二值化后的圖像進行邊緣檢測，如sobel、laplace、roberts、canny等。本發明實施例采用canny算子實現邊緣檢測，如圖5所示為邊緣檢測的結果。

步驟3：圖像中裂縫的定位與裂縫的精確分割

步驟3.1：基于最大連通域的輪廓定位

通過對大量的裂縫進行圖像預處理和圖像分割后發現，裂縫在圖片中具有最大連通性。利用該特性，我們可用通過檢測裂縫圖像中的連通域來確定裂縫的位置。

該算法在裂縫圖像的預處理和邊緣檢測的基礎上，可以對裂縫進行一個檢測定位。通過圖像輪廓函數檢測，獲取每個連通域輪廓矩形，通過遍歷所有輪廓的外接矩形，根據矩形的形狀判斷選取較大的連通域為目標區域。記錄該區域的坐標，標記出該區域。

算法如下：

第一步：對于邊緣檢測圖像進行連通域輪廓檢測，輪廓個數為n；

第二步：獲取連通域輪廓的外接矩形為rectn(x,y,width,height)，其中x,y,width,height分別為矩形的左上角點的坐標和矩形的寬和高；

第三步：通過遍歷檢測出的所有輪廓，輪廓個數n，設置輪廓外接矩形的寬與高之和大于等于參數限制t，即width+height≥t，獲取我們所需要的連通域輪廓的位置信息rectn。

第四步：對于獲取到的連通域輪廓的外接矩形進行記錄，該外接矩形對應的位置區域在原圖中即為路面裂縫區域。

在本實驗中，對于512×512的裂縫輸入圖像，經過大量實驗，參數限制t選取200。并通過c++和opencv進行實現。opencv算法流程圖如圖6。

步驟3.2：基于連通域的裂縫精確分割

對于一些路面情況復雜、噪聲多、干擾信強的裂縫而言，邊緣檢測后的圖像不能明顯突出裂縫信息，容易造成裂縫特征信息的干擾。通過觀察發現，裂縫特征雖然不明顯，但仍具有最大連通性，利用該特性，結合上述基于連通域的輪廓定位算法可以對裂縫圖片進行精確分割。

如圖7所示，具體算法流程如下：

第一步：通過3.1算法將圖像中裂縫區域定位，得到裂縫圖像中的裂縫位置信息為rectn(x,y,width,height)，其中x,y,width,height分別為矩形的左上角點的坐標和矩形的寬和高；若通過3.1算法沒有檢測出裂縫區域的位置(無裂縫)，跳過二、三步驟，輸出512×512的黑色圖像；

第二步：在邊緣檢測結果圖中使用該位置信息提取裂縫區域；

第三步：通過與512×512的黑色圖像模板的疊加后組成與原圖大小一致的完整的裂縫特征圖像。

步驟4：基于卷積神經網絡的裂縫分類

卷積神經網絡在圖像分類識別中具有很好的表現，卷積神經網絡的網絡結構如下：

輸入層：直接接收二維視覺模式，即二維特征圖像。

卷積層：也稱為特征提取層(convolutionallayer，簡稱c層)，每個卷積層包含多個卷積神經元，每個卷積神經元的輸入與前一層的局部感受域相連，并提取該局部的圖像特一旦該局部特征被提取后，它與其他特征間的位置關系也隨之確定下來。

激活函數：(rectifiedlinearunits，簡稱relu)relu是作用于各連接單元后的激活單元，采用折頁函數。它相對于傳統神經網絡中的sigmoid函數而言，在保證非線性的同時，能更好地反傳梯度，還使得每層結果具有一定稀疏性。

池化層：池化方法一般有最大池化和平均池化，相當于對圖像進行下采樣，即以某圖像區域的最大值或平均值取代該區域，從而縮小圖像尺寸，使提取特征具有一定旋轉、平移不變性。

全連接層：(fullyconnectedlayers，簡稱fc)最后一層隱層所得到的二維特征模式被拉伸成一個向量，與輸出層以全連接方式相連，起到將學到的“分布式特征表示”映射到樣本標記空間的作用。可輸出類別標簽之間的映射關系。

隨機dropout：隨機dropout每次隨機選取該層部分權重進行訓練，有利于防止過擬合，提升網絡泛化能力。

softmax函數：softmax函數用于最后的結果輸出，表達式如式4所示，k為類別數，zj為k維向量的第j維分量，輸出可視為第j類的概率。

針對路面病害中裂縫的分類問題，本發明實施例方法設計的卷積神經網絡結構共有4層，前3層為卷積層，最后一層為全連接層。

網絡的輸入為512×512大小的單通道灰度圖像(將原始圖像經過預處理、邊緣檢測、裂縫定位和分割后得到的裂縫特征圖像)。為保證網絡深度，減少參數，提升網絡泛化能力，該網絡前兩個卷積層采用的卷積核的尺寸較小，均為3×3。最后一個卷積層卷積核大小為15×15。所有卷積核都同時作用于相應前一層的所有特征圖上，且同一卷積核對于前一層不同特征圖的權重不一致。三個卷積層所采用的卷積核種類依次為16、32、216個，逐層抽象地提取不同特征。

在前兩個卷積層之后都連接了池化層，池化方法為平均池化。池化過程中未對圖像進行擴充，池化窗口大小依次為2×2、4×4，滑動窗口步長相應分別為2、4。每個池化層后都通過激活函數進行非線性激活。

最后一層為全連接層，共有4個神經單元。在最后一個卷積層和全連接層后都增加了隨機dropout層以提升網絡泛化能力，比例為0.5。最后采用softmax函數進行輸出。

本發明實施例公開的一種路面病害圖像的自動識別系統，主要包括預處理模塊、邊緣檢測模塊、裂縫區域定位模塊、裂縫精確分割模塊以及裂縫分類模塊。其中預處理模塊用于對拍攝的路面圖像進行預處理，主要包括：灰度校正單元，用于對原始圖像進行gamma灰度校正處理；濾波增強單元，用于對灰度校正后的圖像進行高斯濾波增強處理；以及二值化單元，用于對濾波增強后的圖像進行局部自適應二值化處理。邊緣檢測模塊用于對二值化后的圖像進行邊緣檢測；裂縫區域定位模塊用于對邊緣檢測后的圖像進行連通域輪廓檢測，獲取連通域輪廓的外接矩形，并基于外接矩形的形狀定位路面裂縫所在區域；裂縫精確分割模塊用于根據裂縫所在區域的位置信息從邊緣檢測后的圖像中提取裂縫區域圖像，并疊加黑色模板形成與原始圖像大小相同的裂縫特征圖像；裂縫分類模塊用于基于卷積神經網絡對裂縫特征圖像進行分類。

下面結合具體實驗，對本發明實施例的效果及優勢做進一步說明。

實驗環境為intel(r)core(tm)i5-4210ucpu，8g內存的pc機。實驗數據來源為淮安公路養護處的公路裂縫圖片數據集，圖像大小為512×512像素，精度為0.92mm/pixel，共5000張，其中含有裂縫的圖像為3668張。根據裂縫的分類標準，我們采用具有代表性的橫向裂縫、縱向裂縫以及網狀裂縫進行實驗。

通過圖像的灰度矯正、濾波增強、具備自適應二值化、邊緣檢測處理后，利用裂縫圖像中裂縫區域的最大連通性，設計出針對裂縫圖像的裂縫區域的檢測定位算法，通過圖框將裂縫區域在原圖中顯示出來。圖8(a)、(b)為橫向裂縫存在的路面圖像的算法效果，圖8(c)為縱向裂縫存在的路面圖像的算法效果，圖8(d)為網狀裂縫存在的路面圖像的算法效果。可以從實驗結果看出可以準確定位到路面圖像中的裂縫位置。

為了驗證算法的有效性和正確性，我們取檢測路段中不同光照條件和檢測條件下的三組圖像，每組各1000幅圖像，各組別222張、400張、284張裂縫圖片。

設圖像總數為k，實際存在裂縫的圖像數為m,不存在裂縫的圖像數為n，檢測出的裂縫圖像數為t,存在裂縫但未檢測出來的數目為m，算法將無裂縫圖像誤檢為存在裂縫圖像的數目為n，則檢測結果的正確率如表1：

表1裂縫圖像檢測定位正確率結果

漏檢率和誤檢率結果如表2：

表2漏檢率和誤檢率統計結果

從表1和表2中可知，三組數據中的檢測正確率都在92％以上，漏檢率和誤檢率都小于8％，證明本方法有效，滿足實際檢測需求。

在圖像分割算法的處理方面，本發明通過與現有的基于顯著性分割處理的算法進行比較。現有的顯著性算法主要有ac、lc和ft算法，將這些經典的顯著性算法思想作用于裂縫灰度圖像，命名為ac-g、lc-g、ft-g，通過與本發明方法中結合裂縫特征的精確分割算法的對比，結果如圖9。圖9(a)為有橫向裂縫存在的路面圖像，其中存在著水泥結塊、小凹槽、橫向條紋、局部黑斑等影響。9(b)-9(d)為ac-g、lc-g、ft-g算法顯著性分割的結果，雖然對于裂縫具有較好的分割效果，但對于非裂縫信息和路面背景噪聲的過濾確效果不佳。ac-g和ft-g整體分割較好、但對于非裂縫信息水泥結塊、小凹槽無法過濾、裂縫特性顯示較弱，lc-g在分割后產生了很多細碎的噪聲點。

通過實驗結果可以看出本發明方法在通過灰度矯正、濾波增強在很大程度上削弱了路面噪聲的影響，通過利用裂縫在圖像中的最大連通性，有效過濾掉了多余的非裂縫信息(如圖中的水泥結塊、小凹槽)，并且裂縫整體更加突出，如圖9(d)。

在裂縫圖像的識別方面，本發明設計的4層卷積神經網絡進行裂縫圖像的分類識別。根據裂縫的分類標準，訓練集來源淮安公路養護處的裂縫數據圖片集，其中橫向裂縫1024張、縱向裂縫1024張、網狀裂縫1024張，同時添加負樣本集即不含有裂縫的圖像1024張。圖像為512×512大小、經過預處理、分割后的灰度圖像。每類120張非訓練集中的圖像進行識別效果測試，結果見表3。

表3算法測試識別準確率結果

從表3可以看出本發明設計的4層卷積神經網絡算法在準確率以及識別速度上相比傳統的特征+svm算法具有一定的優勢性。

綜上，本發明實施例將裂縫的檢測和分割與卷積神經網絡相結合，首先通過圖像預處理與邊緣檢測后，利用裂縫圖像中裂縫區域的最大連通性，設計出針對裂縫圖像的裂縫區域的檢測定位算法，利用該特性在檢測定位算法的基礎上進行裂縫圖像的精確分割。最后使用卷積神經網絡算法進行分類識別。結果表明本發明方法對復雜環境下的各種裂縫都有效，即使對于含有較多非裂縫信息、干擾物較多的路面圖像，也能取得非常優異的識別結果。