本發(fā)明涉及道路運(yùn)維，具體涉及一種里程樁號的實(shí)時識別方法和系統(tǒng)。

背景技術(shù)：

1、高速公路是我國交通基礎(chǔ)設(shè)施的重要組成部分，道路路面病害的自動化識別技術(shù)已成為評估高速公路使用性能的重要手段。但是，只對路面病害進(jìn)行識別不足以實(shí)現(xiàn)道路路面巡檢。這是因?yàn)槁访骛B(yǎng)護(hù)人員還需要知道路面病害所在的里程樁號位置。目前，道路巡檢車輛大多配備全球定位導(dǎo)航系統(tǒng)來實(shí)時記錄行走的路線軌跡。然而，使用全球定位導(dǎo)航系統(tǒng)還需要考慮以下幾點(diǎn)：(1)全球定位系統(tǒng)需要與相機(jī)協(xié)同，額外花費(fèi)了計算時間；(2)在山區(qū)或隧道高速公路上的信號微弱，無法確保經(jīng)緯度信息的實(shí)時更新；(3)全球定位導(dǎo)航系統(tǒng)提供的經(jīng)緯度坐標(biāo)不足以準(zhǔn)確、直觀地提供路面病害的里程位置信息。里程樁號牌布設(shè)在高速公路的兩側(cè)，是天然的定位參考。即使在山區(qū)或者隧道中，里程樁號牌也可以為路面養(yǎng)護(hù)人員提供直觀、準(zhǔn)確的定位參考。除此之外，里程樁號牌還可以作為全球定位系統(tǒng)的輔助手段，以獲取更加可靠、精準(zhǔn)的路面病害里程位置。所以，里程樁號位置的準(zhǔn)確識別和里程樁號文本的準(zhǔn)確提取對于路面病害的定位至關(guān)重要。

2、但是，在研究團(tuán)隊(duì)所調(diào)研的文獻(xiàn)范圍內(nèi)，道路檢測車在采集過程中，大多數(shù)采用人工記錄里程樁號位置的方式。這種人工記錄的方式費(fèi)時費(fèi)力而且還需要記錄者時刻保持專注。現(xiàn)有的基于深度學(xué)習(xí)的里程樁號識別算法普遍存在識別準(zhǔn)度不高、識別速度不快，無法應(yīng)對實(shí)際環(huán)境中出現(xiàn)的各種突發(fā)情況等缺點(diǎn)。所以，迫切需要一種自動化的里程樁號提取技術(shù)來替代費(fèi)時費(fèi)力的人工操作，并且能夠應(yīng)對實(shí)際應(yīng)用過程中出現(xiàn)的各種情況(比如漏樁、不清晰的樁號)，以提高識別的準(zhǔn)確性和適用性。基于此，本發(fā)明旨在提供一種自動化、智能化的實(shí)時里程樁號信息提取方法，為路面病害的定位提供可靠的里程信息。

3、利用輕量化2d相機(jī)拍攝的道路前景圖像，本發(fā)明利用目標(biāo)檢測算法和文本識別算法從圖像中分別自動提取里程樁號的位置和文本信息。由于里程樁號牌在圖像中往往作為小目標(biāo)出現(xiàn)，所以要求目標(biāo)檢測算法能夠從復(fù)雜的道路交通背景中準(zhǔn)確的識別小目標(biāo)物體。此外，在光照不足、污跡遮擋或距離較遠(yuǎn)的情況下，里程樁號可能不夠清晰，因此還需要結(jié)合多幀圖像進(jìn)行聯(lián)合分析和推斷，以提高識別的可靠性。不同高速公路上里程樁號的大小和文字設(shè)置也有所不同，具體體現(xiàn)在里程樁號上的字體、字號大小、布設(shè)角度有所不同。所以，文本識別算法還需要具備強(qiáng)大的泛化能力，能夠處理不同狀態(tài)的里程樁號并準(zhǔn)確地提取里程樁號文字序列。

4、現(xiàn)有目標(biāo)檢測算法在小目標(biāo)的檢測上魯棒性較差，導(dǎo)致不能準(zhǔn)確地識別圖像中的里程樁號標(biāo)牌。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種里程樁號的實(shí)時識別方法和系統(tǒng)，解決現(xiàn)有技術(shù)不能準(zhǔn)確地識別圖像中的里程樁號標(biāo)牌的技術(shù)問題。

2、一種里程樁號的實(shí)時識別方法，包括：對道路前景圖像數(shù)據(jù)分別進(jìn)行預(yù)處理及相應(yīng)標(biāo)注以獲取目標(biāo)檢測數(shù)據(jù)集和文本識別數(shù)據(jù)集，采用目標(biāo)檢測數(shù)據(jù)集對目標(biāo)檢測算法模型進(jìn)行訓(xùn)練獲取目標(biāo)檢測模型，再利用文本識別數(shù)據(jù)集對文本識別算法模型進(jìn)行訓(xùn)練獲取文本識別模型，而后利用目標(biāo)檢測模型從實(shí)時道路前景圖像中提取里程樁圖像，再利用文本識別模型從里程樁圖像中獲取里程樁號；所述目標(biāo)檢測算法模型采用包含兩個并行的分支，一個分支對圖像特征進(jìn)行提取，另一個分支采用位置編碼的方式對圖像特征進(jìn)行位置編碼。

3、進(jìn)一步地，所述對圖像特征進(jìn)行提取包括：對尺寸一致的道路前景圖像進(jìn)行預(yù)處理，而后利用殘差網(wǎng)絡(luò)提取特征，再對提取后的特征層進(jìn)行動態(tài)位置編碼，在原有位置編碼的基礎(chǔ)上，在每一個位置上添加一個可學(xué)習(xí)的位置權(quán)重系數(shù)，使其在反向傳播過程中能夠自動學(xué)習(xí)相對位置的關(guān)系。

4、進(jìn)一步地，所述對圖像特征進(jìn)行位置編碼包括：利用帶有門控機(jī)制的增強(qiáng)特征編碼網(wǎng)絡(luò)進(jìn)一步捕捉有效特征，再利用特征解碼網(wǎng)絡(luò)對增強(qiáng)特征編碼網(wǎng)絡(luò)中獲取的加強(qiáng)后的特征層進(jìn)行解碼操作，以獲取有用的里程樁號特征位置信息和類別信息，最后利用回歸預(yù)測頭和分類預(yù)測頭將特征解碼階段獲取的特征層進(jìn)一步輸出為可用的坐標(biāo)和類別信息。

5、進(jìn)一步地，所述利用帶有門控機(jī)制的增強(qiáng)特征編碼網(wǎng)絡(luò)進(jìn)一步捕捉有效特征包括：

6、對特征提取階段獲取的帶有位置編碼的特征層，首先將其傳入提出的門控機(jī)制中，其主要作用是為每一個特征通道計算一個門控系數(shù)，作為神經(jīng)元參數(shù)；當(dāng)某個通道對最后的樁號定位有正向作用時，其將通過設(shè)置的門控機(jī)制，否則將被過濾掉；

7、經(jīng)過門控機(jī)制的特征層將進(jìn)一步傳入到多頭自注意力機(jī)制，用于捕捉特征信息之間的長距離依賴關(guān)系；

8、通過add操作和層正則化norma?l?izat?ion后，進(jìn)一步進(jìn)入全連接層，以獲取檢索后的有效特征層，最后再通過add和norma?l?izat?ion操作，傳入到特征解碼網(wǎng)絡(luò)以進(jìn)一步實(shí)現(xiàn)特征層的恢復(fù)。

9、進(jìn)一步地，所述訓(xùn)練獲取目標(biāo)檢測模型包括：基于匈牙利算法訓(xùn)練目標(biāo)檢測算法模型，所述匈牙利算法的工作是將多個預(yù)測結(jié)果和多個真實(shí)框進(jìn)行匹配，此過程需要計算代價矩陣，然后根據(jù)代價矩陣，使用匈牙利算法計算最低代價的情況，其中，代價矩陣的計算過程為：

10、(a)計算分類成本；(b)計算預(yù)測框和真實(shí)框之間的l1成本；(c)計算預(yù)測框和真實(shí)框之間的iou成本；將三個計算結(jié)果按照權(quán)重相加，即可獲得代價矩陣。

11、進(jìn)一步地，所述文本識別算法模型包括：使用efficientnet進(jìn)行特征的提取以生成樁號特征序列輸入gru循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行里程樁號的預(yù)測。

12、進(jìn)一步地，所述efficientnet包括：efficientnet-b0作為基線網(wǎng)絡(luò)，第一階段是一個3×3卷積層，帶有步長為2的步幅，用于特征提取；第二至七階段使用倒置殘差塊(mbconv)，mbconv塊包含1×1的卷積(用于擴(kuò)展通道數(shù))、3×3的深度可分離卷積和另一個1×1的卷積來壓縮通道數(shù)。這些塊還包括殘差連接和squeeze-and-excitat?ion(se)模塊。最后階段，包含一個1×1卷積層，用于進(jìn)一步融合特征。

13、進(jìn)一步地，所述文本識別模型從里程樁圖像中獲取里程樁號之后，利用聯(lián)合推斷機(jī)制基于前后樁號信息確認(rèn)模糊樁號的內(nèi)容，所述聯(lián)合推斷機(jī)制包括：通過結(jié)合前后幀的識別信息進(jìn)行對比和確認(rèn)，利用可信度閾值判斷來修正不確定的樁號預(yù)測值，如果某個樁號的識別可信度低于閾值，通過參考前后幀數(shù)據(jù)對其進(jìn)行二次確認(rèn)，確保最終輸出的結(jié)果更加準(zhǔn)確。進(jìn)一步地，所述聯(lián)合推斷機(jī)制還包括：

14、多幀圖像融合與聯(lián)合推斷：利用檢測車連續(xù)拍攝的多幀圖像，通過融合多幀信息，可以更準(zhǔn)確地推斷出當(dāng)前樁號；

15、上下行邏輯驗(yàn)證與動態(tài)規(guī)劃解碼：通過構(gòu)建狀態(tài)圖和轉(zhuǎn)移代價函數(shù)來表示樁號之間的邏輯關(guān)系，每個狀態(tài)代表一個可能的樁號預(yù)測值，狀態(tài)圖中的節(jié)點(diǎn)表示樁號的可能性，邊表示從一個樁號到另一個樁號的邏輯轉(zhuǎn)移，轉(zhuǎn)移代價函數(shù)用于判斷從一個樁號到下一個樁號的合理性，利用動態(tài)規(guī)劃算法在狀態(tài)圖中找到代價最小的路徑，確保樁號序列符合邏輯上的連續(xù)性和現(xiàn)實(shí)分布；

16、時間序列一致性分析：通過對連續(xù)多幀樁號預(yù)測結(jié)果進(jìn)行平滑處理，消除單幀圖像識別的波動。

17、一種里程樁號的實(shí)時識別系統(tǒng)，采用一種里程樁號的實(shí)時識別方法，包括數(shù)據(jù)采集處理模塊、目標(biāo)檢測模塊、文本識別模塊以及輸出模塊，所述數(shù)據(jù)采集模塊用于實(shí)時采集檢測目標(biāo)圖像預(yù)處理，所述目標(biāo)檢測模塊包括目標(biāo)檢測模型用于基于預(yù)處理后的檢測目標(biāo)圖像確定檢測確定里程樁圖像，所述文本識別模塊包括文本識別模型用于基于里程樁圖像確定里程樁號。

18、本發(fā)明的有益效果包括：

19、在算法創(chuàng)新上，本發(fā)明提出了目標(biāo)檢測算法和文本識別算法，并結(jié)合了動態(tài)規(guī)劃解碼與聯(lián)合推斷機(jī)制，顯著提升了對小目標(biāo)和模糊樁號的檢測能力和處理復(fù)雜場景的適應(yīng)性。目標(biāo)檢測算法通過優(yōu)化特征提取和檢測過程，在復(fù)雜的道路場景中能夠快速、準(zhǔn)確地識別里程樁號的位置，即使在光照不足、污跡遮擋等情況下，依然表現(xiàn)出色，確保了系統(tǒng)的實(shí)時性。文本識別算法無需逐一標(biāo)注每個字符，極大降低了數(shù)據(jù)準(zhǔn)備的時間和成本，并通過動態(tài)規(guī)劃解碼機(jī)制確保識別的樁號序列符合實(shí)際的邏輯分布，進(jìn)一步增強(qiáng)了算法在不同光照和復(fù)雜背景下的魯棒性和適應(yīng)性。

20、本發(fā)明的另一大創(chuàng)新是聯(lián)合推斷機(jī)制的引入，通過結(jié)合多幀圖像的信息，對模糊樁號進(jìn)行聯(lián)合推斷和確認(rèn)。在實(shí)際應(yīng)用中，樁號往往由于光照變化、污跡遮擋或距離較遠(yuǎn)而變得不清晰，單幀圖像可能無法準(zhǔn)確識別。聯(lián)合推斷機(jī)制通過分析前后幀的樁號信息，利用時間序列一致性和邏輯驗(yàn)證，顯著提高了識別的成功率和準(zhǔn)確性，使得系統(tǒng)在復(fù)雜環(huán)境下依然能夠?qū)崟r穩(wěn)定地提供高質(zhì)量的樁號信息。

21、在工程實(shí)際應(yīng)用層面，本發(fā)明的里程樁號自動提取算法在道路巡檢車的巡檢過程中實(shí)現(xiàn)了實(shí)時、穩(wěn)定的里程樁號信息獲取，避免了對全球?qū)Ш蕉ㄎ幌到y(tǒng)(gnss)的依賴，特別是在隧道或山區(qū)等gnss信號不穩(wěn)定的區(qū)域，仍能提供準(zhǔn)確的樁號位置信息。這為路面病害的精準(zhǔn)定位提供了可靠支持，使得養(yǎng)護(hù)人員能夠迅速、直觀地確定病害位置，并采取高效的維修措施。此外，本發(fā)明的輕量化2d相機(jī)解決方案結(jié)合高效的算法設(shè)計，提供了一種輕便、低成本的自動提取方法，便于在普通巡檢車輛上進(jìn)行部署，從而擴(kuò)大了技術(shù)的應(yīng)用范圍，提升了道路養(yǎng)護(hù)的整體效率和質(zhì)量。