本發(fā)明涉及條碼識別領(lǐng)域,具體的,涉及一種圖像條碼多碼識別方法、裝置、系統(tǒng)及存儲介質(zhì)。
背景技術(shù):
1、條碼識別技術(shù)作為信息自動采集的關(guān)鍵手段,已廣泛應(yīng)用于物流、零售、工業(yè)檢測等領(lǐng)域。現(xiàn)有方法主要分為兩類:基于傳統(tǒng)圖像處理的方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法(如zbar、zxing等開源庫)通過圖像預(yù)處理、邊緣檢測、投影分析等步驟定位并解碼條碼,但其依賴人工設(shè)計特征,在復(fù)雜背景、密集排布或光照不均場景下魯棒性不足,尤其對重疊條碼、混合類型(一維碼與二維碼共存)的分離與識別效果較差。近年來,基于深度學(xué)習(xí)的目標(biāo)檢測模型(如yolo、faster?r-cnn)顯著提升了條碼定位精度,但仍存在以下問題:
2、密集條碼分離困難:現(xiàn)有檢測模型對緊密排列或部分遮擋的條碼易產(chǎn)生漏檢或誤檢,且依賴后處理算法(如非極大值抑制)難以實(shí)現(xiàn)精確分割;
3、混合類型兼容性差:多數(shù)方案需預(yù)先指定條碼類型,無法自適應(yīng)識別一維碼、二維碼及彩色條碼的混合場景;
4、實(shí)時性不足:串行解碼流程導(dǎo)致多條碼處理時延高,難以滿足工業(yè)分揀、移動支付等場景的實(shí)時性需求;
5、復(fù)雜背景干擾:條碼與相似紋理背景(如包裝圖案、金屬反光)易混淆,導(dǎo)致解碼失敗率升高。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提出一種基于動態(tài)區(qū)域生長與并行解碼的圖像條碼多碼識別方法、裝置、系統(tǒng)及存儲介質(zhì),解決了相關(guān)技術(shù)中的密集條碼分離困難、混合類型兼容性差、實(shí)時性不足的問題。
2、本發(fā)明的技術(shù)方案如下:
3、一種圖像條碼多碼識別方法,其特征在于,包括以下步驟:
4、s100、對輸入的待識別圖像進(jìn)行多模態(tài)圖像預(yù)處理,所述多模態(tài)圖像預(yù)處理包括對待識別圖像進(jìn)行動態(tài)光照補(bǔ)償和對待識別圖像進(jìn)行多尺度特征融合,所述多模態(tài)圖像預(yù)處理后生成增強(qiáng)后的圖像;
5、s200、將增強(qiáng)后的圖像輸入至多任務(wù)檢測網(wǎng)絡(luò),所述多任務(wù)檢測網(wǎng)絡(luò)同時輸出條碼的邊界框、分割掩碼和類型概率;
6、s300、基于所述邊界框的中心點(diǎn)作為種子點(diǎn),結(jié)合條碼紋理的黑白交替頻率控制生長方向,通過動態(tài)區(qū)域生長算法分離密集排布或部分重疊的條碼區(qū)域;
7、s400、對分離后的條碼區(qū)域進(jìn)行幾何校正,并根據(jù)條碼類型判斷結(jié)果選擇對應(yīng)的解碼策略;
8、s500、基于gpu并行解碼流水線對多個條碼區(qū)域同時進(jìn)行二值化、模塊化解析和糾錯解碼;
9、s600、通過多模態(tài)校驗(yàn)機(jī)制對解碼結(jié)果進(jìn)行邏輯和空間一致性驗(yàn)證,輸出結(jié)構(gòu)化識別信息。
10、進(jìn)一步地,步驟s100中,
11、所述動態(tài)光照補(bǔ)償包括基于retinex理論將原始圖像分解為反射分量和光照分量,對光照分量進(jìn)行自適應(yīng)增強(qiáng),并對反光區(qū)域生成多角度偏振模擬圖像,選取局部對比度最高的圖像作為預(yù)處理結(jié)果;
12、所述多尺度特征融合包括對所述動態(tài)光照補(bǔ)償后的圖像構(gòu)建高斯金字塔,生成多尺度下采樣圖像,提取各尺度圖像的高頻邊緣特征和低頻紋理特征,通過通道注意力機(jī)制對多尺度特征進(jìn)行加權(quán)融合,生成增強(qiáng)后的輸出圖像。
13、進(jìn)一步地,步驟s200中,所述多任務(wù)檢測網(wǎng)絡(luò)的結(jié)構(gòu)為:
14、主干網(wǎng)絡(luò)采用改進(jìn)的mobilenetv3,在mobilenetv3中嵌入高效通道注意力模塊;
15、輸出頭包含邊界框回歸分支、類別概率分支和分割掩碼分支,其中,所述邊界框回歸分支輸出條碼的邊界框坐標(biāo)及置信度,采用改進(jìn)的交并比損失函數(shù)優(yōu)化定位精度,所述類別概率分支輸出條碼類型概率,采用焦點(diǎn)損失函數(shù)緩解類別不平衡問題,所述分割掩碼分支輸出條碼的像素級掩碼,采用基于相似度的dice損失函數(shù)提升分割貼合度;
16、所述多任務(wù)檢測網(wǎng)絡(luò)的總損失函數(shù)為上述三項(xiàng)損失的加權(quán)和,其計算公式為
17、,
18、其中,、、為預(yù)設(shè)權(quán)重系數(shù),為改進(jìn)的交并比損失,為類別不平衡優(yōu)化損失,為分割掩碼的相似度損失。
19、進(jìn)一步地,步驟s300中,所述動態(tài)區(qū)域生長算法的具體步驟如下:
20、s310、通過hough變換估計條碼方向角,沿方向擴(kuò)展區(qū)域邊界;
21、s320、計算局部窗口內(nèi)黑白像素交替頻率 f,若 f?<? f th則停止生長;
22、s330、對重疊區(qū)域,優(yōu)先分離包含定位標(biāo)記的條碼。
23、進(jìn)一步地,步驟s400中,所述幾何校正針對一維碼或二維碼的處理方法為:
24、對一維碼,通過hough變換檢測傾斜角并旋轉(zhuǎn)至水平方向;
25、對二維碼,提取定位標(biāo)記角點(diǎn)計算單應(yīng)性矩陣h,進(jìn)行透視變換。
26、進(jìn)一步地,步驟s500中,所述gpu并行解碼流水線的運(yùn)行步驟為:
27、s510、將條碼區(qū)域分配至多個cuda線程塊,并行執(zhí)行二值化和模塊解析;
28、s520、根據(jù)條碼復(fù)雜度評分動態(tài)分配計算資源,條碼復(fù)雜度評分計算公式中,為模糊度權(quán)重系數(shù),為糾錯等級權(quán)重系數(shù),為模糊度評分,為糾錯等級量化值;
29、s530、對模糊區(qū)域優(yōu)先調(diào)用超分辨率重建模型進(jìn)行預(yù)處理。
30、進(jìn)一步地,步驟s600中,所述多模態(tài)校驗(yàn)機(jī)制包括:
31、邏輯校驗(yàn),驗(yàn)證校驗(yàn)位、編碼格式是否符合標(biāo)準(zhǔn);
32、空間一致性校驗(yàn),對多視角識別結(jié)果進(jìn)行多數(shù)投票融合。
33、一種圖像條碼多碼識別裝置,包括:
34、多模態(tài)圖像預(yù)處理模塊,對輸入的待識別圖像進(jìn)行多模態(tài)圖像預(yù)處理,所述多模態(tài)圖像預(yù)處理包括對待識別圖像進(jìn)行動態(tài)光照補(bǔ)償和對待識別圖像進(jìn)行多尺度特征融合,所述多模態(tài)圖像預(yù)處理后生成增強(qiáng)后的圖像;
35、多任務(wù)檢測模塊,將增強(qiáng)后的圖像輸入至多任務(wù)檢測網(wǎng)絡(luò),所述多任務(wù)檢測網(wǎng)絡(luò)同時輸出條碼的邊界框、分割掩碼和類型概率;
36、動態(tài)分割模塊,基于所述邊界框的中心點(diǎn)作為種子點(diǎn),結(jié)合條碼紋理的黑白交替頻率控制生長方向,通過動態(tài)區(qū)域生長算法分離密集排布或部分重疊的條碼區(qū)域;
37、條碼校正模塊,對分離后的條碼區(qū)域進(jìn)行幾何校正,并根據(jù)條碼類型判斷結(jié)果選擇對應(yīng)的解碼策略;
38、gpu并行解碼模塊,基于gpu并行解碼流水線對多個條碼區(qū)域同時進(jìn)行二值化、模塊化解析和糾錯解碼;
39、結(jié)構(gòu)化輸出模塊,通過多模態(tài)校驗(yàn)機(jī)制對解碼結(jié)果進(jìn)行邏輯和空間一致性驗(yàn)證,輸出結(jié)構(gòu)化識別信息,所述結(jié)構(gòu)化識別信息包括條碼類型、坐標(biāo)及關(guān)聯(lián)關(guān)系的json數(shù)據(jù)。
40、一種圖像條碼多碼識別系統(tǒng),所述系統(tǒng)包括:
41、一個或多個存儲器,用于存儲指令;以及
42、一個或多個處理器,用于從所述存儲器中調(diào)用并運(yùn)行所述指令,執(zhí)行如上述所述的圖像條碼多碼識別方法。
43、一種計算機(jī)可讀存儲介質(zhì),所述計算機(jī)可讀存儲介質(zhì)包括:
44、程序,當(dāng)所述程序被處理器運(yùn)行時,如上述所述的圖像條碼多碼識別方法被執(zhí)行。
45、本發(fā)明的工作原理及有益效果為:
46、本發(fā)明通過多任務(wù)檢測網(wǎng)絡(luò)與動態(tài)區(qū)域生長算法實(shí)現(xiàn)密集條碼的精準(zhǔn)分離,結(jié)合gpu加速的并行解碼流水線提升處理效率,并設(shè)計多模態(tài)圖像預(yù)處理與結(jié)構(gòu)化輸出機(jī)制,有效解決現(xiàn)有技術(shù)中密集排布分離困難、混合類型支持不足、實(shí)時性差及復(fù)雜背景干擾等核心痛點(diǎn),顯著提升了復(fù)雜場景下的多碼識別精度與效率。