本發(fā)明涉及人工智能,特別地涉及一種基于深度學(xué)習(xí)的數(shù)字柵格地圖生成方法及系統(tǒng)。
背景技術(shù):
1、在當(dāng)今倉儲行業(yè)的發(fā)展進(jìn)程中,眾多倉儲企業(yè)仍深陷傳統(tǒng)運(yùn)營模式的困境;一方面,大量企業(yè)依舊依賴傳統(tǒng)的叉車進(jìn)行貨物搬運(yùn),采用地堆式的貨物管理手段,不僅耗費大量人力,而且貨物存儲布局缺乏科學(xué)性,查找與搬運(yùn)效率低下。另一方面,盡管倉庫智能化改造的趨勢日益凸顯,智能叉車與智能貨架等先進(jìn)設(shè)備蘊(yùn)含著提升作業(yè)效率、優(yōu)化管理流程的巨大潛力,但企業(yè)面臨著高昂的成本門檻,采購智能叉車少則幾十萬元,多則上百萬元一臺,智能貨架的搭建與配套系統(tǒng)部署同樣花費不菲,高額的前期投入以及后續(xù)維護(hù)成本,令許多倉儲企業(yè)望而卻步,智能化升級計劃屢屢擱置。
2、與此同時,數(shù)字柵格地圖(drg)作為一種經(jīng)數(shù)字掃描及計算機(jī)處理、以柵格形式呈現(xiàn)的圖形數(shù)據(jù),在智能倉儲領(lǐng)域有著極大的應(yīng)用價值,能夠為倉儲空間提供精準(zhǔn)的數(shù)字化模型。
3、因此,亟需一種聚焦于倉儲企業(yè)現(xiàn)有的設(shè)備和場地,通過結(jié)合先進(jìn)的圖像識別技術(shù)生成數(shù)字柵格地圖,進(jìn)而解鎖叉車智能導(dǎo)航、倉庫智能作業(yè)調(diào)度管理以及倉庫數(shù)字孿生等多元場景應(yīng)用,力求以低成本、高效益的方式化解當(dāng)前傳統(tǒng)型倉儲企業(yè)智能化改造成本高、作業(yè)效率低的難題。
技術(shù)實現(xiàn)思路
1、有鑒于此,本發(fā)明提出一種基于深度學(xué)習(xí)的數(shù)字柵格地圖生成方法及系統(tǒng),能夠利用現(xiàn)有倉儲設(shè)備與場地,低成本地生成靜態(tài)及動態(tài)柵格地圖,提升倉庫作業(yè)效率,助力傳統(tǒng)倉儲企業(yè)實現(xiàn)智能化管理。
2、為實現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:
3、一種基于深度學(xué)習(xí)的數(shù)字柵格地圖生成方法,包括:
4、對倉庫進(jìn)行區(qū)域劃分和攝像頭安裝固定,獲取每個攝像頭在放小旗子前的原始地面圖片數(shù)據(jù)集h和放小旗子后的地面圖片數(shù)據(jù)集f;
5、基于改進(jìn)yolov8算法模型識別地面圖片數(shù)據(jù)集f中圖片的格子,獲取每個格子在圖片中的像素區(qū)域并生成唯一序號,基于格子顏色將格子標(biāo)記為車道格子或庫位格子;
6、對每個攝像頭對應(yīng)的原始地面圖片數(shù)據(jù)集h和地面圖片數(shù)據(jù)集f放置小旗子前后的圖片做差值,確定小旗子像素區(qū)域和小旗子坐標(biāo)數(shù)據(jù);
7、記錄地面圖片數(shù)據(jù)集f中圖片的格子序號集合、相鄰格子序號集合和相鄰關(guān)系集合;
8、將每個格子的像素區(qū)域進(jìn)行總計求和,與原始地面圖片數(shù)據(jù)集h中圖片的像素區(qū)域進(jìn)行差值比對,獲取至少一個空白像素區(qū)域,將所述空白像素區(qū)域定義為新格子并生成唯一序號,確定新格子的相鄰關(guān)系,獲取小旗子像素區(qū)域包含在空白像素區(qū)域的小旗子坐標(biāo)數(shù)據(jù),將所述小旗子坐標(biāo)數(shù)據(jù)作為空白像素區(qū)域?qū)?yīng)的格子的實際位置坐標(biāo)數(shù)據(jù),將所有的小旗子坐標(biāo)數(shù)據(jù)賦值給對應(yīng)的格子,以得到每個攝像頭拍攝原始地面數(shù)據(jù)集h的全部格子、格子序號、格子相鄰關(guān)系和部分格子的實際位置坐標(biāo)數(shù)據(jù);
9、獲取每個攝像頭對應(yīng)的原始地面數(shù)據(jù)集h有實際位置坐標(biāo)數(shù)據(jù)的格子數(shù)據(jù)集m1,對剩余沒有實際位置坐標(biāo)數(shù)據(jù)的格子進(jìn)行坐標(biāo)賦值,以得到攝像頭拍攝原始格子數(shù)據(jù)集u,將所述攝像頭拍攝原始格子數(shù)據(jù)集u的格子坐標(biāo)和格子標(biāo)簽進(jìn)行聚合,將聚合后的數(shù)據(jù)的格子坐標(biāo)數(shù)據(jù)、格子標(biāo)簽進(jìn)行去重處理建立格子坐標(biāo)數(shù)據(jù)集k,為格子坐標(biāo)數(shù)據(jù)集k與攝像頭拍攝原始格子數(shù)據(jù)集u建立關(guān)聯(lián)關(guān)系;
10、基于所述格子坐標(biāo)數(shù)據(jù)集k的格子坐標(biāo)和格子類型生成倉庫靜態(tài)柵格地圖,基于所述格子坐標(biāo)數(shù)據(jù)集k與各攝像頭拍攝原始格子數(shù)據(jù)集u的關(guān)聯(lián)關(guān)系,生成每個攝像頭的靜態(tài)柵格地圖;
11、基于改進(jìn)yolov8算法模型、攝像頭拍攝原始格子數(shù)據(jù)集u和所述倉庫靜態(tài)柵格地圖獲取倉庫內(nèi)所有叉車的實時運(yùn)行狀態(tài)信息,基于所述實時運(yùn)行狀態(tài)信息生成動態(tài)柵格地圖。
12、在上述技術(shù)方案的基礎(chǔ)上,本發(fā)明還可以做如下改進(jìn):
13、可選地,所述改進(jìn)yolov8算法模型包括輸入端、主干網(wǎng)絡(luò)、neck端和輸出端;
14、在所述主干網(wǎng)絡(luò)中加入通道先驗卷積注意力模塊,所述通道先驗卷積注意力模塊包括依次相連的通道注意力機(jī)制和空間注意力機(jī)制,通過通道注意力機(jī)制生成通道注意力圖,通過空間注意力生成空間注意力圖;
15、所述neck端包括bottleneck模塊,通過dcnv3替換bottleneck模塊中的卷積模塊;
16、通過dcnv3接收空間注意力圖以進(jìn)行通道混合,得到通道混合結(jié)果,將通道混合結(jié)構(gòu)與通道先驗的逐元素相乘,獲得圖像內(nèi)容的特征表示。
17、可選地,所述通過通道注意力機(jī)制生成通道注意力圖,通過空間注意力生成空間注意力圖,包括:
18、通過公式(1)計算通道注意力;
19、ac(f)=σ(mlp(avgpool(f))+mlp(maxpool(f)))????公式(1);
20、式中,ac(f)為通道注意力,f為給定的特征圖f,avgpool(f)為特征圖f進(jìn)行平均池化操作,maxpool(f)為對特征圖f進(jìn)行最大池化操作,mlp為多層感知器,σ為激活函數(shù);
21、通過公式(2)計算空間注意力;
22、
23、式中,at(f)為空間注意力,dwconv為深度可分離卷積;branchi為第i個分支。
24、可選地,所述通過dcnv3接收空間注意力圖以進(jìn)行通道混合,得到通道混合結(jié)果,將通道混合結(jié)構(gòu)與通道先驗的逐元素相乘,獲得圖像內(nèi)容的特征表示,包括:
25、通過公式(3)計算圖像內(nèi)容的特征表示;
26、
27、式中,y(p0)為圖像內(nèi)容的特征表示,m為聚集群數(shù),n為維度,對于第m組,wm∈r為第m組與位置無關(guān)的投影權(quán)值,hmn∈r為第m組第n個采樣點的調(diào)制標(biāo)量,xm∈r為切片輸入特征圖,p0為當(dāng)前像素點,pn為網(wǎng)格采樣位置,為第m組網(wǎng)格采樣位置pn對應(yīng)的偏移量。
28、可選地,所述獲取每個攝像頭對應(yīng)的原始地面數(shù)據(jù)集h有實際位置坐標(biāo)數(shù)據(jù)的格子數(shù)據(jù)集m1,對剩余沒有實際位置坐標(biāo)數(shù)據(jù)的格子進(jìn)行坐標(biāo)賦值,以得到攝像頭拍攝原始格子數(shù)據(jù)集u,包括:
29、對于坐標(biāo)為(xm11,ym11)的格子m11,獲取格子m11的左相鄰格子,判斷所述左相鄰格子是否有坐標(biāo),若有,不做處理,若無,則定義(xm11-1,ym11)為左相鄰格子的坐標(biāo),并將所述左相鄰格子記錄到數(shù)據(jù)集m2中;
30、同樣,獲取格子m11的右相鄰格子、上相鄰格子和下相鄰格子,完成格子數(shù)據(jù)集m1中格子的實際位置坐標(biāo)數(shù)據(jù)對相鄰格子的賦值;
31、對新生成的數(shù)據(jù)集m2中格子的實際位置坐標(biāo)數(shù)據(jù)對相鄰格子進(jìn)行賦值,對于賦值的格子記錄到數(shù)據(jù)集m3,直至完成每個攝像頭原始地面圖片中格子的坐標(biāo)賦值,獲取到每個攝像頭拍攝區(qū)域的所有格子序號,格子坐標(biāo)、格子標(biāo)簽、格子對應(yīng)的像素區(qū)域以及攝像頭序號,以得到攝像頭拍攝原始格子數(shù)據(jù)集u。
32、可選地,所述基于改進(jìn)yolov8算法模型、攝像頭拍攝原始格子數(shù)據(jù)集u和所述倉庫靜態(tài)柵格地圖獲取倉庫內(nèi)所有叉車的實時運(yùn)行狀態(tài)信息,基于所述實時運(yùn)行狀態(tài)信息生成動態(tài)柵格地圖,包括:
33、通過改進(jìn)yolov8算法模型獲取各叉車在當(dāng)前攝像頭圖片中的像素區(qū)域和叉車車頭朝向的標(biāo)記數(shù)字;
34、將叉車在當(dāng)前攝像頭圖片中的像素區(qū)域與當(dāng)前攝像頭的攝像頭拍攝原始格子數(shù)據(jù)集u中格子對應(yīng)的像素區(qū)域進(jìn)行比對,匹配相應(yīng)的格子,若匹配到的是一個格子,則記錄匹配格子的像素區(qū)域值,得到待比對的像素區(qū)域;
35、若匹配到多個格子,則將多個格子的像素區(qū)域進(jìn)行合并,得到待比對的像素區(qū)域;
36、基于所述待比對的像素區(qū)域得到各叉車坐標(biāo)數(shù)據(jù)和車頭方向數(shù)據(jù);
37、基于當(dāng)前倉庫靜態(tài)柵格地圖以及各叉車坐標(biāo)數(shù)據(jù)和車頭方向數(shù)據(jù),生成動態(tài)柵格地圖。
38、可選地,所述基于所述待比對的像素區(qū)域得到各叉車坐標(biāo)數(shù)據(jù),包括:
39、通過公式(4)計算叉車橫坐標(biāo);
40、
41、式中,xn為叉車橫坐標(biāo),x為待比對的像素區(qū)域的橫坐標(biāo),x1為重合區(qū)域與左邊距離比例,x2為重合區(qū)域與右邊距離比例;
42、通過公式(5)計算叉車縱坐標(biāo);
43、
44、式中,yn為叉車縱坐標(biāo),y為待比對的像素區(qū)域的縱坐標(biāo),y1為重合區(qū)域與上邊距離比例,y2為重合區(qū)域與下邊距離比例。
45、一種基于深度學(xué)習(xí)的數(shù)字柵格地圖生成系統(tǒng),包括:
46、數(shù)據(jù)采集模塊,用于對倉庫進(jìn)行區(qū)域劃分和攝像頭安裝固定,獲取每個攝像頭在放小旗子前的原始地面圖片數(shù)據(jù)集h和放小旗子后的地面圖片數(shù)據(jù)集f;
47、格子識別模塊,用于基于改進(jìn)yolov8算法模型識別地面圖片數(shù)據(jù)集f中圖片的格子,獲取每個格子在圖片中的像素區(qū)域并生成唯一序號,基于格子顏色將格子標(biāo)記為車道格子或庫位格子;
48、差值計算模塊,用于對每個攝像頭對應(yīng)的原始地面圖片數(shù)據(jù)集h和地面圖片數(shù)據(jù)集f放置小旗子前后的圖片做差值,確定小旗子像素區(qū)域和小旗子坐標(biāo)數(shù)據(jù);
49、記錄模塊,用于記錄地面圖片數(shù)據(jù)集f中圖片的格子序號集合、相鄰格子序號集合和相鄰關(guān)系集合;
50、實際位置坐標(biāo)數(shù)據(jù)獲取模塊,用于將每個格子的像素區(qū)域進(jìn)行總計求和,與原始地面圖片數(shù)據(jù)集h中圖片的像素區(qū)域進(jìn)行差值比對,獲取至少一個空白像素區(qū)域,將所述空白像素區(qū)域定義為新格子并生成唯一序號,確定新格子的相鄰關(guān)系,獲取小旗子像素區(qū)域包含在空白像素區(qū)域的小旗子坐標(biāo)數(shù)據(jù),將所述小旗子坐標(biāo)數(shù)據(jù)作為空白像素區(qū)域?qū)?yīng)的格子的實際位置坐標(biāo)數(shù)據(jù),將所有的小旗子坐標(biāo)數(shù)據(jù)賦值給對應(yīng)的格子,以得到每個攝像頭拍攝原始地面數(shù)據(jù)集h的全部格子、格子序號、格子相鄰關(guān)系和部分格子的實際位置坐標(biāo)數(shù)據(jù);
51、坐標(biāo)賦值模塊,用于獲取每個攝像頭對應(yīng)的原始地面數(shù)據(jù)集h有實際位置坐標(biāo)數(shù)據(jù)的格子數(shù)據(jù)集m1,對剩余沒有實際位置坐標(biāo)數(shù)據(jù)的格子進(jìn)行坐標(biāo)賦值,以得到攝像頭拍攝原始格子數(shù)據(jù)集u,將所述攝像頭拍攝原始格子數(shù)據(jù)集u的格子坐標(biāo)和格子標(biāo)簽進(jìn)行聚合,將聚合后的數(shù)據(jù)的格子坐標(biāo)數(shù)據(jù)、格子標(biāo)簽進(jìn)行去重處理建立格子坐標(biāo)數(shù)據(jù)集k,為格子坐標(biāo)數(shù)據(jù)集k與攝像頭拍攝原始格子數(shù)據(jù)集u建立關(guān)聯(lián)關(guān)系;
52、靜態(tài)地圖生成模塊,用于基于所述格子坐標(biāo)數(shù)據(jù)集k的格子坐標(biāo)和格子類型生成倉庫靜態(tài)柵格地圖,基于所述格子坐標(biāo)數(shù)據(jù)集k與各攝像頭拍攝原始格子數(shù)據(jù)集u的關(guān)聯(lián)關(guān)系,生成每個攝像頭的靜態(tài)柵格地圖;
53、動態(tài)地圖生成模塊,用于基于改進(jìn)yolov8算法模型、攝像頭拍攝原始格子數(shù)據(jù)集u和所述倉庫靜態(tài)柵格地圖獲取倉庫內(nèi)所有叉車的實時運(yùn)行狀態(tài)信息,基于所述實時運(yùn)行狀態(tài)信息生成動態(tài)柵格地圖。
54、一種電子設(shè)備,包括存儲器、處理器及存儲在存儲器上并在處理器上運(yùn)行的計算機(jī)程序,所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)如所述方法的步驟。
55、一種非暫態(tài)計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)所述方法的步驟。
56、本發(fā)明具有如下優(yōu)點:
57、本發(fā)明中基于深度學(xué)習(xí)的數(shù)字柵格地圖生成方法,利用倉庫現(xiàn)有的場地以及常規(guī)攝像頭等基礎(chǔ)設(shè)備即可開展地圖生成工作,無需大規(guī)模購置全新的昂貴智能硬件,有效降低了傳統(tǒng)倉儲企業(yè)邁向智能化管理在硬件設(shè)施投入上的高額成本,使更多倉儲企業(yè)能以較低成本開啟智能化改造之路。
58、本發(fā)明中基于深度學(xué)習(xí)的數(shù)字柵格地圖生成方法,借助改進(jìn)的yolov8算法模型,能夠精準(zhǔn)識別地面圖片中的格子,準(zhǔn)確區(qū)分車道格子與庫位格子,細(xì)致處理空白像素區(qū)域轉(zhuǎn)化為新格子并合理確定其相關(guān)屬性及坐標(biāo),通過嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)處理流程生成的靜態(tài)柵格地圖可以高度還原倉庫實際布局,為后續(xù)管理提供精確的數(shù)字化空間參照。
59、本發(fā)明中基于深度學(xué)習(xí)的數(shù)字柵格地圖生成方法,基于生成的靜態(tài)柵格地圖以及對叉車實時運(yùn)行狀態(tài)信息的獲取,進(jìn)一步生成動態(tài)柵格地圖,能實時掌握叉車動態(tài)、貨物流動情況等,實現(xiàn)智能導(dǎo)航、智能作業(yè)調(diào)度管理,優(yōu)化叉車行駛路徑,減少貨物搬運(yùn)時間,避免作業(yè)沖突,顯著提高倉庫整體作業(yè)效率,增強(qiáng)倉儲運(yùn)營的流暢性和有序性。
60、本發(fā)明中基于深度學(xué)習(xí)的數(shù)字柵格地圖生成方法,推動傳統(tǒng)倉儲企業(yè)從傳統(tǒng)管理模式向數(shù)字孿生智能化管理模式轉(zhuǎn)變,便于企業(yè)更好地進(jìn)行庫存監(jiān)控、資源調(diào)配、計劃決策等工作,提升企業(yè)在倉儲管理方面的精細(xì)化、智能化水平,增強(qiáng)市場競爭力。