本發明屬于車輛自動駕駛,尤其涉及一種無人駕駛車輛感知障礙物目標的方法、系統、介質和設備。
背景技術:
1、在鐵路貨場內運行的igv(intelligent?guided?vehicle,智能導引運輸車)是一種按照預設路徑行駛的自動駕駛運輸車輛,在鐵路貨場內執行集裝箱轉運任務,貨場內有工作人員與集卡車、正面吊、叉車、軌道式門式起重機等多種可移動車輛、設備,共同構成了混合交通流。由于貨場內未制定任何交通規則,貨場內車輛無通行規律,存在跨道行駛、逆向行駛、橫向行駛等多種不符合常規交通規則的行駛情況,交通環境復雜多變。為確保貨場igv的安全有序運行,已明確規定了其運行規則和運行車道,但其他人工駕駛車輛仍不遵循任何規則行駛,經常出現侵入igv運行車道的情況。此外,貨場內存在集卡、正面吊等常規道路上不會出現的大型車輛,視覺識別數據集中這些大型車輛的數據樣本較少,且過大的尺寸讓相機難以捕捉到足夠多的有效信息對車輛的類型、位置進行準確的判斷,這些大型車輛給自動駕駛感知系統帶來挑戰。在這種復雜且非常規的混行交通環境下,常規的自動駕駛車輛感知策略難以支持igv的安全運營。因此,在日常運行中,需采取一種新的定制化的感知策略部署方案來保障自動駕駛系統的感知能力。
技術實現思路
1、本發明提出一種無人駕駛車輛感知障礙物目標的方法、系統、介質和設備。
2、本發明的一種無人駕駛車輛感知障礙物目標的方法,所述方法包括:
3、獲取相機的圖像數據,利用目標檢測算法從所述圖像數據中提取第一目標集合以及第一目標的第一特征信息;
4、利用相機投影模型從所述圖像數據中提取第一目標的第一位置信息,將所述第一特征信息和所述第一位置信息統一定義為第一目標的第一綜合信息;
5、獲取激光雷達的三維點云數據,利用歐式聚類法從所述三維點云數據中提取第二目標集合以及第二目標的第二綜合信息;
6、獲取無人駕駛車輛的運行信息,基于所述無人駕駛車輛的運行信息、所述第一綜合信息和所述第二綜合信息確定障礙物目標。
7、進一步地,
8、所述獲取相機的圖像數據,利用目標檢測算法從圖像數據中提取第一目標集合以及第一目標的第一特征信息,包括:
9、獲取所述相機的圖像數據,利用所述目標檢測算法中的預訓練模型檢測所述圖像數據,得到第一原始目標集合以及第一原始目標的第一特征信息;
10、基于所述第一特征信息中的類型和置信度,利用所述目標檢測算法中的置信度閾值,對所述第一原始目標集合進行過濾,得到所述第一目標集合以及所述第一目標的第一特征信息。
11、進一步地,
12、所述獲取激光雷達的三維點云數據,利用歐式聚類法從三維點云數據中提取第二目標集合以及第二目標的第二綜合信息,包括:
13、獲取所述激光雷達的三維點云數據,將所述激光雷達的三維點云數據定義為原始三維點云數據;
14、對所述原始三維點云數據進行預處理,得到預處理后的三維點云數據;
15、基于三維點云數據的空間分布特性,將所述預處理后的三維點云數據根據空間位置劃分為多個區域;
16、利用所述歐式聚類法對每個所述區域內所述預處理后的三維點云數據進行聚類,得到聚類結果;
17、對所述聚類結果進行優化,得到所述第二目標集合以及所述第二目標的第二綜合信息。
18、進一步地,
19、所述利用歐式聚類法對每個區域內預處理后的三維點云數據進行聚類,得到聚類結果,包括:
20、計算所述預處理后的三維點云數據的每個維度中所有數據點的方差,選擇最大的方差對應的維度作為當前節點的切分維度;
21、計算所述切分維度中所有所述數據點的中位數,將所述中位數作為所述當前節點的切分點;
22、構建超平面,所述超平面垂直于所述切分維度并穿過所述切分點;
23、基于所述切分維度、所述切分點和所述超平面遞歸構建左右子樹。
24、進一步地,
25、所述對聚類結果進行優化,得到第二目標集合以及第二目標的第二綜合信息,包括:
26、對所述聚類結果進行優化,得到優化后的聚類結果;
27、所述優化后的聚類結果中,一個聚類即為一個所述第二目標,一個或多個所述第二目標組成所述第二目標集合;
28、通過每個所述聚類的中心點的三維坐標確定第二目標的第二位置信息;
29、從每個所述聚類中的所述三維點云數據提取邊界框坐標,通過所述邊界框坐標確定邊界框,從而通過所述邊界框確定第二目標的第二形狀信息;
30、通過每個所述聚類中的所述三維點云數據的法向量確定第二目標的朝向,從而確定第二目標的第二姿態信息;
31、將所述第二目標的第二位置信息、所述第二目標的第二形狀信息、所述第二目標的第二姿態信息統一定義為所述第二目標的第二綜合信息。
32、進一步地,
33、所述獲取無人駕駛車輛的運行信息,基于無人駕駛車輛的運行信息、第一綜合信息和第二綜合信息,確定障礙物目標,包括:
34、將所述無人駕駛車輛的運行信息、所述第一綜合信息和所述第二綜合信息的獲取時間進行時間幀對齊;
35、將所述第一目標集合和所述第二目標集合進行融合,得到首次融合目標集合以及首次融合目標的首次融合綜合信息;
36、利用卡爾曼濾波法對所述首次融合綜合信息進行更新,得到更新的首次融合綜合信息;
37、進一步地,
38、所述獲取無人駕駛車輛的運行信息,基于無人駕駛車輛的運行信息、第一綜合信息和第二綜合信息,確定障礙物目標,還包括:
39、基于所述更新的首次融合綜合信息,利用匈牙利算法對所述首次融合目標集合進行幀間匹配,得到最終融合目標集合以及最終融合目標的最終融合信息,所述最終融合信息包括最終融合位置信息、最終融合形狀信息和最終融合姿態信息;
40、通過所述最終融合信息確定障礙物目標。
41、本發明的一種無人駕駛車輛感知障礙物目標的系統,用于實施前述無人駕駛車輛感知障礙物目標的方法,所述系統包括:
42、第一特征信息獲取模塊,用于獲取相機的圖像數據,利用目標檢測算法從所述圖像數據中提取第一目標集合以及第一目標的第一特征信息;
43、第一綜合信息獲取模塊,用于利用相機投影模型從所述圖像數據中提取第一目標的第一位置信息,將所述第一特征信息和所述第一位置信息統一定義為第一目標的第一綜合信息;
44、第二綜合信息獲取模塊,用于獲取激光雷達的三維點云數據,利用歐式聚類法從所述三維點云數據中提取第二目標集合以及第二目標的第二綜合信息;
45、障礙物目標確定模塊,用于獲取無人駕駛車輛的運行信息,基于所述無人駕駛車輛的運行信息、所述第一綜合信息和所述第二綜合信息確定障礙物目標。
46、本發明的一種計算機可讀存儲介質,存儲有程序或指令,當所述程序或指令在計算機上運行時,使得所述計算機執行前述無人駕駛車輛感知障礙物目標的方法。
47、本發明的一種電子設備,包括處理器,所述處理器與存儲器耦合;所述處理器用于讀取并執行所述存儲器中存儲的計算機程序,以實現前述無人駕駛車輛感知障礙物目標的方法。
48、本發明與現有技術相比,有益效果是:
49、針對鐵路貨場的復雜交通環境,特別是大型有人車輛混亂行駛的情況,設計了一種融合激光雷達、相機和車輛運行數據的障礙物目標感知方法,提高了車輛系統對障礙物目標的感知能力,特別適用于鐵路貨場中大型車輛障礙物的動態識別與定位,同時減少了對遠距離障礙物目標的頻繁處理,節省了計算資源。
50、通過位置投影技術,將2d像素坐標準確轉換為3d世界坐標,提升了空間信息的精確度。
51、視覺和激光感知結果融合的處理方式,集成匈牙利匹配和卡爾曼濾波算法,優化了障礙物的匹配能力和位置估計能力。
52、設計了一種優先處理機制,使得系統能夠優先關注對車輛安全行駛影響最大的障礙物目標,提高了響應效率,降低了車輛與障礙物目標的碰撞風險。