本發明涉及圖像處理，尤其是涉及一種無軌膠輪車的自動駕駛控制方法及裝置。

背景技術：

1、無軌膠輪車是一種煤礦井下的輔助運輸工具，具有載重能力大、使用靈活及爬坡能力大的特點，目前大量應用于煤礦井下的生產和運輸中。由于無軌膠輪車的作業環境昏暗多塵，當人員操作不規范時，容易導致煤礦安全事故的發生和人員設備的重大損失，為了實現煤礦安全管理，通常將自動駕駛技術應用于膠輪車。但是，現有的無軌膠輪車的自動駕駛技術，通常采用攝像頭獲取駕駛區域周圍視頻畫面，激光雷達作為周圍的避障報警感知裝置，并沒有針對整個煤礦井下環境中影響行駛的物體進行識別，因此，現有的無軌膠輪車的自動駕駛技術還存在自動駕駛控制可靠性較低的問題。

技術實現思路

1、有鑒于此，本發明的目的在于提供一種無軌膠輪車的自動駕駛控制方法及裝置，可以使無軌膠輪車在自動避開障礙物的同時符合交通標志的行駛要求，提升了無軌膠輪車在井下行駛的自動駕駛控制的可靠性。

2、為了實現上述目的，本發明實施例采用的技術方案如下：

3、第一方面，本發明實施例提供了一種無軌膠輪車的自動駕駛控制方法，包括：

4、采集所述無軌膠輪車行駛方向的紅外圖像和可見光圖像，對所述紅外圖像和所述可見光圖像進行圖像配準，得到融合圖像；

5、采集所述無軌膠輪車行駛方向的視野范圍內的點云數據，基于所述融合圖像及所述點云數據識別所述視野范圍內的障礙物信息；

6、基于所述視野范圍內的障礙物信息確定所述無軌膠輪車的可行駛范圍；

7、識別所述視野范圍內交通標志的指示信息，基于所述指示信息確定所述無軌膠輪車在所述可行駛范圍內的行駛策略，以使所述無軌膠輪車按照所述行駛策略行駛；其中，所述行駛策略包括速度控制、行駛路徑規劃及轉向角度。

8、進一步，本發明實施例提供了第一方面的第一種可能的實施方式，其中，所述對所述紅外圖像和所述可見光圖像進行圖像配準，得到融合圖像的步驟，包括：

9、基于預設的特征匹配算法對所述紅外圖像和所述可見光圖像進行特征匹配及圖像融合，得到所述融合圖像。

10、進一步，本發明實施例提供了第一方面的第二種可能的實施方式，其中，所述視野范圍內的點云數據包括煤礦井下巷道路面的點云數據、巷頂和巷頂附著物的點云數據、巷道兩側巖壁和巖壁附著物的點云數據以及巷道中障礙物的點云數據；

11、所述基于所述融合圖像及所述點云數據識別所述視野范圍內的障礙物信息的步驟，包括：

12、將所述融合圖像和所述點云數據輸入預先訓練得到的障礙物識別網絡中，得到所述視野范圍內的障礙物信息；其中，所述障礙物識別網絡基于預先采集得到的融合圖像樣本和點云數據樣本訓練得到。

13、進一步，本發明實施例提供了第一方面的第三種可能的實施方式，其中，所述無軌膠輪車上設置有激光雷達和圖像傳感器，所述激光雷達用于采集所述點云數據，所述圖像傳感器用于采集所述紅外圖像和所述可見光圖像，所述障礙物識別網絡的訓練步驟包括：

14、將所述融合圖像樣本和點云數據樣本輸入所述障礙物識別網絡，對所述融合圖像樣本及所述點云數據樣本中的融合圖像及點云數據進行數據增強；

15、從增強后的所述融合圖像中提取圖像特征信息，基于所述激光雷達的設置位置、所述圖像傳感器的內參和外參及所述圖像特征信息生成所述點云數據對應的視覺特征；

16、基于所述視覺特征生成四維空間特征矩陣，基于所述四維空間特征矩陣進行三維目標檢測及點云語義分割，計算訓練損失并反向傳播損失，直至所述障礙物識別網絡訓練完成。

17、進一步，本發明實施例提供了第一方面的第四種可能的實施方式，其中，所述基于所述視覺特征生成四維空間特征矩陣的步驟，包括：

18、對所述視覺特征進行數據體素化，得到密集體素特征及增強數據維度后的點云數據；

19、對所述增強數據維度后的點云數據提取輕體素特征，得到語義體素特征；

20、將所述密集體素特征及所述語義體素特征輸入三維鳥瞰視圖進行散射，生成四維空間特征矩陣。

21、進一步，本發明實施例提供了第一方面的第五種可能的實施方式，其中，所述識別所述視野范圍內交通標志的指示信息的步驟，包括：

22、從所述可見光圖像中分割出提取出標志牌圖像，基于預設的特征提取算法及預先構建的詞袋模型提取所述標志牌圖像的特征向量，將所述特征向量輸入訓練后的交通標志識別模型中，得到所述交通標志的指示信息；其中，所述交通標志識別模型基于標注有交通標志的指示信息的樣本圖像訓練得到。

23、進一步，本發明實施例提供了第一方面的第六種可能的實施方式，其中，所述交通標志識別模型的訓練步驟包括：

24、獲取包括有交通標志的樣本圖像，對所述樣本圖像進行濾波處理；

25、對濾波處理后的所述樣本圖像進行圖像分割提取出標志牌圖像；

26、基于預設的特征提取算法從所述標志牌圖像中提取圖像特征，基于預設的聚類算法及所述圖像特征構建詞袋模型；

27、基于所述詞袋模型確定所述樣本圖像的特征向量，將所述特征向量輸入神經網絡模型中進行模型訓練，得到訓練后的交通標志識別模型。

28、進一步，本發明實施例提供了第一方面的第七種可能的實施方式，其中，所述基于所述指示信息及所述可行駛范圍內確定行駛策略的步驟，包括：

29、獲取所述無軌膠輪車的行車要求信息，基于所述障礙物信息及所述指示信息建立駕駛環境模型；

30、基于所述行車要求信息設置所述駕駛環境模型對應的多組可行行駛策略，基于強化學習算法從所述可行行駛策略中篩選出最優行駛策略。

31、第二方面，本發明實施例還提供了一種無軌膠輪車的自動駕駛控制裝置，包括：

32、第一采集模塊，用于采集所述無軌膠輪車行駛方向的紅外圖像和可見光圖像，對所述紅外圖像和所述可見光圖像進行圖像配準，得到融合圖像；

33、第二采集模塊，用于采集所述無軌膠輪車行駛方向的視野范圍內的點云數據，基于所述融合圖像及所述點云數據識別所述視野范圍內的障礙物信息；

34、第一確定模塊，用于基于所述視野范圍內的障礙物信息確定所述無軌膠輪車的可行駛范圍；

35、第二確定模塊，用于識別所述視野范圍內交通標志的指示信息，基于所述指示信息確定所述無軌膠輪車在所述可行駛范圍內的行駛策略，以使所述無軌膠輪車按照所述行駛策略行駛；其中，所述行駛策略包括速度控制、行駛路徑規劃及轉向角度。

36、第三方面，本發明實施例提供了一種無軌膠輪車，包括：激光雷達、圖像傳感器和控制器，所述控制器包括處理器和存儲裝置；

37、所述存儲裝置上存儲有計算機程序，所述計算機程序在被所述處理器運行時執行如第一方面任一項所述的方法。

38、本發明實施例提供了一種無軌膠輪車的自動駕駛控制方法及裝置，該方法包括：采集無軌膠輪車行駛方向的紅外圖像和可見光圖像，對紅外圖像和可見光圖像進行圖像配準，得到融合圖像；采集無軌膠輪車行駛方向的視野范圍內的點云數據，基于融合圖像及點云數據識別視野范圍內的障礙物信息；基于視野范圍內的障礙物信息確定無軌膠輪車的可行駛范圍；識別視野范圍內交通標志的指示信息，基于指示信息確定無軌膠輪車在可行駛范圍內的行駛策略，以使無軌膠輪車按照行駛策略行駛；其中，行駛策略包括速度控制、行駛路徑規劃及轉向角度。本發明通過基于紅外圖像和可見光圖像的融合圖像及點云數據識別無軌膠輪車的視野范圍內的障礙物信息，可以識別影響無軌膠輪車行駛的物體，通過根據無軌膠輪車視野范圍內的可行駛范圍及交通標志指示信息確定對應的行駛策略，可以使無軌膠輪車在自動避開障礙物的同時符合交通標志的行駛要求，提升了無軌膠輪車在井下行駛的自動駕駛控制的可靠性。

39、本發明實施例的其他特征和優點將在隨后的說明書中闡述，或者，部分特征和優點可以從說明書推知或毫無疑義地確定，或者通過實施本發明實施例的上述技術即可得知。

40、為使本發明的上述目的、特征和優點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。