本技術涉及智能控制領域，具體涉及一種露天煤礦挖掘機的自動控制系統及方法。

背景技術：

1、在露天煤礦開采過程中，挖掘機的自動控制系統是實現高效、精準作業的關鍵技術之一。然而，現有的自動控制系統在煤堆識別和挖掘優先級決策方面存在顯著缺陷，導致開采效率低下和資源浪費。傳統方法主要依賴于單一傳感器(如攝像頭或光譜傳感器)采集的數據，缺乏對煤堆表面狀態和光譜特征的多模態融合分析。這種單一數據源的局限性使得系統難以全面、準確地識別煤堆類型，尤其是在復雜地質條件下，識別誤差較大。此外，現有系統在生成挖掘優先級時，往往依賴于人工經驗或簡單的規則，難以實現智能化、自適應的決策，導致挖掘效率低下和資源分配不合理。

2、因此，為克服上述問題，以提高露天煤礦挖掘機的作業效率和資源利用率，期待一種優化的露天煤礦挖掘機的自動控制系統。

技術實現思路

1、本技術的實施例旨在至少解決現有技術中存在的技術問題之一，提供一種露天煤礦挖掘機的自動控制系統及方法，通過獲取光譜傳感器和攝像頭采集的煤堆表面狀態圖像和煤堆光譜圖像集合，并采用基于深度學習的神經網絡模型對兩者分別進行特征提取以捕捉煤堆的外在形態特征和內在屬性特征，以得到煤堆的表面狀態特征和光譜特征表示，進一步通過對表面狀態特征和光譜特征進行多模態綜合分析以挖掘出兩者之間的本質關聯特征表示，并基于此準確判斷煤堆的類型。通過這樣的方式，能夠實現對煤堆的精準識別，從而智能化地生成挖掘任務指令，提高了挖掘效率和資源利用率。

2、一方面，本技術提供一種露天煤礦挖掘機的自動控制系統，包括：

3、圖像采集模塊，用于獲取由光譜傳感器和攝像頭采集的各個煤堆的煤堆表面狀態圖像和煤堆光譜圖像以得到{煤堆表面狀態圖像，煤堆光譜圖像}的集合；

4、特征提取模塊，用于提取所述{煤堆表面狀態圖像，煤堆光譜圖像}的集合的煤堆表面狀態特征和煤堆光譜特征以得到{煤堆表面狀態特征圖，煤堆光譜特征圖}的集合；

5、特征交互分析模塊，用于對所述{煤堆表面狀態特征圖，煤堆光譜特征圖}的集合進行基于強因果互聯的特征交互分析以得到煤堆表面狀態-光譜多模態聯合感知編碼特征圖的集合；

6、煤堆類型識別模塊，用于對所述煤堆表面狀態-光譜多模態聯合感知編碼特征圖的集合進行煤堆類型識別以得到煤堆類型識別結果的集合；

7、挖掘任務指令生成模塊，用于基于所述煤堆類型識別結果的集合，生成挖掘任務指令。

8、可選地，所述特征提取模塊，包括：

9、煤堆表面狀態特征提取單元，用于將所述煤堆表面狀態圖像的集合中的各個煤堆表面狀態圖像輸入基于深度可分離卷積模型的煤堆表面狀態特征提取器以得到煤堆表面狀態特征圖的集合；

10、煤堆光譜特征提取單元，用于將所述煤堆光譜圖像的集合中的各個煤堆光譜圖像輸入基于深度可分離卷積模型的煤堆光譜特征提取器以得到煤堆光譜特征圖的集合。

11、可選地，所述煤堆表面狀態特征提取單元，還用于：

12、將所述煤堆表面狀態圖像的集合中的各個煤堆表面狀態圖像沿著通道維度進行級聯以得到煤堆表面狀態特征特征張量；

13、使用所述深度可分離卷積模型的各層在層的正向傳遞中對所述煤堆表面狀態特征特征張量進行基于可分離卷積核的卷積處理、池化處理和非線性激活處理以由所述深度可分離卷積模型的最后一層輸出所述煤堆表面狀態特征圖的集合。

14、可選地，所述特征交互分析模塊，包括：

15、特征對構造單元，用于對所述煤堆表面狀態特征圖和所述煤堆光譜特征圖進行因果關聯分析，并基于分析結果來獲取構成因果鏈環單元的{煤堆表面狀態特征，煤堆光譜特征}特征對的集合；

16、煤堆表面狀態-光譜特征聯合感知單元，用于對所述包含因果鏈環單元的{煤堆表面狀態特征，煤堆光譜特征}特征的集合對進行特征聯合感知編碼以得到煤堆表面狀態-光譜多模態聯合感知編碼特征向量的集合；

17、特征聚合單元，用于將所述煤堆表面狀態-光譜多模態聯合感知編碼特征向量的集合進行特征聚合以得到所述煤堆表面狀態-光譜多模態聯合感知編碼特征圖。

18、可選地，所述特征對構造單元，還用于：

19、沿著所述煤堆表面狀態特征圖和所述煤堆光譜特征圖的通道維度對所述煤堆表面狀態特征圖和所述煤堆光譜特征圖進行特征解耦以得到煤堆表面狀態局部特征編碼向量的集合和煤堆光譜局部特征編碼向量的集合；

20、將所述煤堆表面狀態局部特征編碼向量的集合和所述煤堆光譜局部特征編碼向量的集合輸入因果鏈環單元篩選網絡以得到構成因果鏈環單元的{煤堆表面狀態局部特征編碼向量，煤堆光譜局部特征編碼向量}特征對的集合作為所述{煤堆表面狀態特征，煤堆光譜特征}特征對的集合。

21、可選地，所述煤堆表面狀態-光譜特征聯合感知單元，還用于：將所述構成因果鏈環單元的{煤堆表面狀態局部特征編碼向量，煤堆光譜局部特征編碼向量}特征對的集合中的各個構成因果鏈環單元的{煤堆表面狀態局部特征編碼向量，煤堆光譜局部特征編碼向量}特征對輸入因果鏈環單元語義動態響應網絡以得到所述煤堆表面狀態-光譜多模態聯合感知編碼特征向量的集合。

22、可選地，所述煤堆類型識別模塊，還用于：

23、將所述煤堆表面狀態-光譜多模態聯合感知編碼特征圖的集合中的各個煤堆表面狀態-光譜多模態聯合感知編碼特征圖分別輸入基于分類器的煤堆類型識別器以得到煤堆類型識別結果的集合。

24、可選地，所述挖掘任務指令生成模塊，還用于：

25、基于所述煤堆類型識別結果的集合，確定露天煤礦挖掘機的挖掘優先級以得到挖掘優先級的集合；

26、基于所述挖掘優先級的集合，生成挖掘任務指令。

27、另一方面，本技術提供一種露天煤礦挖掘機的自動控制方法，包括：

28、獲取由光譜傳感器和攝像頭采集的各個煤堆的煤堆表面狀態圖像和煤堆光譜圖像以得到{煤堆表面狀態圖像，煤堆光譜圖像}的集合；

29、提取所述{煤堆表面狀態圖像，煤堆光譜圖像}的集合的煤堆表面狀態特征和煤堆光譜特征以得到{煤堆表面狀態特征圖，煤堆光譜特征圖}的集合；

30、對所述{煤堆表面狀態特征圖，煤堆光譜特征圖}的集合進行基于強因果互聯的特征交互分析以得到煤堆表面狀態-光譜多模態聯合感知編碼特征圖的集合；

31、對所述煤堆表面狀態-光譜多模態聯合感知編碼特征圖的集合進行煤堆類型識別以得到煤堆類型識別結果的集合；

32、基于所述煤堆類型識別結果的集合，生成挖掘任務指令。

33、與相關技術相比，本技術提供的一種露天煤礦挖掘機的自動控制系統及方法，通過獲取光譜傳感器和攝像頭采集的煤堆表面狀態圖像和煤堆光譜圖像集合，并采用基于深度學習的神經網絡模型對兩者分別進行特征提取以捕捉煤堆的外在形態特征和內在屬性特征，以得到煤堆的表面狀態特征和光譜特征表示，進一步通過對表面狀態特征和光譜特征進行多模態綜合分析以挖掘出兩者之間的本質關聯特征表示，并基于此準確判斷煤堆的類型。通過這樣的方式，能夠實現對煤堆的精準識別，從而智能化地生成挖掘任務指令，提高了挖掘效率和資源利用率。