本發明涉及人工智能與傳感器融合定位，具體為基于自監督神經網絡的視覺慣導雷達融合自定位方法。

背景技術：

1、在煤礦井下掘進作業場景中，自監督神經網絡技術的應用面臨諸多挑戰。傳統的自監督神經網絡架構通常基于固定的網絡拓撲結構進行訓練和運行。然而，煤礦井下掘進環境極為復雜且動態多變，隨著掘進工作的推進，地質條件不斷變化，巖石的硬度、結構以及地質構造差異顯著，例如在掘進過程中可能突然遇到斷層、褶皺、軟硬巖交替等情況。這些變化使得井下環境的拓撲結構處于動態變化之中，而傳統神經網絡難以實時適應這種動態變化。

2、當遇到地質條件改變時，傳統神經網絡無法自動調整其內部連接和處理流程，難以有效捕捉新的環境特征和定位線索。在煤礦井下，這可能導致掘進方向出現偏差，影響掘進效率，甚至引發安全事故。例如，在遇到斷層時，傳統神經網絡無法及時感知并調整對地質結構的識別，使得掘進設備可能偏離預定軌道，造成資源浪費和安全隱患。這表明開發一種能夠根據煤礦井下掘進環境動態變化自動調整網絡拓撲的新型自監督神經網絡架構迫在眉睫，然而現有技術難以滿足這一需求。

3、在嘗試開發新型自監督神經網絡架構以適應煤礦井下掘進環境動態變化時，又出現了網絡拓撲調整過程中不同拓撲結構之間的知識遷移和繼承問題。不同的網絡拓撲結構適用于不同的地質條件和掘進任務需求，在網絡從一種拓撲結構調整為另一種拓撲結構時，如何有效地保留和利用之前拓撲結構中學習到的有用知識，避免出現知識遺忘，同時快速適應新拓撲結構下的環境特征和任務要求，成為極具挑戰性的難題。

4、在煤礦井下掘進過程中，當網絡拓撲結構因地質條件變化而調整時，新的拓撲結構可能無法有效利用之前學習到的關于巖石結構、設備運行狀態等知識。比如，在從一種地質條件穩定的區域掘進到斷層區域時，之前學習到的正常巖石結構特征知識無法被新拓撲結構有效利用，導致對斷層區域的巖石結構識別出現偏差，進而影響對掘進方向的準確判斷，降低了掘進的安全性和效率。而現有的神經網絡理論和方法在處理這種跨拓撲結構的知識遷移和繼承方面近乎空白。

5、鑒于此，提供基于自監督神經網絡的視覺慣導雷達融合自定位方法，專門針對煤礦井下掘進環境，以克服上述問題。

技術實現思路

1、本發明的目的在于提供基于自監督神經網絡的視覺慣導雷達融合自定位方法，以解決上述背景技術中提出的問題。

2、為解決上述技術問題，本發明提供的基于自監督神經網絡的視覺慣導雷達融合自定位方法，包括以下步驟：

3、構建基于長短期記憶網絡的元學習器：元學習器輸入層接收經處理后的環境特征向量，由視覺攝像頭采集的井下巷道圖像數據經卷積神經網絡特征提取、毫米波雷達數據歸一化處理，以及慣導設備數據校準和預處理后得到；中間隱藏層由多個lstm單元組成，借助門控機制控制信息的流入、流出和記憶；輸出層基于隱藏層輸出，通過全連接層計算生成針對當前掘進環境狀態的網絡拓撲結構調整參數，參數包含神經元連接的增減系數、層間連接權重的調整因子以及隱藏層神經元數量的調整值；

4、當煤礦井下掘進環境狀態發生變化，新的環境狀態信息被實時采集并輸入已訓練好的元學習器；元學習器依據已學習的映射關系計算并輸出拓撲結構調整參數，神經網絡根據該參數快速調整自身拓撲結構，包括調整神經元之間的連接權重，以及根據掘進設備的姿態變化和地質條件，增加或減少與運動特征處理相關的隱藏層神經元數量；

5、利用注意力機制對網絡中間層的特征圖分析，提取與煤礦井下巖石結構、掘進設備運動狀態相關的重要知識特征向量，計算每個知識特征向量的注意力權重，并以加權和的形式存儲在知識記憶模塊中；

6、當網絡拓撲結構調整后，新拓撲結構根據當前掘進任務需求和當前地質條件下的環境特征生成查詢向量；計算該查詢向量與記憶模塊中存儲的知識特征向量的相似度，選擇相似度高的知識特征向量，采用加權融合方式將其與新拓撲結構下學習到的知識特征向量融合，融合系數根據當前掘進環境和任務需求動態調整；

7、將元學習器、神經網絡主體以及知識記憶模塊作為一個整體聯合訓練；輸入煤礦井下不同掘進區域、不同地質條件下的環境數據到元學習器，元學習器生成拓撲結構調整參數，神經網絡根據調整后的拓撲結構前向傳播計算任務損失，同時計算知識記憶模塊的存儲和檢索損失，通過總損失對各模塊參數更新；

8、設定目標函數，包括網絡在不同地質條件下的掘進方向定位準確率、拓撲結構調整的時間開銷以及知識融合后對掘進性能提升的貢獻；采用基于非支配排序遺傳算法的多目標優化方法，對網絡參數和結構搜索和優化。

9、進一步的，卷積神經網絡利用預訓練的卷積核，包括但不限于vgg16、resnet系列，將視覺攝像頭采集的井下巷道圖像數據轉化為具有語義信息的特征向量。

10、進一步的，毫米波雷達數據歸一化處理為將距離、速度等數值映射到[0,1]區間。

11、進一步的，lstm隱藏層的狀態更新公式為：

12、，

13、，

14、，

15、，

16、，

17、，

18、其中，為輸入門向量，為遺忘門向量，為輸出門向量，為候選記憶單元，為記憶單元，為隱藏層輸出向量。、、、是輸入層到對應門和記憶單元的權重矩陣，、、、是隱藏層到對應門和記憶單元的權重矩陣，、、、是對應的偏置向量，是sigmoid激活函數，是雙曲正切激活函數，表示逐元素相乘，表示前一時間步的記憶單元狀態。

19、進一步的，輸出的拓撲結構調整參數由輸出層計算得出的公式為：

20、，

21、其中，是隱藏層到輸出層的權重矩陣，是輸出層的偏置向量。

22、進一步的，注意力機制中計算每個知識特征向量注意力權重的公式為：

23、，

24、其中，是查詢向量，用于衡量每個知識特征向量的重要性，通過與知識特征向量點積運算并經過softmax函數歸一化，得到每個特征向量的注意力權重。

25、進一步的，計算查詢向量與記憶模塊中存儲的知識特征向量相似度采用余弦相似度公式：

26、。

27、進一步的，知識融合采用加權融合的方式，公式為：

28、，

29、其中，是新拓撲結構下學習到的知識特征向量，是選擇的相關知識特征向量的集合，是融合系數，根據當前環境和任務需求動態調整。

30、進一步的，對于目標識別任務，采用交叉熵損失函數計算任務損失：

31、，

32、其中，是樣本數量，是類別數量，是樣本屬于類別的真實標簽，是模型預測樣本屬于類別的概率。

33、進一步的，計算知識記憶模塊的存儲和檢索損失采用均方誤差損失：

34、，

35、其中，是計算損失時的樣本數量，為知識特征向量，為實際需求的知識特征向量。

36、進一步的，總損失計算公式為：

37、，

38、其中是權重系數，用于平衡任務損失和記憶損失。

39、進一步的，目標函數表示為：

40、，

41、其中，、、是權重系數。

42、進一步的，在多目標優化方法中，在每一代進化中，對種群中的個體進行非支配排序，將個體分為不同的等級，優先選擇等級高的個體進行遺傳操作，包括但不限于交叉和變異，用于生成新的種群，并通過擁擠度計算來保持種群的多樣性。

43、進一步的，環境數據包括不同掘進區域、不同地質條件下的環境數據，并標注對應的任務標簽，包括但不限于巖石類型、掘進方向偏差、設備故障類型、瓦斯濃度等級。

44、進一步的，神經網絡拓撲結構調整包括增加或刪除神經元連接、增強或減弱層間連接強度以及動態增加或減少隱藏層神經元數量。

45、與現有技術相比，本發明的有益效果是：

46、動態拓撲適應效果顯著

47、快速響應環境變化：傳統自監督神經網絡基于固定拓撲結構，在煤礦井下面對復雜多變的地質條件時，難以實時調整。例如，當遇到巖石硬度突然改變、出現斷層等情況時，傳統網絡適應新環境可能需要很長時間，嚴重影響掘進進度。而本發明構建基于lstm的元學習器，其能實時接收井下掘進環境狀態信息，利用門控機制學習動態變化規律。在環境變化時，可在約2分鐘內完成拓撲結構調整，大大縮短了適應時間，能迅速響應地質環境變化，保障掘進工作的連續性。

48、精準捕捉環境特征：傳統網絡無法自動調整內部連接和處理流程以捕捉新環境特征和定位線索。本發明的元學習器輸出的拓撲結構調整參數，可使神經網絡在遇到不同巖石結構時，如堅硬巖石，增加神經元連接，增強對巖石結構特征的捕捉能力；在遇到地質構造變化導致慣導數據異常時，改變層間連接權重，使神經網絡更關注有效信息，忽略干擾信息，有效提升了在復雜動態掘進環境中的適應性和對掘進方向的定位準確性。

49、知識遷移和繼承能力突出

50、高效存儲關鍵知識：現有神經網絡理論和方法在跨拓撲結構知識遷移和繼承方面近乎空白。本發明利用注意力機制的知識記憶模塊，能智能篩選并以加權和形式存儲不同拓撲結構下的關鍵知識，如不同巖石的紋理特征、硬度與掘進速度的關系、設備在不同地質條件下的能耗規律等，提高知識存儲和管理效率，為知識遷移和繼承奠定基礎。

51、有效融合新舊知識：在網絡拓撲結構調整后，通過余弦相似度計算和動態加權融合算法，新拓撲結構能準確檢索相關知識，并與新知識動態加權融合。在煤礦井下，當掘進遇到高硬度巖石或瓦斯層時，新拓撲結構可利用之前存儲的知識，結合當前地質條件下的新知識，準確判斷巖石性質、設備運行狀態等，調整掘進策略，避免因誤判導致安全事故，增強了煤礦井下掘進作業的安全性和可靠性。

52、聯合訓練與優化提升綜合性能

53、多模塊協同優化：將元學習器、神經網絡主體和知識記憶模塊聯合訓練，通過總損失反向傳播實現各模塊參數協同優化。傳統方法各模塊獨立，無法實現協同。本發明中任務損失反向傳播優化神經網絡任務執行能力，記憶模塊損失反向傳播優化知識記憶模塊存儲和檢索知識的有效性，全面提升網絡性能，使網絡在不同地質條件下都能更好地服務于掘進作業。

54、多目標平衡優化：采用基于nsga-ii的多目標優化方法，設定包含掘進方向定位準確率、拓撲結構調整時間開銷和知識融合后對掘進性能提升貢獻的目標函數。傳統方法多關注單一目標。本發明通過不斷迭代搜索最優網絡參數和結構，在不同地質條件下實現性能、效率和知識利用的最佳平衡，在煤礦井下掘進中，能在保證高掘進方向定位準確率的同時，快速適應地質變化進行拓撲結構調整，并充分利用知識遷移繼承提升掘進效率。