本申請涉及同步定位與建圖的，尤其涉及一種無人機輕量化語義視覺慣性里程計方法、介質及處理設備。

背景技術：

1、現如今，視覺慣性里程計(visual-inertial?odometry，vio)在無人機定位中發揮著至關重要的作用。通過結合視覺信息和慣性測量單元(inertial?measurement?unit，imu)數據，vio系統能夠提供高精度的實時位置和姿態估計。然而，該系統假設無人機處于一個完全靜態的場景中，但這往往與現實情況不符，因為動態場景非常普遍，無法保證環境的完全靜態性。在動態環境中，運動物體(如移動的行人、行駛的車輛等)會引入額外的圖像特征點，這些特征點可能與背景環境中的靜態特征點混淆，導致特征點匹配錯誤。這種混淆在無人機的姿態估計過程中引入了不正確的視覺約束，從而對vio系統的定位精度和穩定性產生負面影響，進而導致定位結果出現嚴重偏差。

2、在現有技術中，通過引入語義信息，系統能夠在動態場景中實現更精確的定位。然而，現有的語義視覺慣性里程計系統通常面臨著輕量化不足和運行速度不夠快的問題，尤其是其語義算法模塊相對復雜，計算開銷較大，這使得這些系統難以在計算資源受限的無人機平臺上進行有效部署，從而限制了其在實際工程中的應用。

3、盡管目前已有一些經典的視覺慣性slam系統，如dynavins、rds-slam等被應用于動態場景下的機器人定位研究，但仍存在亟待改進的問題。這些系統在動態場景下的定位精度有待進一步地優化和提升。同時，結合語義信息的視覺慣性里程計系統往往對計算資源的需求較高，語義模塊的算法模型設計較為復雜和冗余，難以確保算法的實時性與穩定性，這使得它們在計算資源受限的邊緣設備上難以有效部署，限制了它們在真實動態場景中的應用，從而影響了其工程應用的價值。

技術實現思路

1、本申請的目的在于提供一種無人機輕量化語義視覺慣性里程計方法、介質及處理設備，以解決現有技術中存在的現有的視覺慣性里程計系統的計算資源需求較高且模型較為復雜冗余的技術問題。本申請提供的諸多技術方案中的優選技術方案所能產生的諸多技術效果詳見下文闡述。

2、為實現上述目的，本申請提供了以下技術方案：

3、第一方面，本申請提供的一種無人機輕量化語義視覺慣性里程計方法，所述無人機包括用于實時采集圖像數據的相機模塊，以及用于采集運動狀態數據的傳感器，所述方法包括：利用三分支語義分割網絡對所述圖像數據進行語義分割，得到潛在動態區域掩碼；提取所述圖像數據的多個特征點，對所述潛在動態區域掩碼內的多個特征點進行運動一致性檢查，篩選出靜態特征點，對所述靜態特征點進行特征跟蹤，獲取所述圖像數據的特征點信息以及所述相機模塊的位姿估計結果，其中所述三分支語義分割網絡基于深度可分離卷積和坐標注意力機制構建；獲取所述運動狀態數據的預積分信息，根據所述特征點信息、所述位姿估計結果以及所述預積分信息，對所述相機模塊的狀態參數進行優化得到最優位姿估計，根據所述最優位姿估計輸出所述無人機的狀態位姿信息。

4、在一些實施例中，所述提取所述圖像數據的多個特征點，包括：在所述圖像數據中的每一幀圖像中，利用特征提取算法獲取所述每一幀圖像的至少一個特征點。

5、在一些實施例中，所述對所述潛在動態區域掩碼內的多個特征點進行運動一致性檢查，篩選出靜態特征點，包括：利用特征匹配算法獲取連續任意兩幀圖像的多個匹配特征點對；基于所述匹配特征點對，利用對極幾何約束估計基礎矩陣；利用所述基礎矩陣計算對應的匹配特征點對在當前幀圖像中的極線位置，若特征點在所述當前幀圖像中的位置與特征點對應極線的距離大于等于預設閾值，則將特征點作為所述動態特征點輸出，若特征點在所述當前幀圖像中的位置與特征點對應極線的距離小于所述預設閾值，則將特征點作為所述靜態特征點輸出。

6、在一些實施例中，所述對所述靜態特征點進行特征跟蹤，獲取所述圖像數據的特征點信息以及所述相機模塊的位姿估計結果，包括：對所述靜態特征點進行篩選，基于經篩選的靜態特征點獲取所述特征點信息，同時基于所述經篩選的靜態特征點的基礎矩陣獲取所述相機模塊的位姿估計結果。

7、在一些實施例中，所述對所述靜態特征點進行篩選，包括：利用稀疏光流法比較相鄰幀圖像之間的像素變化，以估計所述靜態特征點的運動軌跡；根據光流估計誤差、重投影誤差和匹配誤差判斷所述靜態特征點是否滿足預設條件，篩選出滿足所述預設條件的靜態特征點。

8、在一些實施例中，所述獲取所述運動狀態數據的預積分信息，包括：對所述運動狀態數據進行預積分計算，根據計算結果獲取相鄰幀圖像之間位置、速度和姿態增量的測量值作為所述預積分信息。

9、在一些實施例中，所述對所述相機模塊的狀態參數進行優化得到最優位姿估計，包括：利用圖優化算法對所述相機模塊的狀態參數進行優化，調整所述相機模塊的位姿信息，在多次迭代后獲取所述最優位姿估計；所述狀態參數包括所述位姿信息、速度信息和imu偏差信息，其中所述imu偏差信息包括加速度計偏差和陀螺儀偏差。

10、在一些實施例中，所述三分支語義分割網絡的損失函數包括額外的語義損失、加權二元交叉熵損失、交叉熵損失和邊界感知交叉熵損失中的至少一種。

11、第二方面，本申請提供一種計算機可讀的存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被執行時實現如上所述的無人機輕量化語義視覺慣性里程計方法。

12、第三方面，本申請提供一種處理設備，包括：一個或多個處理器；存儲器，用于存儲一個或多個計算機程序，一個或多個所述處理器用于執行所述存儲器存儲的一個或多個計算機程序，以使一個或多個所述處理器執行如上所述的無人機輕量化語義視覺慣性里程計方法。

13、實施本申請上述技術方案中的一個技術方案，具有如下優點或有益效果：在本申請中，利用三分支語義分割網絡對圖像數據進行語義分割，并對潛在動態區域掩碼內的多個特征點進行運動一致性檢查，篩選出靜態特征點進行特征跟蹤，最后再結合特征點信息和位姿估計結果對相機模塊位姿進行優化，以得到無人機的狀態位姿信息。三分支語義分割網絡能夠在保證語義分割精度的同時，大幅度減少算法模型的計算復雜度，顯著提高推理速度。同時，對特征點進行一致性檢查，篩選并保留靜態特征點，能夠顯著提升無人機在動態場景下的定位精度和魯棒性。本申請實施例不僅能夠滿足動態環境下定位的高準確性和實時性，而且對計算資源的要求也顯著降低，這有利于將其部署到計算資源受限的邊緣設備。相比于現有技術，本申請有效提升了無人機在動態場景下的定位精度與魯棒性，具有較大的工程應用價值。

技術特征：

1.一種無人機輕量化語義視覺慣性里程計方法，其特征在于，所述無人機包括用于實時采集圖像數據的相機模塊，以及用于采集運動狀態數據的傳感器，所述方法包括：

2.根據權利要求1所述的無人機輕量化語義視覺慣性里程計方法，其特征在于，所述提取所述圖像數據的多個特征點，包括：在所述圖像數據中的每一幀圖像中，利用特征提取算法獲取所述每一幀圖像的至少一個特征點。

3.根據權利要求1所述的無人機輕量化語義視覺慣性里程計方法，其特征在于，所述對所述潛在動態區域掩碼內的多個特征點進行運動一致性檢查，篩選出靜態特征點，包括：利用特征匹配算法獲取連續任意兩幀圖像的多個匹配特征點對；基于所述匹配特征點對，利用對極幾何約束估計基礎矩陣；利用所述基礎矩陣計算對應的匹配特征點對在當前幀圖像中的極線位置，若特征點在所述當前幀圖像中的位置與特征點對應極線的距離小于所述預設閾值，則將特征點作為所述靜態特征點輸出。

4.根據權利要求1所述的無人機輕量化語義視覺慣性里程計方法，其特征在于，所述對所述靜態特征點進行特征跟蹤，獲取所述圖像數據的特征點信息以及所述相機模塊的位姿估計結果，包括：對所述靜態特征點進行篩選，基于經篩選的靜態特征點獲取所述特征點信息，同時基于所述經篩選的靜態特征點的基礎矩陣獲取所述相機模塊的位姿估計結果。

5.根據權利要求4所述的無人機輕量化語義視覺慣性里程計方法，其特征在于，所述對所述靜態特征點進行篩選，包括：利用稀疏光流法比較相鄰幀圖像之間的像素變化，以估計所述靜態特征點的運動軌跡；根據光流估計誤差、重投影誤差和匹配誤差判斷所述靜態特征點是否滿足預設條件，篩選出滿足所述預設條件的靜態特征點。

6.根據權利要求1所述的無人機輕量化語義視覺慣性里程計方法，其特征在于，所述獲取所述運動狀態數據的預積分信息，包括：對所述運動狀態數據進行預積分計算，根據計算結果獲取相鄰幀圖像之間位置、速度和姿態增量的測量值作為所述預積分信息。

7.根據權利要求1所述的無人機輕量化語義視覺慣性里程計方法，其特征在于，所述對所述相機模塊的狀態參數進行優化得到最優位姿估計，包括：利用圖優化算法對所述相機模塊的狀態參數進行優化，調整所述相機模塊的位姿信息，在多次迭代后獲取所述最優位姿估計；所述狀態參數包括所述位姿信息、速度信息和imu偏差信息，其中所述imu偏差信息包括加速度計偏差和陀螺儀偏差。

8.根據權利要求1所述的無人機輕量化語義視覺慣性里程計方法，其特征在于，所述三分支語義分割網絡的損失函數包括額外的語義損失、加權二元交叉熵損失、交叉熵損失和邊界感知交叉熵損失中的至少一種。

9.一種計算機可讀的存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述計算機程序被執行時實現權利要求1-8任一項所述的無人機輕量化語義視覺慣性里程計方法。

10.一種處理設備，其特征在于，包括：

技術總結
本申請公開一種無人機輕量化語義視覺慣性里程計方法、介質及處理設備，方法包括：利用三分支語義分割網絡對圖像數據進行語義分割，得到潛在動態區域掩碼；提取圖像數據的多個特征點，對潛在動態區域掩碼內的多個特征點進行運動一致性檢查，篩選出靜態特征點，對靜態特征點進行特征跟蹤，獲取圖像數據的特征點信息以及相機模塊的位姿估計結果；獲取運動狀態數據的預積分信息，根據特征點信息、位姿估計結果以及預積分信息，對相機模塊的狀態參數進行優化得到最優位姿估計，根據最優位姿估計輸出無人機的狀態位姿信息。本申請能夠滿足動態環境下定位的高準確性和實時性，對計算資源的要求也顯著降低，這有利于部署到計算資源受限的邊緣設備。

技術研發人員：李浩,凡時財,鄒見效
受保護的技術使用者：電子科技大學
技術研發日：
技術公布日：2025/4/24