本申請涉及空中視覺定位，特別是涉及一種低細節3d地圖上的空中視覺定位方法及裝置。

背景技術：

1、空中視覺定位是一項依靠視覺輸入來確定無人機?(uav)?攝像機相對于已知地理參考地圖的位置和方向的任務。這項任務在計算機視覺和遙感領域發揮著至關重要的作用，可應用于導航、貨物運輸和監控。

2、當前的空中視覺定位算法通常遵循地面視覺定位的方法，依靠預先構建的高質量3d?地理參考數據，例如運動結構?(sfm)或網格模型，在?2d?圖像像素和?3d?空間點之間建立對應關系。然后，這些算法使用諸如?perspective-n-point?(pnp)或?branch-and-bound(bnb)之類的技術來計算絕對相機姿勢。然而，在全球范圍內構建并通過傾斜攝影測量頻繁更新高質量?3d?地圖的成本很高。此外，高分辨率?3d?地圖會顯示大量細節并需要大容量存儲，這引發了人們對隱私泄露和邊緣設備部署的潛在風險的擔憂。為了解決這些問題，lod-loc提出了一種使用緊湊的?3d?表示（lod?3d?地圖）進行空中視覺定位的新方法。與其他方法不同，lod-loc?可使無人機無需詳細的?3d?地圖即可確定其?6-dof?姿態。lod-loc將來自?lod?3d?地圖的投影線框與從查詢圖像中提取的預測神經線對齊，以估計姿態。給定來自傳感器的初始姿態，lod-loc?通過均勻采樣姿態假設并評估投影線框和神經線之間的對齊來構建成本量。最后，它使用高斯-牛頓迭代下降法最小化重投影誤差，從而優化估計的姿態。通過使用?lod?3d?地圖作為參考，lod-loc?通過端到端線對齊方法解決了邊緣部署、隱私保護和?6-dof?姿態估計的挑戰。

3、然而，lod-loc?依賴于高?lod?3d?地圖（例如?lod3?或?lod2），而這種地圖在全球范圍內的覆蓋范圍有限。相比之下，大多數可用的全球?lod?地圖都是低?lod（例如?lod1），可以在開源數據庫中找到。lod1?數據在大多數地區廣泛可用。而?lod3?或?lod2?數據僅適用于有限的區域，并且這些數據集中的大多數都不是開源的。此外，lod-loc?無法解決?gps干擾情況下的空中定位挑戰。

技術實現思路

1、基于此，有必要針對上述技術問題，提供一種能夠實現?gps?干擾情況下的空中定位的低細節3d地圖上的空中視覺定位方法及裝置。

2、一種低細節3d地圖上的空中視覺定位方法，所述方法包括：

3、獲取無人機拍攝圖像；在低細節3d地圖上建立無人機拍攝圖像的查詢圖像和查詢圖像的先前姿態；根據建筑物分割網絡對查詢圖像進行建筑物提取，得到建筑物掩模圖；

4、以先前姿態為中心的?3-dof?空間內均勻采樣，得到采樣姿態；對采樣姿態利用實時渲染技術將?3d?建筑物表面從?lod?模型投影到?2d?平面上，生成合成建筑掩碼；根據建筑掩碼和建筑物掩膜圖為查詢圖像定義掩碼對齊成本；在三維空間上以網格方式組合所有掩碼對齊成本獲得空間成本量；利用argmax?操作從空間成本量中選擇具有最大值的粗略姿態；

5、利用粒子濾波方法進行姿勢細化，對粗略姿態進行建模和擾動，得到精細的定位結果。

6、一種低細節3d地圖上的空中視覺定位裝置，所述裝置包括：

7、建筑物分割模塊，用于獲取無人機拍攝圖像；在低細節3d地圖上建立無人機拍攝圖像的查詢圖像和查詢圖像的先前姿態；根據建筑物分割網絡對查詢圖像進行建筑物提取，得到建筑物掩模圖；

8、姿態選擇模塊，用于以先前姿態為中心的?3-dof?空間內均勻采樣，得到采樣姿態；對采樣姿態利用實時渲染技術將?3d?建筑物表面從?lod?模型投影到?2d?平面上，生成合成建筑掩碼；根據建筑掩碼和建筑物掩膜圖為查詢圖像定義掩碼對齊成本；在三維空間上以網格方式組合所有掩碼對齊成本獲得空間成本量；利用argmax?操作從空間成本量中選擇具有最大值的粗略姿態；

9、姿勢細化模塊，用于利用粒子濾波方法進行姿勢細化，對粗略姿態進行建模和擾動，得到精細的定位結果。

10、上述低細節3d地圖上的空中視覺定位方法及裝置，本申請通過利用低細節（lod1）的?3d?地圖和先前姿態作為基礎。在?gps?失效時，先前姿態提供初始參考范圍，而廣泛可用的?lod1?地圖為定位提供了相對穩定的地理信息框架，擺脫了對高精度?gps?信號的依賴。再通過建筑物分割網絡提取查詢圖像中的建筑物掩模圖，同時基于采樣姿態將?3d?地圖中的建筑物投影生成合成建筑掩碼。建筑物作為相對穩定的環境特征，其掩模的比對能有效關聯真實與地圖中的建筑信息，減少環境中不穩定因素的干擾，從而確定無人機位置和姿態的大致情況。

11、通過定義掩碼對齊成本和構建空間成本量形成在?3d?空間中衡量姿態匹配程度的有效指標，使得在無?gps?信號時，能夠依據建筑物特征匹配程度評估不同姿態的可能性，從眾多姿態中篩選出較優的姿態選項。利用?argmax?操作選出粗略姿態，再通過粒子濾波方法進行細化。粒子濾波能夠處理復雜環境下的狀態估計問題，在定位過程中，根據無人機飛行時環境的動態變化持續優化姿態估計，最終得到精確的定位結果，從而在?gps?干擾的復雜環境中實現穩定可靠的空中視覺定位。

技術特征：

1.一種低細節3d地圖上的空中視覺定位方法，其特征在于，所述方法包括：

2.根據權利要求1所述的方法，其特征在于，所述建筑物分割網絡包括sam2編碼器、u-net解碼器和接收場塊；根據建筑物分割網絡對所述查詢圖像進行建筑物提取，包括：

3.?根據權利要求2所述的方法，其特征在于，利用分割結果和由地面實況構建掩碼設置建筑物分割網絡的損失函數，包括：

4.?根據權利要求1至3任意一項所述的方法，其特征在于，以所述先前姿態為中心的3-dof?空間內均勻采樣，得到采樣姿態，包括：

5.?根據權利要求1所述的方法，其特征在于，根據所述建筑掩碼和所述建筑物掩膜圖為查詢圖像定義掩碼對齊成本，包括：

6.?根據權利要求1所述的方法，其特征在于，在三維空間上以網格方式組合所有掩碼對齊成本獲得空間成本量，包括：

7.根據權利要求1所述的方法，其特征在于，利用粒子濾波方法進行姿勢細化，對粗略姿態進行建模和擾動，得到精細的定位結果，包括：

8.?根據權利要求7所述的方法，其特征在于，利用成本函數評估并逐步優化所述候選姿勢得到精細的定位結果，包括：

9.一種低細節3d地圖上的空中視覺定位裝置，其特征在于，所述裝置包括：

技術總結
本申請涉及一種低細節3D地圖上的空中視覺定位方法及裝置。所述方法包括：根據建筑物分割網絡對查詢圖像進行建筑物提取，得到建筑物掩模圖；以先前姿態為中心的3?DoF空間內均勻采樣，得到采樣姿態；對采樣姿態利用實時渲染技術將3D建筑物表面從LoD模型投影到2D平面上，生成合成建筑掩碼；根據建筑掩碼和建筑物掩膜圖為查詢圖像定義掩碼對齊成本；在三維空間上以網格方式組合所有掩碼對齊成本獲得空間成本量；利用argmax操作從空間成本量中選擇具有最大值的粗略姿態；利用粒子濾波方法進行姿勢細化，對粗略姿態進行建模和擾動，得到精細的定位結果。采用本方法能夠實現GPS干擾情況下的空中定位。

技術研發人員：張茂軍,顏深,彭帥邦,朱玨霖,劉煜,肖華欣
受保護的技術使用者：中國人民解放軍國防科技大學
技術研發日：
技術公布日：2025/4/24