本申請涉及物聯(lián)網(wǎng)，尤其涉及一種基于事件相機的無人機視覺定位服務系統(tǒng)。

背景技術：

1、隨著無人機的應用場景逐漸向城市環(huán)境擴展，無人機的安全運行面臨著更大的挑戰(zhàn)，而無人機定位技術在無人機實現(xiàn)安全、可靠的低空作業(yè)中起著至關重要的作用，也是當前無人機技術研究和發(fā)展的核心領域之一。

2、盡管相關技術中已經(jīng)開展對飛行過程中的無人機進行實時定位的研究，但這些研究工作仍然面臨著無人機定位精度不高、受限于傳感器固定更新頻率和噪聲、依賴外部信號等多方面的問題。因此，如何在保證無人機感知實時性的前提下，實現(xiàn)對無人機進行高精度定位，仍然是相關技術領域內亟待解決的技術問題。

技術實現(xiàn)思路

1、本申請實施例的主要目的在于提出一種基于事件相機的無人機視覺定位服務系統(tǒng)，旨在保證無人機感知實時性的前提下，基于三維點云地圖的輔助，僅以慣性測量單元和事件相機的輸入完成對無人機的高精度定位。

2、為實現(xiàn)上述目的，本申請實施例的第一方面提出了一種基于事件相機的無人機視覺定位服務系統(tǒng)，所述系統(tǒng)包括：

3、獲取模塊，用于獲取無人機的事件相機數(shù)據(jù)和慣性測量單元數(shù)據(jù)；

4、事件處理模塊，用于對所述事件相機數(shù)據(jù)進行時間表面分離處理，得到所述事件相機數(shù)據(jù)對應的視覺平面時序特征；

5、配準模塊，用于將所述視覺平面時序特征與所述無人機所處飛行環(huán)境的三維點云地圖數(shù)據(jù)進行配準，得到配準結果；

6、融合模塊，用于對所述配準結果與所述慣性測量單元數(shù)據(jù)進行跨模態(tài)融合，得到所述無人機的位姿定位數(shù)據(jù)。

7、為實現(xiàn)上述目的，本申請實施例的第二方面提出了一種基于事件相機的無人機視覺定位服務方法，所述方法包括：

8、獲取無人機的事件相機數(shù)據(jù)和慣性測量單元數(shù)據(jù)；

9、對所述事件相機數(shù)據(jù)進行時間表面分離處理，得到所述事件相機數(shù)據(jù)對應的視覺平面時序特征；

10、將所述視覺平面時序特征與所述無人機所處飛行環(huán)境的三維點云地圖數(shù)據(jù)進行配準，得到配準結果；

11、對所述配準結果與所述慣性測量單元數(shù)據(jù)進行跨模態(tài)融合，得到所述無人機的位姿定位數(shù)據(jù)。

12、在一些實施例中，所述視覺平面時序特征為時序距離場；

13、所述對所述事件相機數(shù)據(jù)進行時間表面分離處理，得到所述事件相機數(shù)據(jù)對應的視覺平面時序特征，包括：

14、基于事件極性將所述事件相機數(shù)據(jù)分離累計為正事件時間表面和負事件時間表面；

15、基于所述正事件時間表面和所述負事件時間表面構造反向時間戳，得到時序距離場。

16、在一些實施例中，所述對所述事件相機數(shù)據(jù)進行時間表面分離處理，得到所述事件相機數(shù)據(jù)對應的視覺平面時序特征，包括：

17、基于所述慣性測量單元數(shù)據(jù)對所述事件相機數(shù)據(jù)進行過濾，得到過濾后的事件相機數(shù)據(jù)；

18、對所述過濾后的事件相機數(shù)據(jù)進行時間表面分離處理，得到所述事件相機數(shù)據(jù)對應的視覺平面時序特征。

19、在一些實施例中，所述對所述配準結果與所述慣性測量單元數(shù)據(jù)進行跨模態(tài)融合，得到所述無人機的位姿定位數(shù)據(jù)，包括：

20、將所述慣性測量單元數(shù)據(jù)作為觀測值對所述配準結果進行優(yōu)化，得到優(yōu)化后的配準結果；

21、將所述優(yōu)化后的配準結果作為所述無人機的位姿定位數(shù)據(jù)。

22、在一些實施例中，所述方法還包括：

23、基于所述配準結果與所述慣性測量單元數(shù)據(jù)構建因子圖；

24、基于所述因子圖對預設滑動窗口內所述無人機的位姿定位數(shù)據(jù)進行優(yōu)化，得到所述無人機優(yōu)化后的位姿定位數(shù)據(jù)。

25、在一些實施例中，所述基于所述因子圖對預設滑動窗口內所述無人機的位姿定位數(shù)據(jù)進行聯(lián)合優(yōu)化，包括：

26、基于最大后驗估計對所述因子圖中的先驗因子、時序配準因子以及運動因子進行聯(lián)合求解，以對預設滑動窗口內所述無人機的位姿定位數(shù)據(jù)進行優(yōu)化；

27、其中，所述先驗因子為所述無人機的先驗位姿和運動模型估計，所述時序配準因子為從所述配準結果中提取的配準殘差，所述運動因子為基于所述慣性測量單元數(shù)據(jù)計算得到的運動殘差。

28、為實現(xiàn)上述目的，本申請實施例的第三方面提出了一種計算機設備，所述計算機設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述第二方面所述的方法。

29、為實現(xiàn)上述目的，本申請實施例的第四方面提出了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第二方面所述的方法。

30、為實現(xiàn)上述目的，本申請實施例的第五方面提出了一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述第二方面所述的方法。

31、本申請?zhí)岢龅幕谑录鄼C的無人機視覺定位服務系統(tǒng)、方法、設備、存儲介質以及產(chǎn)品，通過先獲取無人機的事件相機數(shù)據(jù)和慣性測量單元數(shù)據(jù)；然后對事件相機數(shù)據(jù)進行時間表面分離處理，得到事件相機數(shù)據(jù)對應的視覺平面時序特征；并進一步將視覺平面時序特征與無人機所處飛行環(huán)境的三維點云地圖數(shù)據(jù)進行配準，得到配準結果；最后對配準結果與慣性測量單元數(shù)據(jù)進行跨模態(tài)融合，得到無人機的位姿定位數(shù)據(jù)。

32、如此，本申請實施例通過充分利用事件相機這一新型傳感器，結合慣性測量單元提供的內源運動數(shù)據(jù)(慣性測量單元數(shù)據(jù))以及先驗三維點云圖數(shù)據(jù)，對無人機進行高頻跨模態(tài)定位，以及對估計的無人機的位姿定位數(shù)據(jù)(如六自由度姿態(tài))進行約束和優(yōu)化，從而獲得精確且高頻的實時位姿。也就是說，本申請實施例能夠在保證無人機感知實時性的前提下，使無人機在三維點云地圖的輔助下，僅以慣性測量單元和事件相機作為輸入傳感器，就可以完成高精度定位。

技術特征：

1.一種基于事件相機的無人機視覺定位服務系統(tǒng)，其特征在于，所述系統(tǒng)包括：

2.一種基于事件相機的無人機視覺定位服務方法，其特征在于，所述方法包括：

3.根據(jù)權利要求2所述的方法，其特征在于，所述視覺平面時序特征為時序距離場；

4.根據(jù)權利要求2所述的方法，其特征在于，所述對所述事件相機數(shù)據(jù)進行時間表面分離處理，得到所述事件相機數(shù)據(jù)對應的視覺平面時序特征，包括：

5.根據(jù)權利要求4所述的方法，其特征在于，所述對所述配準結果與所述慣性測量單元數(shù)據(jù)進行跨模態(tài)融合，得到所述無人機的位姿定位數(shù)據(jù)，包括：

6.根據(jù)權利要求2至5中任一項所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權利要求6所述的方法，其特征在于，所述基于所述因子圖對預設滑動窗口內所述無人機的位姿定位數(shù)據(jù)進行聯(lián)合優(yōu)化，包括：

8.一種計算機設備，其特征在于，所述計算機設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權利要求2至7任一項所述的基于事件相機的無人機視覺定位服務方法。

9.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求2至7中任一項所述的基于事件相機的無人機視覺定位服務方法。

10.一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求2至7中任一項所述的基于事件相機的無人機視覺定位服務方法。

技術總結
本申請?zhí)峁┝艘环N基于事件相機的無人機視覺定位服務系統(tǒng)，屬于物聯(lián)網(wǎng)技術領域，通過獲取無人機的事件相機數(shù)據(jù)和慣性測量單元數(shù)據(jù)；對所述事件相機數(shù)據(jù)進行時間表面分離處理，得到所述事件相機數(shù)據(jù)對應的視覺平面時序特征；將所述視覺平面時序特征與所述無人機所處飛行環(huán)境的三維點云地圖數(shù)據(jù)進行配準，得到配準結果；對所述配準結果與所述慣性測量單元數(shù)據(jù)進行跨模態(tài)融合，得到所述無人機的位姿定位數(shù)據(jù)。采用本申請技術方案能夠在保證無人機感知實時性的前提下，基于三維點云地圖的輔助，僅以慣性測量單元和事件相機的輸入完成對無人機的高精度定位。

技術研發(fā)人員：陳鑫磊,羅心雨,王灝洋,徐京傲
受保護的技術使用者：清華大學深圳國際研究生院
技術研發(fā)日：
技術公布日：2025/4/28