本發明涉及計算機視覺、無人機技術及多智能體協同感知領域，特別是一種結合目標語義信息與空間位置信息的多無人機協同跟蹤方法。該方法融合了目標檢測與語義信息提取、位姿估計、跨視角目標關聯、以及實時信息共享與傳輸技術，用于在動態復雜環境中實現多個無人機對同一目標的高效、穩定協同跟蹤。

背景技術：

0、技術背景

1、隨著無人機技術的快速發展，無人機在環境監測、物流配送、搜救任務和安防巡邏等領域的應用日益廣泛。然而，在許多實際場景中，單個無人機由于視野、計算能力和通信范圍的限制，難以高效完成復雜任務。因此，多無人機協同作業逐漸成為研究的熱點方向。特別是在目標跟蹤任務中，通過多個無人機協作，可以有效擴展監控范圍，增強系統的魯棒性和任務完成效率。

2、傳統的目標跟蹤方法通常依賴于單無人機的視覺檢測和跟蹤能力。這些方法在面對復雜動態環境時，例如目標的頻繁遮擋、光照變化以及目標快速運動等情況，往往難以保持跟蹤的連續性。同時，單無人機的感知范圍有限，當目標超出其視野后，系統將失去對目標的管理。為了解決這些問題，多無人機協同跟蹤成為關鍵技術，其核心在于如何實現多個無人機之間的高效協作，包括信息共享、目標關聯和任務分配。

3、在多無人機協同目標跟蹤中，信息交互是實現協作的關鍵。一方面，無人機需要以低延遲、高效率的方式共享目標信息；另一方面，為了適應多視角環境，需要結合目標的語義信息和空間位置信息，準確識別并關聯不同無人機觀測到的同一目標。然而，這一過程面臨著諸多技術挑戰，不同無人機視角下目標的外觀和位置信息可能存在差異，如何確保目標身份的一致性是核心問題。無人機之間的通信帶寬有限，傳輸大規模數據(如圖像或視頻)會導致延遲增大甚至數據丟失，因此需要設計高效的數據壓縮和關鍵信息傳輸策略。復雜場景中的光照變化、遮擋和視差可能導致目標檢測和關聯精度下降，需要設計具有魯棒性的關聯策略，并且當系統中的某個無人機跟蹤失敗后如何通過多無人機的相互協同，恢復對于目標的再跟蹤。

技術實現思路

1、本發明的目的在于克服現有技術的不足，提供一種基于目標語義和空間位置信息的多無人機協同跟蹤方法。本發明采用如下技術方案：一種基于目標語義和空間位置信息的多無人機協同跟蹤方法，所述方法包括以下步驟：

2、一種基于目標語義和空間位置信息的多無人機協同跟蹤方法，所述方法包括下列步驟：

3、s1：每個無人機通過攝像獲取目標圖像數據，檢測視野內所有目標。生成目標框并將其處理為低維語義嵌入向量，以表示目標的高層次語義信息。

4、s2：目標位置信息獲取。每個無人機通過內置gps和imu實時獲取空間位姿信息，并結合目標檢測結果及無人機位姿數據，估算目標在世界坐標系中的位置，在估算時使用優化算法減少估計誤差。

5、s3：目標語義與位置信息結合并傳輸。將目標的語義嵌入信息與空間位置信息結合，形成帶有位置信息的目標描述，并以低通信量的方式傳輸，僅共享關鍵數據，而不傳輸完整圖像或視頻。

6、s4：跨無人機目標關聯與跟蹤。通過比較目標的語義相似度和空間位置距離，關聯不同視角下的同一目標。關聯成功后，進行持續跟蹤并向外廣播最新實時信息；若關聯失敗，則持續接收來自其他無人機的共享信息，同時在視野中搜索并匹配目標。

技術特征：

1.一種基于目標語義和空間位置信息的多無人機協同跟蹤方法，其特征在于，所述方法包括下列步驟：

2.根據權利要求1所述的一種基于目標語義和空間位置信息的多無人機協同跟蹤方法，其特征在于，步驟1中，系統中的每個無人機通過攝像頭獲取目標的圖像信息，使用深度學習或傳統圖像處理方法提取目標的特征，然后進入分支，其中一個分支將對視野中的目標進行檢測，另一個分支利用卷積神經網絡或其他視覺提取網絡，將提取的視覺特征轉換為一個長度為512的低維度語義嵌入向量，以表示目標的高層次語義信息。

3.根據權利要求1所述的一種基于目標語義和空間位置信息的多無人機協同跟蹤方法，其特征在于，步驟2中，每個無人機通過內置的傳感器(如gps、imu)實時獲取其空間位置信息，形成無人機的位置信息。無人機的位姿信息通常由四元數q＝[qw，qx，qy，qz]表示，用以描述無人機相機相對于世界坐標系的旋轉狀態。無人機相機的內參矩陣k是視覺定位的基礎，用來將相機坐標系與圖像坐標系聯系起來。相機的內參矩陣形式如下：

4.根據權利要求1所述的一種基于目標語義和空間位置信息的多無人機協同跟蹤方法，其特征在于，步驟3中，將目標的語義嵌入信息與空間位置信息結合，形成帶有位置信息的目標描述，并以低通信量的方式傳輸，僅共享關鍵數據，以降低無人機間傳輸帶寬的消耗。具體傳輸的內容包括目標的高級語義信息，長度512，和當前無人機的四元數矩陣，這些信息進行匯總，用于跨無人機的目標關聯步驟。

5.根據權利要求1所述的一種基于目標語義和空間位置信息的多無人機協同跟蹤方法，其特征在于，步驟4中，首先利用位置信息進行初步粗略關聯，確定疑似匹配目標后，再通過語義特征對其進行精細化關聯。具體的當一個沒有成功跟蹤目標的無人機接收到跟蹤成功無人機傳來的目標實時語義信息和自身位姿信息后，當前無人機先根據這些位姿數據估算目標所在的大致范圍，然后無人機進行轉向，進行粗略估算目標的位置，鎖定疑似的目標，進行初步目標關聯。然后在這些疑似的目標中通過計算目標之間的語義相似度(如余弦相似度)，進一步精細化關聯不同無人機視角下的同一目標。當某個無人機暫時失去目標時，依賴其他無人機傳輸的信息來重新定位目標，確保即使在遮擋或視野丟失的情況下，系統仍能繼續跟蹤目標。

技術總結
一種基于目標語義和空間位置信息的多無人機協同跟蹤方法，允許兩個或多個無人機通過低通信的信息交互方式實現對同一目標的協同跟蹤。該方法包括以下步驟：S1：目標語義信息提取。每個無人機通過攝像獲取目標圖像數據，檢測所有目標并將其處理為低維語義嵌入向量，表示目標的高層次語義信息。S2：目標位置信息獲取。每個無人機通過內置GPS和IMU實時獲取空間位姿信息，并基于目標的視覺信息及無人機位姿信息估算目標在世界坐標系中的位置。S3：目標語義與位置信息結合并傳輸。將目標語義嵌入信息與空間位置信息結合，形成帶位置信息的目標描述，并通過低通信方式傳輸。S4：跨無人機目標關聯與跟蹤。通過比較目標語義相似度和空間位置距離，關聯不同視角下的同一目標。若關聯成功，則進行持續跟蹤。該方法能有效實現多無人機協同，降低通信負荷并提高跟蹤精度。

技術研發人員：石凡,方士聞,王綿沼,張梓軒,陳勝勇
受保護的技術使用者：天津理工大學
技術研發日：
技術公布日：2025/4/24