本申請涉及計算機視覺，尤其涉及一種基于雙目視覺平臺的目標姿態估計方法。

背景技術：

1、隨著計算機視覺技術的發展，目標姿態估計的應用越來越廣泛。在軍事領域，目標姿態估計技術可支撐針對蛙人目標的識別與意圖判斷，從而提高目標態勢感知能力。

2、姿態估計一般分為兩部分，分別為關鍵點的檢測和關鍵點的三維重建。關鍵點的檢測往往依賴于深度學習神經網絡，但目前現有的關鍵點檢測網絡主要考慮網絡的特征提取能力和網絡模型的泛化能力，鮮有檢測網絡關注目標尺度變化對檢測結果的影響問題。但在目標關鍵點識別過程中，視頻流中的目標物體在較多工況下尺度變化幅度較大，降低了識別的精度，因此需要設計一種網絡結構有效應對目標物體的尺度變化對檢測精度帶來的負面影響。

3、基于雙目攝像頭的三維重建基本采用傳統數學建模的方式完成關鍵點三維姿態估計。雙目立體視覺系統可由兩個攝像機左右排列組成，通過觀察同一個物體，能夠獲得兩個不同視角的圖像，再通過使用三角法，獲得物體明顯的深度感，完成重建。重建的精度主要取決于左目右目關鍵點檢測的檢測精度和匹配精度，現有重建方式鮮有考慮匹配精度問題，因此，需要設計關鍵點匹配算法完成左目-右目的關鍵點匹配篩選任務，完成重建。

技術實現思路

1、本發明的目的是提供一種基于雙目視覺平臺的目標姿態估計方法，以解決上述問題。

2、本發明實施例提供一種基于雙目視覺平臺的目標姿態估計方法，所述方法包括：

3、步驟1，完成目標物體的關鍵點檢測；

4、步驟2，完成目標的三維姿態估計。

5、在一些實施例中，所述步驟1，完成目標物體的關鍵點檢測，包括：

6、步驟1.1，完成數據集采集制作；

7、步驟1.2，設計基于多分辨率融合的關鍵點檢測網絡編碼器部分；

8、步驟1.3，設計基于多分辨率融合的關鍵點檢測網絡解碼器部分；

9、步驟1.4，完成目標的關鍵點檢測模型訓練；

10、步驟1.5，優化模型推理速度。

11、在一些實施例中，所述步驟1.1，完成數據集采集制作，包括：

12、使用相機對需完成關鍵點識別的物體進行多角度、多尺度的數據采集，完成關鍵點的人工標注。

13、在一些實施例中，所述步驟1.2，設計基于多分辨率融合的關鍵點檢測網絡編碼器部分，包括：

14、在編碼器中，首先通過卷積操作將輸入圖像轉化為1/4特征圖；

15、第1階段產生兩個分辨率通道，分別為1/4尺寸和1/8尺寸，每個通道連接4個殘差塊，以加強特征提取；

16、第2階段產生三個分辨率通道，在第1階段保留的兩個通道上增加一個較小的1/16尺寸通道；

17、第3階段在第2階段的基礎上增加第四個通道，即分辨率為1/32的通道，四種分辨率的卷積寬度分別為c、2c、4c和8c，其中c為1/4特征圖的寬度；

18、最后，將四個通道的特征圖融合為編碼器的輸出和解碼器的輸入；

19、在編碼器的過程中，充分完成多尺度特征融合，提升模型尺度適應性。

20、在一些實施例中，所述步驟1.3，設計基于多分辨率融合的關鍵點檢測網絡解碼器部分，包括：

21、解碼器由兩部分組成，每一部分對應用于計算最終檢測結果的兩個輸出；

22、使用雙線性插值法將兩個輸出上采樣到編碼器輸入圖像的分辨率，并對所有尺度的熱圖進行平均，以進行最終的關鍵點預測；

23、合并后的熱圖用于預測關鍵點坐標和計算置信度；

24、整個網絡最后的輸出是關鍵點坐標和關鍵點檢測置信度組合而成的一個矩陣。

25、在一些實施例中，所述步驟1.4，完成目標的關鍵點檢測模型訓練，包括：

26、使用標注的數據集進行神經網絡訓練；

27、設置訓練參數，包括迭代次數、學習率，當損失函數成功收斂，則得到關鍵點檢測模型；

28、使用測試集進行測試，當測試評價值高于設定閾值時，認為模型訓練成功。

29、在一些實施例中，所述步驟1.5，優化模型推理速度，包括：

30、使用加速推理模型框架優化訓練模型，優化神經網絡計算，生成輕量級運行引擎，以此來完成實時推理任務。

31、在一些實施例中，所述步驟2，完成目標的三維姿態估計，包括：

32、步驟2.1，設計左目-右目關鍵點篩選匹配算法；

33、步驟2.2，設計關鍵點三維姿態估計算法。

34、在一些實施例中，所述步驟2.1，設計左目-右目關鍵點篩選匹配算法，包括：

35、所述左目-右目關鍵點篩選匹配算法包括：

36、目標框檢測過程，通過目標檢測的算法完成關鍵點位置分布區域信息；

37、關鍵點匹配。

38、在一些實施例中，所述步驟2.2，設計關鍵點三維姿態估計算法，包括：

39、在空間隨機初始化一個三維點，與前文反向轉換，將這個三維點投影到二維平面上，二維平面出現了一個投影點和一個檢測的關鍵點，這二者之間的距離如果能夠優化到最小，那么投影的三維點就是能夠保證兩條連線在空間相交的最優解，使用l-m方法完成姿態解算，獲得關鍵點的三維姿態。

40、本發明的有益效果主要體現在能夠使得關鍵點檢測的檢測能力在目標尺度變化較大的情況下保證檢測能力，并且經過推理框架優化，能夠達到實時檢測。其次，設計了左目-右目關鍵點匹配篩選算法，能夠復核篩選關鍵點檢測正確性，選取檢測正確的關鍵點完成三維重建。

技術特征：

1.一種基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述方法包括：

2.根據權利要求1所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟1，完成目標物體的關鍵點檢測，包括：

3.根據權利要求2所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟1.1，完成數據集采集制作，包括：

4.根據權利要求2所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟1.2，設計基于多分辨率融合的關鍵點檢測網絡編碼器部分，包括：

5.根據權利要求2所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟1.3，設計基于多分辨率融合的關鍵點檢測網絡解碼器部分，包括：

6.根據權利要求2所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟1.4，完成目標的關鍵點檢測模型訓練，包括：

7.根據權利要求2所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟1.5，優化模型推理速度，包括：

8.根據權利要求1所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟2，完成目標的三維姿態估計，包括：

9.根據權利要求8所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟2.1，設計左目-右目關鍵點篩選匹配算法，包括：

10.根據權利要求8所述的基于雙目視覺平臺的目標姿態估計方法，其特征在于，所述步驟2.2，設計關鍵點三維姿態估計算法，包括：

技術總結
本發明實施例提供了一種基于雙目視覺平臺的目標姿態估計方法。方法包括：完成目標物體的關鍵點檢測；完成目標的三維姿態估計。通過應用該方法，能夠使得關鍵點檢測的檢測能力在目標尺度變化較大的情況下保證檢測能力，并且經過推理框架優化，能夠達到實時檢測。其次，設計了左目?右目關鍵點匹配篩選算法，能夠復核篩選關鍵點檢測正確性，選取檢測正確的關鍵點完成三維重建。

技術研發人員：郭曉雯,李凌昊,程駿超,許芳,陳岳紅,劉暢,郭浩,褚蓬瑛
受保護的技術使用者：中船智海創新研究院有限公司
技術研發日：
技術公布日：2025/4/24