本發明涉及多目標跟蹤領域，更具體地說，涉及一種基于閾值分離和特征增強的多目標跟蹤方法。

背景技術：

1、多目標跟蹤的主要任務是輸出給定視頻序列中所有目標的運動軌跡，并且維持各目標的身份信息。多目標跟蹤技術在智能監控系統、自動駕駛和體育賽事分析等領域取得了重大突破，進一步挖掘了應用場景，提高了安防、交通和體育等領域的智能化水平。此外，多目標跟蹤是姿態估計、行為識別、行為分析和視頻分析等高級計算機視覺任務的基礎。

2、相較于目標檢測，多目標跟蹤需要在獲取所有目標的基礎上，完成更多的任務，其中包括獲取目標的運動信息和外觀信息以及根據上述信息實現目標集和軌跡集之間的匹配。因此，在實際的跟蹤過程中存在大量會造成跟蹤性能下降的挑戰因素，例如目標被遮擋、目標間相似度高、目標間交互、目標尺度變換以及光照變換等。在上述挑戰因素中，可以將影響在復雜場景下進行穩定跟蹤的難點歸結為以下三點：一是由于目標被遮擋或者目標間頻繁交互導致目標難以被精準跟蹤，進而導致目標id頻繁變更；二是目標間相似度高使得目標特征信息降質或者失效；三是由于目標尺度變換、環境光照變化以及相機運動可能造成目標檢測框漂移。

3、隨著深度學習在計算機視覺領域的不斷突破和廣泛應用，近年來基于深度學習的多目標跟蹤方法不斷涌現。根據模型為完成目標檢測、特征提取和數據關聯3個子任務所采取的跟蹤模型，可以將近年來的多目標跟蹤算法劃分為分離檢測和特征提取的方法(separate?detection?and?embedding，sde)、聯合檢測和特征提取的方法(jointdetection?and?embedding，jde)以及聯合檢測和跟蹤的方法(jointdetection?andtracking，jdt)。如圖1所示，基于分離檢測和特征提取的多目標跟蹤方法先后完成3個子任務，即首先通過一個目標檢測網絡來定位目標，然后提取目標的特征，最后通過數據關聯算法計算目標間的相似度并關聯目標。分離檢測和特征提取的多目標跟蹤方法由于其結構簡單，跟蹤效果優秀，成為了研究主流。sort最早利用卷積神經網絡檢測目標的多目標跟蹤算法之一，它對各目標的位置和速度進行建模，然后基于跟蹤目標經卡爾曼濾波(kalmanfilter，kf)所得的預測框和fasterr-cnn所得的檢測框之間的交并比(intersectionoverunion)利用匈牙利算法(hungarianalgorithm，ha)逐幀關聯目標。deepsort在sort算法的基礎上，引入目標的外觀信息，利用余弦距離和馬氏距離衡量目標間的相似度，并利用級聯匹配策略，大幅減少了ids(id?switches)現象。bytetrack在匹配流程方面對多目標跟蹤算法進行了優化，不同與以往的跟蹤方法在目標檢測階段舍棄低分的檢測器，bytetrack保留了所有的檢測框，并且將它們劃分為高分檢測框和低分檢測框。bytetrack首先將高分檢測框與現有軌跡進行關聯，然后將低分檢測框與未匹配的軌跡進行關聯，最后為未匹配的高分檢測框創建新軌跡。bytetrack對檢測結果的充分利用，使得其對于目標遮擋具有穩健的效果。

4、如圖2所示，基于聯合檢測和特征提取的多目標跟蹤方法通過在檢測網絡中添加一個并行的特征提取分支，實現了在單個網絡中同時輸出目標的位置和外觀特征。通過使用兩個任務的共享特征，有效避免了部分重復計算，提高了模型的跟蹤速度。如圖3所示，基于聯合檢測和跟蹤的多目標跟蹤方法以相鄰多幀圖像為輸入，基于目標先前的運動或外觀信息預測其當前時刻位置偏移量或外觀特征，從而關聯目標。

5、本發明公開了一種基于閾值分離和特征改進的分離檢測和特征提取多目標跟蹤方法。在將檢測框按照檢測置信度分數閾值劃分為高分檢測框和低分檢測框的基礎上，高分檢測框不僅具有優先與軌跡集匹配的權利，還在運動特征和外觀特征方面做了以下改進：一是根據檢測置信度分數，給予高分檢測框更低的檢測噪聲，進而使得其運動特征更準確；二是針對已經匹配的軌跡，同樣根據其檢測置信度分數計算其外觀特征更新權重，給予高分檢測框所匹配的軌跡集更高的更新權重，對于低分檢測框所對應的權重不更新其外觀特征。通過改進外觀特征和運動特征以及優化匹配流程，使得算法在跟蹤準確性等方面得到提升。

技術實現思路

1、有鑒于此，本發明實施例提供了一種基于閾值分離和特征增強的多目標跟蹤方法，以準確且穩定地跟蹤目標。

2、為了實現上述目的，本發明實施例提供了如下方案：

3、一種基于閾值分離和特征增強的多目標跟蹤方法，其特征在于，包含以下步驟：

4、步驟1.目標檢測

5、本發明使用目標檢測網絡yolox作為檢測器輸出每一幀中所有潛在的目標，其輸出包含以下信息：目標的置信度得分、目標的類別id和目標的邊界框坐標。

6、步驟2.運動特征提取與增強

7、在多目標跟蹤領域，卡爾曼濾波基于觀測方程和狀態轉移方程對目標進行更新和預測。預測步驟由前一時刻的后驗估計值得到當前時刻的先驗估計值：

8、

9、然后求得先驗誤差的協方差矩陣：

10、

11、在更新步驟中，由協方差矩陣求得卡爾曼增益系數：

12、

13、再由卡爾曼增益系數求得后驗估計值：

14、

15、最后更新誤差協方差矩陣：

16、pk∣k＝(i-kkhk)pk∣k-1

17、為了減少低置信度分數的檢測噪聲影響，本發明使用下式對軌跡運動特征進行增強：

18、

19、其中，rk表示測量噪聲的協方差矩陣，ck表示檢測框的檢測置信度分數。

20、步驟3.外觀特征提取增強

21、步驟3.1特征提取：

22、當前幀的現存軌跡集合為t＝{t1,t2,t3,...,tn}，當前幀的目標集合為d＝{d1,d2,d3,...,dm}，由fastreid庫中sbs50模型計算當前檢測目標的外觀特征，表示第k幀中第i個目標的外觀特征。

23、步驟3.2特征融合：

24、計算得到當前幀中所有軌跡和目標之間的余弦相似度矩陣dcos和iou相似度矩陣diou，并根據下式進行特征融合：

25、

26、

27、步驟3.3特征更新：

28、對于已經匹配的軌跡，在更新其外觀特征的過程中，采取同運動特征一樣的思路，即根據軌跡的檢測置信度分數設置權重已更新其外觀特征，其更新方式如下：

29、

30、

31、其中表示第k幀圖像中第i條軌跡的外觀特征描述，表示在第k幀圖像中第i條軌跡已匹配的目標檢測框的外觀特征，αt是動量項，αf為固定值權重，σ為檢測置信度分數閾值，sdet為已匹配的目標檢測框的檢測置信度分數。

32、步驟5.數據關聯

33、(1)由檢測器獲取當前第t幀中的所有的目標d，然后根據檢測閾值σ將檢測框劃分為兩部分：低分檢測框dlow和高分檢測框dhigh；

34、(2)利用nsakalmanfilter預測軌跡集t在當前第t幀中的位置；

35、(3)計算高分檢測框dhigh和軌跡集t的iou代價矩陣和外觀相似度矩陣，并根據融合規則計算總代價矩陣；

36、(4)利用匈牙利算法根據總代價矩陣關聯高分檢測框dhigh和軌跡集t；

37、(5)對于沒有匹配的高分檢測框dhigh將其置為dremain；

38、(6)對于沒有匹配的軌跡t將其置為tremain；

39、(7)對于已經匹配的軌跡tmatched根據dynamic?ema更新其外觀特征；

40、(8)計算低分檢測框dlow和剩余未匹配軌跡集tremain之間的iou代價矩陣，并使用匈牙利算法進行二次匹配；

41、(9)將仍未匹配的軌跡歸為tre-remain，沒有匹配的檢測框視為背景被刪除；

42、(10)將tre-remain歸為tlost，并刪除生命周期超過30的軌跡；

43、(11)最后，將仍未匹配的高分檢測框初始化為新軌跡；

44、優選的，所述置信度分數閾值σ為0.6。

45、優選的，所述外觀相似度閾值θemb為0.25。

46、優選的，所述外觀相似度閾值θiou為0.5。

47、優選的，所述固定權重值αf為0.95。

48、本發明公開了一種基于閾值分離和特征增強的多目標跟蹤方法，旨在準確且穩定地跟蹤目標。在根據檢測置信度分數劃分為高分檢測框和低分檢測框的基礎上，針對高分檢測框和高分軌跡在特征提取方面進行增強。在運動特征方面，使用卡爾曼濾波預測所有軌跡在當前幀中可能的位置，為了減小過程噪聲對預測的干擾，使用nsakalmanfilter預測其位置。在外觀特征方面，根據檢測框的置信度分數，動態地計算其更新權值，進而更新其外觀特征。在關聯策略方面，采取分級匹配的原則，優先匹配高分檢測框，然后匹配低分檢測框和未匹配的軌跡。通過增強特征表達和優化匹配流程，本發明提高了多目標跟蹤的準確性。