本發(fā)明涉及機(jī)器視覺，特別是指一種姿態(tài)增強(qiáng)的多目標(biāo)跟蹤方法及系統(tǒng)。

背景技術(shù)：

1、多目標(biāo)跟蹤(multi-object?tracking，mot)作為計(jì)算機(jī)視覺領(lǐng)域的重要研究課題，旨在同時(shí)追蹤多個(gè)動(dòng)態(tài)目標(biāo)的軌跡。mot任務(wù)從視頻序列中，精確地為每個(gè)目標(biāo)分配獨(dú)特的id，并在不同時(shí)間幀中跟蹤這些目標(biāo)的位置和狀態(tài)。這一研究問題廣泛應(yīng)用于安防監(jiān)控、智能交通、自動(dòng)駕駛、體育分析、無人機(jī)監(jiān)控等領(lǐng)域。

2、mot的研究背景可以追溯到早期的目標(biāo)跟蹤技術(shù)。最初的多目標(biāo)跟蹤方法依賴于基于區(qū)域的跟蹤模型，如卡爾曼濾波和粒子濾波，這些方法通過物理建模預(yù)測(cè)目標(biāo)的運(yùn)動(dòng)軌跡并進(jìn)行匹配。然而，這些方法在多目標(biāo)環(huán)境中表現(xiàn)不佳，尤其是當(dāng)目標(biāo)間發(fā)生遮擋或快速運(yùn)動(dòng)時(shí)，準(zhǔn)確性和穩(wěn)定性明顯下降。

3、近幾年隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)檢測(cè)算法的精度較傳統(tǒng)算法性能大幅度提高，視覺多目標(biāo)跟蹤隨之取得了較大的突破。隨著目標(biāo)檢測(cè)算法(如基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的yolo和faster?r-cnn)的發(fā)展，基于檢測(cè)的多目標(biāo)跟蹤(tracking-by-detection)逐漸成為主流。這類方法首先通過目標(biāo)檢測(cè)網(wǎng)絡(luò)定位視頻幀中的目標(biāo)，再利用數(shù)據(jù)關(guān)聯(lián)算法(如匈牙利算法、最短路徑匹配等)對(duì)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行匹配。為了進(jìn)一步提高跟蹤精度和魯棒性，近年來，深度學(xué)習(xí)技術(shù)被引入mot領(lǐng)域，通過端到端的神經(jīng)網(wǎng)絡(luò)模型，直接從視頻幀中學(xué)習(xí)目標(biāo)的運(yùn)動(dòng)特征和外觀信息。這些方法通過訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)，能夠處理復(fù)雜的場(chǎng)景變化和目標(biāo)行為，更加適應(yīng)實(shí)際應(yīng)用中的不確定性和復(fù)雜性。

4、然而，盡管現(xiàn)有技術(shù)已在一些特定場(chǎng)景中取得了較好效果，但現(xiàn)有技術(shù)仍存在若干不足。首先，基于檢測(cè)的多目標(biāo)跟蹤方法雖已成主流，但在面對(duì)目標(biāo)遮擋、長(zhǎng)時(shí)間丟失和身份交換等問題時(shí)表現(xiàn)欠佳。尤其是在高密度目標(biāo)場(chǎng)景或多目標(biāo)快速交互的情況下，如體育賽事中的運(yùn)動(dòng)員或交通監(jiān)控中的車輛，傳統(tǒng)方法難以維持穩(wěn)定跟蹤。其次，復(fù)雜背景與嚴(yán)重遮擋進(jìn)一步加劇了目標(biāo)識(shí)別和匹配的難度，導(dǎo)致跟蹤精度下降。此外，相機(jī)移動(dòng)和運(yùn)動(dòng)模糊等客觀因素也對(duì)跟蹤任務(wù)構(gòu)成了挑戰(zhàn)，影響算法魯棒性。深度學(xué)習(xí)雖增強(qiáng)了模型處理復(fù)雜場(chǎng)景的能力，但現(xiàn)有算法在特定條件下依然受限。例如，在高密度目標(biāo)環(huán)境中，特征提取和數(shù)據(jù)關(guān)聯(lián)的準(zhǔn)確性易受到干擾；對(duì)于快速移動(dòng)的目標(biāo)，預(yù)測(cè)其未來位置變得尤為困難。因此，提升mot算法在各種復(fù)雜條件下的精度、魯棒性和實(shí)時(shí)性仍是亟待解決的問題。

5、綜上所述，現(xiàn)有技術(shù)雖然在一些特定場(chǎng)景中表現(xiàn)出色，但在廣泛的實(shí)際應(yīng)用中，特別是在動(dòng)態(tài)變化和不確定性強(qiáng)的環(huán)境中，仍然需要更多的改進(jìn)和發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種姿態(tài)增強(qiáng)的多目標(biāo)跟蹤方法及系統(tǒng)，以解決現(xiàn)有的多目標(biāo)跟蹤方法在動(dòng)態(tài)變化和不確定性強(qiáng)的環(huán)境中跟蹤效果不理想的技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明提供了如下技術(shù)方案：

3、一方面，本發(fā)明提供了一種姿態(tài)增強(qiáng)的多目標(biāo)跟蹤方法，包括：

4、對(duì)待檢測(cè)的視頻幀進(jìn)行目標(biāo)檢測(cè)，得到檢測(cè)結(jié)果；

5、基于檢測(cè)結(jié)果對(duì)目標(biāo)特征進(jìn)行提取，提取出目標(biāo)的外觀特征值和姿態(tài)特征值；

6、計(jì)算檢測(cè)結(jié)果的拓展交并比，基于拓展交并比以及目標(biāo)的外觀特征值和姿態(tài)特征值，采用預(yù)設(shè)的軌跡匹配策略進(jìn)行軌跡匹配，得到匹配結(jié)果；

7、基于匹配結(jié)果，實(shí)現(xiàn)目標(biāo)跟蹤。

8、進(jìn)一步地，當(dāng)軌跡檢測(cè)丟失時(shí)，所述方法還包括：

9、根據(jù)下式確定軌跡狀態(tài)：

10、

11、其中，si表示第i個(gè)軌跡所對(duì)應(yīng)的狀態(tài)；為第i個(gè)軌跡的最后一次看到時(shí)間；為第i個(gè)軌跡首次被識(shí)別的開始時(shí)間；β為預(yù)設(shè)參數(shù)；fc為當(dāng)前幀索引。

12、進(jìn)一步地，所述基于拓展交并比以及目標(biāo)的外觀特征值和姿態(tài)特征值，采用預(yù)設(shè)的軌跡匹配策略進(jìn)行軌跡匹配，得到匹配結(jié)果，包括：

13、設(shè)置第一成本閾值和第二成本閾值；

14、對(duì)提取出的外觀特征值和姿態(tài)特征值進(jìn)行調(diào)整：若外觀特征值的原始值大于第一成本閾值或拓展交并比大于第二成本閾值，則將外觀特征值調(diào)整為1，否則，保留外觀特征值的原始值；若姿態(tài)特征值的原始值大于第一成本閾值或拓展交并比大于第二成本閾值，則將姿態(tài)特征值調(diào)整為1，否則，保留姿態(tài)特征值的原始值；

15、將調(diào)整后的外觀特征值和姿態(tài)特征值進(jìn)行加權(quán)組合，得到融合特征值，公式為：

16、

17、其中，為第i個(gè)軌跡所對(duì)應(yīng)的融合特征值；為第i個(gè)軌跡所對(duì)應(yīng)的調(diào)整后的姿態(tài)特征值；為第i個(gè)軌跡所對(duì)應(yīng)的調(diào)整后的外觀特征值；λ為權(quán)重值；

18、將融合特征值與拓展交并比進(jìn)行比較，取其中的最小值作為關(guān)聯(lián)成本；

19、基于關(guān)聯(lián)成本，采用匈牙利算法，獲得軌跡和當(dāng)前檢測(cè)之間的最佳匹配。

20、進(jìn)一步地，權(quán)重值λ的計(jì)算公式為：

21、

22、其中，λmin表示預(yù)設(shè)的權(quán)重值的最小值；λmax表示預(yù)設(shè)的權(quán)重值的最大值；p表示目標(biāo)周圍遮擋物體的遮擋比例；t表示預(yù)設(shè)的遮擋比例閾值。

23、另一方面，本發(fā)明還提供了一種姿態(tài)增強(qiáng)的多目標(biāo)跟蹤系統(tǒng)，包括：

24、目標(biāo)檢測(cè)模塊，用于對(duì)待檢測(cè)的視頻幀進(jìn)行目標(biāo)檢測(cè)，得到檢測(cè)結(jié)果；

25、目標(biāo)特征提取模塊，用于基于所述目標(biāo)檢測(cè)模塊得到的檢測(cè)結(jié)果對(duì)目標(biāo)特征進(jìn)行提取，提取出目標(biāo)的外觀特征值和姿態(tài)特征值；

26、軌跡匹配模塊，用于計(jì)算檢測(cè)結(jié)果的拓展交并比，基于拓展交并比以及目標(biāo)的外觀特征值和姿態(tài)特征值，采用預(yù)設(shè)的軌跡匹配策略進(jìn)行軌跡匹配，得到匹配結(jié)果；

27、目標(biāo)跟蹤模塊，用于基于所述軌跡匹配模塊得到的匹配結(jié)果，實(shí)現(xiàn)目標(biāo)跟蹤。

28、進(jìn)一步地，所述系統(tǒng)還包括軌跡時(shí)間調(diào)節(jié)模塊，用于當(dāng)軌跡檢測(cè)丟失時(shí)，根據(jù)下式確定軌跡狀態(tài)：

29、

30、其中，si表示第i個(gè)軌跡所對(duì)應(yīng)的狀態(tài)；為第i個(gè)軌跡的最后一次看到時(shí)間；為第i個(gè)軌跡首次被識(shí)別的開始時(shí)間；β為預(yù)設(shè)參數(shù)；fc為當(dāng)前幀索引。

31、進(jìn)一步地，所述軌跡匹配模塊具體用于：

32、設(shè)置第一成本閾值和第二成本閾值；

33、對(duì)提取出的外觀特征值和姿態(tài)特征值進(jìn)行調(diào)整：若外觀特征值的原始值大于第一成本閾值或拓展交并比大于第二成本閾值，則將外觀特征值調(diào)整為1，否則，保留外觀特征值的原始值；若姿態(tài)特征值的原始值大于第一成本閾值或拓展交并比大于第二成本閾值，則將姿態(tài)特征值調(diào)整為1，否則，保留姿態(tài)特征值的原始值；

34、將調(diào)整后的外觀特征值和姿態(tài)特征值進(jìn)行加權(quán)組合，得到融合特征值，公式為：

35、

36、其中，為第i個(gè)軌跡所對(duì)應(yīng)的融合特征值；為第i個(gè)軌跡所對(duì)應(yīng)的調(diào)整后的姿態(tài)特征值；為第i個(gè)軌跡所對(duì)應(yīng)的調(diào)整后的外觀特征值；λ為權(quán)重值；

37、將融合特征值與拓展交并比進(jìn)行比較，取其中的最小值作為關(guān)聯(lián)成本；

38、基于關(guān)聯(lián)成本，采用匈牙利算法，獲得軌跡和當(dāng)前檢測(cè)之間的最佳匹配。

39、進(jìn)一步地，權(quán)重值λ的計(jì)算公式為：

40、

41、其中，λmin表示預(yù)設(shè)的權(quán)重值的最小值；λmax表示預(yù)設(shè)的權(quán)重值的最大值；p表示目標(biāo)周圍遮擋物體的遮擋比例；t表示預(yù)設(shè)的遮擋比例閾值。

42、再一方面，本發(fā)明還提供了一種電子設(shè)備，其包括處理器和存儲(chǔ)器；其中，存儲(chǔ)器中存儲(chǔ)有至少一條指令，所述指令由處理器加載并執(zhí)行，以實(shí)現(xiàn)上述方法。

43、又一方面，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條指令，所述指令由處理器加載并執(zhí)行，以實(shí)現(xiàn)上述方法。

44、本發(fā)明提供的技術(shù)方案帶來的有益效果至少包括：

45、1、本發(fā)明開發(fā)了一種新的關(guān)聯(lián)技術(shù)，專門應(yīng)對(duì)由動(dòng)態(tài)變化的運(yùn)動(dòng)模式和外觀相似性帶來的跟蹤挑戰(zhàn)。此技術(shù)巧妙地融合了二維與三維信息，可有效應(yīng)對(duì)目標(biāo)因運(yùn)動(dòng)模式變化或外觀相似而引發(fā)的跟蹤難題，提升追蹤的穩(wěn)定性和準(zhǔn)確性。

46、2、本發(fā)明方案創(chuàng)新性地加入了三維姿態(tài)特征作為輔助信息，并將其與外觀權(quán)重相融合，形成了更加精細(xì)的識(shí)別機(jī)制，從而顯著降低了id轉(zhuǎn)換率，解決了id轉(zhuǎn)換頻繁的問題，大幅度降低身份混淆的情況，同時(shí)提升整體跟蹤精度。

47、3、本發(fā)明方案提出了一種新的重識(shí)別策略，即在跟蹤過程中維持軌跡一段可調(diào)節(jié)的時(shí)間長(zhǎng)度。這種方法不僅提升了跟蹤的準(zhǔn)確性，還實(shí)現(xiàn)了對(duì)長(zhǎng)時(shí)間未出現(xiàn)在畫面中的目標(biāo)的有效再識(shí)別。顯著增強(qiáng)了在復(fù)雜封閉環(huán)境下的跟蹤連續(xù)性，解決了封閉環(huán)境中目標(biāo)長(zhǎng)時(shí)間離開視野后難以重新識(shí)別的問題。