本公開涉及目標跟蹤，特別是涉及一種目標跟蹤方法、裝置及設備。

背景技術：

1、視覺目標跟蹤是計算機視覺的一項基本任務，其主要研究任務是給定當前幀的初始狀態，在后續的每幀視頻中精確定位和跟蹤目標。鑒于其巨大潛力和優秀表現，視覺目標跟蹤在視頻監控、自動駕駛和機器人導航等領域得到了廣泛的應用。然而，受可見光圖像成像機制的限制，vot（visual?object?tracking，視覺目標跟蹤）仍然面臨著挑戰性問題，尤其是在極端光照、惡劣天氣等復雜場景和環境下。這很大程度上限制了目標跟蹤技術的應用范圍。

2、熱紅外（tir，thermal?infrared）成像對光照變化不敏感、并具有一定的穿透能力，并且與可見光豐富的顏色、細節和紋理信息形成互補。因此，tir圖像可以很好地作為可見光圖像的補充信息。

3、因此，相關技術中，基于可見光和熱紅外圖像融合（rgb-t，rgb-t?image?fusion）的目標跟蹤技術成為近年來的一個熱門研究課題，在智能監控、自動駕駛和機器人等領域具有潛在應用價值。

4、然而，現有的rgb-t多模態目標跟蹤方法缺少對時間信息的充分利用，并且對模態間的融合不夠充分合理，從而導致模型無法更魯棒的對目標進行跟蹤。

技術實現思路

1、為克服相關技術中存在的問題，本公開提供一種目標跟蹤方法、裝置及設備。本公開的技術方案如下：

2、根據本公開實施例的第一方面，提供一種目標跟蹤方法，包括：

3、獲取各個模態的搜索區域圖像對應的搜索區域序列，以及，獲取各個動態模板對應的第一目標序列和各個靜態模板對應的第二目標序列，所述靜態模板表征跟蹤目標的初始特征，所述動態模板表征跟蹤目標的運動特征；

4、將所述各個模態的搜索區域序列、第一目標序列、第二目標序列輸入到權重共享的編碼層，進行時序信息融合和模態間信息融合，得到每個模態的融合特征序列；

5、根據各個模態的融合特征序列，在所述搜索區域圖像中框選出所述跟蹤目標。

6、可選地，將所述各個模態的搜索區域序列、第一目標序列、第二目標序列輸入到權重共享的編碼層進行時序信息融合和模態間信息融合，得到每個模態的融合特征序列，包括：

7、對所述第一目標序列和所述第二目標序列進行時序信息融合，得到目標特征序列，所述目標特征序列用于捕捉所述跟蹤目標的行為；

8、基于所述目標特征序列，對所述搜索區域序列進行特征強化，得到強化特征序列，所述特征強化用于區分所述搜索區域序列中的背景信息和跟蹤目標信息；

9、根據不同模態的搜索區域序列進行模態間信息交互，得到跨模態提示信息；

10、將所述強化特征序列和所述跨模態提示信息融合，融合特征序列。

11、可選地，對所述第一目標序列和所述第二目標序列進行時序信息融合，得到目標特征序列，包括：

12、對所述第二目標序列進行降維信息抽取，得到跨時間提示信息；

13、將所述跨時間提示信息升維到和所述第一目標序列中特征信息相同大小的維度上，與所述第一目標序列中的特征信息疊加，得到疊加跨時間提示信息的第一目標序列；

14、將所述疊加跨時間提示信息的第一目標序列確定為所述目標特征序列。

15、可選地，根據不同模態的搜索區域序列進行模態間信息交互，得到跨模態提示信息，包括：

16、對各個模態的所述搜索區域序列進行降維信息抽取，得到第一跨模態提示信息；

17、將所述第一跨模態提示信息升維到和搜索區域序列中特征信息相同大小的維度，得到第一升維結果；所述第一升維結果用于與另一模態的強化特征序列進行疊加。

18、可選地，在基于所述目標特征序列，對所述搜索區域序列進行特征強化，得到強化特征序列后，還包括：

19、接收通過另一模態的搜索區域序列得到的第二升維結果；

20、將所述第二升維結果與所述強化特征序列進行疊加，得到跨模態融合后的所述融合特征序列。

21、可選地，在搜索區域圖像中框選出跟蹤目標后，還包括：

22、通過所述搜索區域圖像中的框選區域，確定待更新圖像；

23、通過位置信息、判別信息和外觀信息對所述待更新圖像進行評估，判斷所述待更新圖像是否評估通過；

24、在所述待更新圖像評估通過的情況下，對所述動態模板進行更新，將所述待更新圖像確定為更新后的動態模板；

25、在所述待更新圖像評估未通過的情況下，不對所述動態模板進行更新。

26、可選地，根據各個模態的融合特征序列，在搜索區域圖像中框選出所述跟蹤目標，包括：

27、確定各個模態各自對應的融合特征序列的分類圖；

28、根據各個所述分類圖，對各個模態的融合特征序列進行加權融合，得到加權融合特征序列；

29、分別通過各個模態各自對應的融合特征序列和所述加權融合特征序列，確定對應的跟蹤結果；

30、通過評估指標，對各個跟蹤結果進行評估，得到對應的評估結果；

31、將評估結果最好的跟蹤結果確定為目標跟蹤結果；

32、通過所述目標跟蹤結果，在搜索區域圖像中框選出跟蹤目標。

33、可選地，所述搜索區域序列、所述第一目標序列以及所述第二目標序列是通過以下方式確定的，包括：

34、按照設定的補丁大小，將圖像分割并展開成多個補丁組成的序列；所述圖像為搜索區域圖像、靜態模板圖像或動態模板圖像；

35、通過卷積網絡，將所述多個補丁組成的序列投影到高維空間，得到特征序列；

36、其中，在所述圖像為搜索區域圖像的情況下，在將所述多個補丁組成的序列投影到高維空間后，將投影結果與位置信息嵌入相加，得到特征序列；所述位置信息為所述補丁在所述搜索區域圖像中的位置。

37、根據本公開實施例的第二方面，提供一種目標跟蹤裝置，包括：

38、獲取模塊，用于獲取各個模態的搜索區域圖像對應的搜索區域序列，以及，獲取各個動態模板對應的第一目標序列和各個靜態模板對應的第二目標序列，所述靜態模板表征跟蹤目標的初始特征，所述動態模板表征跟蹤目標的運動特征；

39、融合模塊，用于將所述各個模態的搜索區域序列、第一目標序列、第二目標序列輸入到權重共享的編碼層，進行時序信息融合和模態間信息融合，得到每個模態的融合特征序列；

40、跟蹤模塊，用于根據各個模態的融合特征序列，在所述搜索區域圖像中框選出所述跟蹤目標。

41、根據本公開實施例的第三方面，提供一種電子設備，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執行時，實現如第一方面中所述的目標跟蹤方法的步驟。

42、根據本公開實施例的第四方面，提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，實現如第一方面中所述的目標跟蹤方法的步驟。

43、根據本公開實施例的第五方面，提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時，實現第一方面所述的目標跟蹤方法的步驟。

44、本公開通過進行時序融合和模態間信息融合，能夠有效加強不同模態之間的信息交互，能夠更全面地捕捉目標的特征，提升跟蹤的準確性和魯棒性。動態模板能夠反映跟蹤目標的運動特征，而靜態模板則表征目標的初始特征，本公開能夠更好地適應目標在不同時間點的外觀變化和運動狀態，從而提高跟蹤的穩定性。通過對各個模態的融合特征序列進行處理，能夠在搜索區域圖像中更準確地框選出跟蹤目標，能夠有效減少誤檢和漏檢的情況，提升整體的跟蹤性能。