本發(fā)明涉及計(jì)算機(jī)視覺，尤其涉及一種跨鏡頭行人跟蹤識別方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)：

1、行人跟蹤技術(shù)是通過檢測視頻中的行人位置，并逐幀確定視頻中同一個(gè)人的位置變化。而跨鏡頭行人跟蹤通常是指在多個(gè)攝像頭的系統(tǒng)中進(jìn)行不同行人的追蹤。較早的跨鏡頭行人跟蹤方法一般是采用單攝像頭行人跟蹤的方式，即先用行人檢測算法得到圖像中每個(gè)行人的位置，再使用行人特征提取模型提取不同行人特征，最終對不同幀的行人特征進(jìn)行比對，以實(shí)現(xiàn)跨鏡頭對不同的行人進(jìn)行跟蹤。但在現(xiàn)實(shí)場景下，行人之間的遮擋會對行人檢測的準(zhǔn)確性產(chǎn)生嚴(yán)重的影響，在人群密集的情況下，部分行人目標(biāo)難以被檢測出。對此，通常用多個(gè)攝像頭從不同的視角交叉關(guān)注同一區(qū)域，能夠有效緩解行人的遮擋產(chǎn)生的準(zhǔn)確度下降和跟蹤行人丟失目標(biāo)的問題。在多攝像頭交叉跟蹤中，需要有效地聚合多個(gè)攝像頭的視圖信息，理解行人在現(xiàn)實(shí)世界中的3d信息。

2、現(xiàn)有的跨鏡頭跟蹤方法在聚合視圖信息過程中，通常是先預(yù)設(shè)固定的人的寬度和高度，計(jì)算所有人體的3d位置及其對應(yīng)的不同視圖中的錨點(diǎn)位置，用視圖上相應(yīng)的錨點(diǎn)特征來表示地平面的位置，利用行人錨點(diǎn)周邊信息融合每個(gè)視圖。然而由于不同行人的寬度、高度和寬高比例等因素差異較大，人為預(yù)先設(shè)定行人的寬高與實(shí)際行人寬高存在誤差，利用行人錨點(diǎn)周邊信息融合視圖信息時(shí)，難以充分融合不同視角的信息，進(jìn)而影響跟蹤識別的準(zhǔn)確性。

3、因此現(xiàn)有技術(shù)存在著在聚合視圖信息過程中，由于預(yù)設(shè)行人寬高存在誤差，導(dǎo)致融合視圖信息時(shí)難以充分融合，進(jìn)而影響行人跟蹤識別的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，有必要提供一種跨鏡頭行人跟蹤識別方法、裝置、電子設(shè)備及介質(zhì)，用于解決現(xiàn)有技術(shù)存在的由于預(yù)設(shè)行人寬高存在誤差，導(dǎo)致融合視圖信息時(shí)難以充分融合，進(jìn)而影響行人跟蹤識別的準(zhǔn)確性的技術(shù)問題。

2、為了解決上述問題，一方面，本發(fā)明提供了一種跨鏡頭行人跟蹤識別方法，包括：

3、將獲取的多鏡頭行人圖像輸入訓(xùn)練完備的跨鏡頭行人跟蹤網(wǎng)絡(luò)，對多鏡頭行人圖像進(jìn)行圖像特征提取得到初步圖像特征，對初步圖像特征進(jìn)行投影變換得到投影特征，將投影特征進(jìn)行拼接合并得到融合特征，對融合特征進(jìn)行卷積輸出得到人群分布概率預(yù)測輸出；

4、對人群分布概率預(yù)測輸出進(jìn)行非最大抑制法過濾得到行人識別結(jié)果，將行人識別結(jié)果與歷史行人跟蹤軌跡進(jìn)行匹配得到新一輪行人跟蹤軌跡。

5、在一種可能的實(shí)現(xiàn)方式中，對多鏡頭行人圖像進(jìn)行圖像特征提取得到初步圖像特征，包括：

6、基于預(yù)訓(xùn)練圖像特征提取網(wǎng)絡(luò)對多鏡頭行人圖像進(jìn)行特征提取得到初步圖像特征。

7、在一種可能的實(shí)現(xiàn)方式中，對初步圖像特征進(jìn)行投影變換得到投影特征，包括：

8、基于預(yù)設(shè)相機(jī)標(biāo)定參數(shù)對初步圖像特征進(jìn)行投影變化得到投影特征。

9、在一種可能的實(shí)現(xiàn)方式中，將投影特征進(jìn)行拼接合并得到融合特征，包括：

10、根據(jù)投影特征的特征圖像尺寸構(gòu)建坐標(biāo)地圖；

11、將坐標(biāo)地圖和投影特征進(jìn)行特征拼接得到融合特征。

12、在一種可能的實(shí)現(xiàn)方式中，對人群分布概率預(yù)測輸出進(jìn)行非最大抑制法過濾得到行人識別結(jié)果，包括：

13、基于預(yù)設(shè)概率閾值對人群分布概率預(yù)測輸出進(jìn)行概率過濾得到若干初步識別點(diǎn)；

14、基于預(yù)設(shè)距離閾值對初步識別點(diǎn)進(jìn)行歐幾里得過濾得到行人識別結(jié)果。

15、在一種可能的實(shí)現(xiàn)方式中，將行人識別結(jié)果與歷史行人跟蹤軌跡進(jìn)行匹配得到新一輪行人跟蹤軌跡，包括：

16、基于匈牙利匹配算法將行人識別結(jié)果與歷史行人跟蹤軌跡進(jìn)行軌跡匹配得到新一輪行人跟蹤軌跡。

17、在一種可能的實(shí)現(xiàn)方式中，訓(xùn)練完備的跨鏡頭行人跟蹤識別網(wǎng)絡(luò)通過訓(xùn)練初始跨鏡頭行人跟蹤識別網(wǎng)絡(luò)得到，訓(xùn)練初始跨鏡頭行人跟蹤識別網(wǎng)絡(luò)，包括：

18、根據(jù)行人識別結(jié)果和行人真實(shí)標(biāo)定位置確定第一損失函數(shù)；

19、對初步圖像特征進(jìn)行特征卷積得到頭部特征和足部特征，基于預(yù)設(shè)相機(jī)標(biāo)定參數(shù)分別對頭部特征和足部特征進(jìn)行位置標(biāo)定得到頭部檢測點(diǎn)和足部檢測點(diǎn)；

20、根據(jù)頭部檢測點(diǎn)、足部檢測點(diǎn)、真實(shí)頭部標(biāo)定位置和真實(shí)足部標(biāo)定位置確定第二損失函數(shù)；

21、根據(jù)第一損失函數(shù)和第二損失函數(shù)對初始跨鏡頭行人跟蹤識別網(wǎng)絡(luò)進(jìn)行端到端訓(xùn)練，迭代訓(xùn)練過程得到訓(xùn)練完備的跨鏡頭行人跟蹤識別網(wǎng)絡(luò)。

22、另一方面，本發(fā)明還提供了一種跨鏡頭行人跟蹤識別裝置，包括：

23、人群分布預(yù)測單元，用于將獲取的多鏡頭行人圖像輸入訓(xùn)練完備的跨鏡頭行人跟蹤網(wǎng)絡(luò)，對多鏡頭行人圖像進(jìn)行圖像特征提取得到初步圖像特征，對初步圖像特征進(jìn)行投影變換得到投影特征，將投影特征進(jìn)行拼接合并得到融合特征，對融合特征進(jìn)行卷積輸出得到人群分布概率預(yù)測輸出；

24、軌跡匹配單元，用于對人群分布概率預(yù)測輸出進(jìn)行非最大抑制法過濾得到行人識別結(jié)果，將行人識別結(jié)果與歷史行人跟蹤軌跡進(jìn)行匹配得到新一輪行人跟蹤軌跡。

25、另一方面，本發(fā)明還提供了一種電子設(shè)備，包括處理器、存儲器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行程序時(shí)，實(shí)現(xiàn)上述的跨鏡頭行人跟蹤識別方法。

26、另一方面，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述的跨鏡頭行人跟蹤識別方法。

27、本發(fā)明的有益效果是：在本發(fā)明提供的跨鏡頭行人跟蹤識別方法中，首先將獲取的多鏡頭行人圖像輸入訓(xùn)練完備的跨鏡頭行人跟蹤網(wǎng)絡(luò)，對多鏡頭行人圖像進(jìn)行圖像特征提取得到初步圖像特征，對初步圖像特征進(jìn)行投影變換得到投影特征，將投影特征進(jìn)行拼接合并得到融合特征，對融合特征進(jìn)行卷積輸出得到人群分布概率預(yù)測輸出；然后對人群分布概率預(yù)測輸出進(jìn)行非最大抑制法過濾得到行人識別結(jié)果，將行人識別結(jié)果與歷史行人跟蹤軌跡進(jìn)行匹配得到新一輪行人跟蹤軌跡。本發(fā)明通過將特征圖像投影變換后再拼接融合的處理方式，避免了固化的錨點(diǎn)帶來的誤差，可以充分融合不同視角的視圖信息，提高行人跟蹤識別的準(zhǔn)確性。

技術(shù)特征：

1.一種跨鏡頭行人跟蹤識別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的跨鏡頭行人跟蹤識別方法，其特征在于，所述對所述多鏡頭行人圖像進(jìn)行圖像特征提取得到初步圖像特征，包括：

3.根據(jù)權(quán)利要求1所述的跨鏡頭行人跟蹤識別方法，其特征在于，所述對所述初步圖像特征進(jìn)行投影變換得到投影特征，包括：

4.根據(jù)權(quán)利要求1所述的跨鏡頭行人跟蹤識別方法，其特征在于，所述將所述投影特征進(jìn)行拼接合并得到融合特征，包括：

5.根據(jù)權(quán)利要求1所述的跨鏡頭行人跟蹤識別方法，其特征在于，所述對所述人群分布概率預(yù)測輸出進(jìn)行非最大抑制法過濾得到行人識別結(jié)果，包括：

6.根據(jù)權(quán)利要求1所述的跨鏡頭行人跟蹤識別方法，其特征在于，所述將所述行人識別結(jié)果與歷史行人跟蹤軌跡進(jìn)行匹配得到新一輪行人跟蹤軌跡，包括：

7.根據(jù)權(quán)利要求1所述的跨鏡頭行人跟蹤識別方法，其特征在于，所述訓(xùn)練完備的跨鏡頭行人跟蹤識別網(wǎng)絡(luò)通過訓(xùn)練初始跨鏡頭行人跟蹤識別網(wǎng)絡(luò)得到，所述訓(xùn)練初始跨鏡頭行人跟蹤識別網(wǎng)絡(luò)，包括：

8.一種跨鏡頭行人跟蹤識別裝置，其特征在于，包括：

9.一種電子設(shè)備，包括處理器、存儲器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，處理器執(zhí)行程序時(shí)，實(shí)現(xiàn)根據(jù)權(quán)利要求1至7任一項(xiàng)所述的跨鏡頭行人跟蹤識別方法。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)根據(jù)權(quán)利要求1至7任一項(xiàng)所述的跨鏡頭行人跟蹤識別方法。

技術(shù)總結(jié)
本發(fā)明提供了一種跨鏡頭行人跟蹤識別方法、裝置、電子設(shè)備及介質(zhì)，屬于計(jì)算機(jī)視覺領(lǐng)域。其方法包括：將獲取的多鏡頭行人圖像輸入訓(xùn)練完備的跨鏡頭行人跟蹤網(wǎng)絡(luò)，對多鏡頭行人圖像進(jìn)行圖像特征提取得到初步圖像特征，對初步圖像特征進(jìn)行投影變換得到投影特征，將投影特征進(jìn)行拼接合并得到融合特征，對融合特征進(jìn)行卷積輸出得到人群分布概率預(yù)測輸出；然后對人群分布概率預(yù)測輸出進(jìn)行非最大抑制法過濾得到行人識別結(jié)果，將行人識別結(jié)果與歷史行人跟蹤軌跡進(jìn)行匹配得到新一輪行人跟蹤軌跡。本發(fā)明通過將特征圖像投影變換后再拼接融合的處理方式，避免了固化的錨點(diǎn)帶來的誤差，可以充分融合不同視角的視圖信息，提高行人跟蹤識別的準(zhǔn)確性。

技術(shù)研發(fā)人員：程朝陽,陳躍,姚泰然,白云
受保護(hù)的技術(shù)使用者：中建三局集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/3/20