本發(fā)明屬于人工智能的，涉及了一種高精度移動(dòng)物體跟蹤ai攝像頭的實(shí)施方法及系統(tǒng)。

背景技術(shù)：

1、隨著計(jì)算機(jī)視覺和人工智能技術(shù)的飛速發(fā)展，移動(dòng)物體跟蹤技術(shù)廣泛應(yīng)用于安防監(jiān)控、智能交通、體育訓(xùn)練、人機(jī)交互的多個(gè)領(lǐng)域，傳統(tǒng)的移動(dòng)物體跟蹤技術(shù)面臨諸多挑戰(zhàn)。由于環(huán)境復(fù)雜多變，光照條件、遮擋、運(yùn)動(dòng)模糊等因素會(huì)嚴(yán)重影響跟蹤精度和魯棒性，不同傳感器的數(shù)據(jù)融合問題也是制約跟蹤性能的關(guān)鍵因素。

2、傳統(tǒng)方法在處理這些問題時(shí)，往往采用固定權(quán)重的傳感器數(shù)據(jù)融合策略，無法根據(jù)實(shí)時(shí)環(huán)境變化動(dòng)態(tài)調(diào)整各傳感器的優(yōu)先級(jí)，從而導(dǎo)致跟蹤誤差較大。傳統(tǒng)的移動(dòng)物體跟蹤算法在預(yù)測(cè)目標(biāo)物體未來運(yùn)動(dòng)軌跡時(shí)，往往缺乏足夠的上下文信息和環(huán)境感知能力，難以準(zhǔn)確預(yù)測(cè)復(fù)雜場(chǎng)景下的物體運(yùn)動(dòng)軌跡。

3、基于上述問題，傳統(tǒng)的方法在跟蹤誤差較大時(shí)，缺乏有效的修正流程策略。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述的問題，本發(fā)明提供了一種高精度移動(dòng)物體跟蹤ai攝像頭的實(shí)施方法及系統(tǒng)。

2、第一方面，本發(fā)明提供了一種高精度移動(dòng)物體跟蹤ai攝像頭的實(shí)施方法，采用如下技術(shù)方案：

3、一種高精度移動(dòng)物體跟蹤ai攝像頭的實(shí)施方法，包括以下步驟：

4、s1、獲取目標(biāo)物體的三維坐標(biāo)、視覺圖像序列、運(yùn)動(dòng)狀態(tài)數(shù)據(jù)，進(jìn)行跨模態(tài)時(shí)空對(duì)齊校準(zhǔn)，消除傳感器坐標(biāo)系差異；

5、s2、構(gòu)建神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)權(quán)重模型，實(shí)時(shí)調(diào)整毫米波雷達(dá)、攝像頭和慣性傳感器的數(shù)據(jù)優(yōu)先級(jí)；

6、s3、對(duì)校準(zhǔn)后的三軸坐標(biāo)執(zhí)行加權(quán)計(jì)算，結(jié)合速度矢量生成連續(xù)跟蹤路徑；

7、s4、構(gòu)建運(yùn)動(dòng)模式預(yù)測(cè)模型，得到預(yù)測(cè)目標(biāo)物體未來運(yùn)動(dòng)軌跡的運(yùn)動(dòng)模式預(yù)測(cè)模型；

8、s5、預(yù)判和生成三條候選路徑，篩選有效的候選路徑集合；

9、s6、計(jì)算候選路徑平均偏差系數(shù)，結(jié)合偏差閾值及有效路徑比例，輸出預(yù)測(cè)路徑的可信度評(píng)分；

10、s7、若可信度評(píng)分未達(dá)閾值，通過迭代模型訓(xùn)練、權(quán)重重分配或傳感器替換進(jìn)行修正；

11、s8、選擇三軸坐標(biāo)偏差最小的有效預(yù)測(cè)路徑作為主要方案，保留次優(yōu)預(yù)測(cè)路徑作備用方案。

12、本發(fā)明進(jìn)一步的方案，步驟s1，包括以下步驟：

13、s11、獲取目標(biāo)物體的三維位置坐標(biāo)、速度信息，捕捉目標(biāo)物體的視覺圖像序列，記錄目標(biāo)物體的自身運(yùn)動(dòng)狀態(tài)數(shù)據(jù)；

14、具體的，利用毫米波雷達(dá)發(fā)射連續(xù)變化的頻率波，接收物體反射的信號(hào)的原理，獲取目標(biāo)物體的三維坐標(biāo)和徑向速度；利用高速攝像頭捕捉目標(biāo)物體的視覺圖像序列，利用防抖慣性傳感器，記錄目標(biāo)物體的自身運(yùn)動(dòng)狀態(tài)數(shù)據(jù)；

15、具體的，防抖慣性傳感器安裝于目標(biāo)物體的時(shí)候，記錄目標(biāo)物體真實(shí)的橫向加速度、位移增量；

16、s12、針對(duì)雷達(dá)點(diǎn)云數(shù)據(jù)、視覺圖像的像素?cái)?shù)據(jù)、防抖慣性傳感器測(cè)算位移增量執(zhí)行空間對(duì)齊校準(zhǔn)；

17、具體的，通過統(tǒng)一的時(shí)間信號(hào)，毫米波雷達(dá)、高速攝像頭、防抖慣性傳感器的數(shù)據(jù)時(shí)間差不超過1毫秒，確保毫米波雷達(dá)、高速攝像頭、防抖慣性傳感器同時(shí)采集數(shù)據(jù)；

18、基于雷達(dá)點(diǎn)云的三維坐標(biāo)、視覺圖像的二維像素坐標(biāo)、防抖慣性傳感器測(cè)算位移增量坐標(biāo)，通過提取共同特征點(diǎn)建立跨模態(tài)關(guān)聯(lián)，盡量解決雷達(dá)、相機(jī)坐標(biāo)系、位移增量坐標(biāo)系的空間位姿差異的問題；結(jié)合目標(biāo)物體的關(guān)鍵點(diǎn)，雷達(dá)點(diǎn)云坐標(biāo)（x，y，z）、相機(jī)圖像坐標(biāo)系（u，v）、位移增量坐標(biāo)系（a，b）的映射關(guān)系轉(zhuǎn)換為齊次變換矩陣，通過最小二乘法優(yōu)化消除匹配誤差。

19、本發(fā)明進(jìn)一步的方案，步驟s2，包括以下步驟：

20、集成光照傳感器、氣象感知單元獲取當(dāng)前的光照強(qiáng)度、能見度；基于毫米波雷達(dá)輸出的速度信息、防抖慣性傳感器的自身運(yùn)動(dòng)狀態(tài)數(shù)據(jù)，計(jì)算目標(biāo)物體的運(yùn)動(dòng)速度；然后建立動(dòng)態(tài)權(quán)重分配模型，用以計(jì)算毫米波雷達(dá)的測(cè)量數(shù)據(jù)、高速攝像頭的測(cè)量數(shù)據(jù)、防抖慣性傳感器的測(cè)量數(shù)據(jù)的動(dòng)態(tài)權(quán)重系數(shù)，動(dòng)態(tài)權(quán)重分配通過實(shí)時(shí)地調(diào)整不同傳感器的優(yōu)先級(jí)。

21、本發(fā)明進(jìn)一步的方案，步驟s3，包括以下步驟：

22、s31、根據(jù)時(shí)空對(duì)齊數(shù)據(jù)中提取雷達(dá)點(diǎn)云坐標(biāo)、圖像的像素坐標(biāo)、位移增量坐標(biāo)，以及步驟s2測(cè)得動(dòng)態(tài)權(quán)重參數(shù)，執(zhí)行三軸坐標(biāo)加權(quán)計(jì)算；

23、具體的，防抖慣性傳感器測(cè)算的位移增量坐標(biāo)（）、雷達(dá)點(diǎn)云坐標(biāo)（）、圖像的像素坐標(biāo)（）；結(jié)合動(dòng)態(tài)權(quán)重參數(shù)：防抖慣性傳感器的權(quán)重系數(shù)為，毫米波雷達(dá)的權(quán)重系數(shù)為，高速攝像頭的權(quán)重系數(shù)為，滿足；

24、對(duì)x、y、z三軸分別執(zhí)行加權(quán)計(jì)算，滿足如下公式：

25、

26、

27、

28、s32、將毫米波雷達(dá)利用空間坐標(biāo)系轉(zhuǎn)換成速度矢量，加權(quán)后的三軸坐標(biāo)數(shù)據(jù)、毫米波雷達(dá)測(cè)得的速度矢量（）結(jié)合，生成包含三維坐標(biāo)和速度矢量的跟蹤路徑。

29、本發(fā)明進(jìn)一步的方案，步驟s4，包括以下步驟：

30、基于生成的跟蹤路徑，截取連續(xù)100幀的歷史運(yùn)動(dòng)數(shù)據(jù)作為模型訓(xùn)練基礎(chǔ)，每幀數(shù)據(jù)包含目標(biāo)物體的三維坐標(biāo)（）、速度矢量（）、加速度（），確保100幀數(shù)據(jù)覆蓋至少10秒的運(yùn)動(dòng)時(shí)間窗口，用于捕捉目標(biāo)完整的運(yùn)動(dòng)規(guī)律；

31、將單幀的歷史有效運(yùn)動(dòng)數(shù)據(jù)中的三維坐標(biāo)（）、速度矢量（）、加速度（）組合成九維特征向量，形成時(shí)間序列的歷史訓(xùn)練集；采用lstm網(wǎng)絡(luò)訓(xùn)練并生成運(yùn)動(dòng)模式預(yù)測(cè)模型，以前70幀的九維特征向量作為輸入，以后30幀的三維坐標(biāo)作為輸出，利用歷史訓(xùn)練集訓(xùn)練所述雙層lstm網(wǎng)絡(luò)，得到預(yù)測(cè)目標(biāo)物體未來運(yùn)動(dòng)軌跡的運(yùn)動(dòng)模式預(yù)測(cè)模型；

32、采集目標(biāo)物體的當(dāng)前運(yùn)動(dòng)數(shù)據(jù)中的三維坐標(biāo)（）、速度矢量（）、加速度（）組合成九維特征向量；將九維特征向量輸入運(yùn)動(dòng)模式預(yù)測(cè)模型，得到目標(biāo)物體的未來運(yùn)動(dòng)軌跡。

33、本發(fā)明進(jìn)一步的方案，步驟s5，包括以下步驟：

34、根據(jù)運(yùn)動(dòng)模式預(yù)測(cè)模型預(yù)測(cè)目標(biāo)物體的未來運(yùn)動(dòng)軌跡，輸入目標(biāo)物體最近3秒運(yùn)動(dòng)數(shù)據(jù)至所述運(yùn)動(dòng)模式預(yù)測(cè)模型，得到目標(biāo)物體的未來0.5秒運(yùn)動(dòng)軌跡；結(jié)合目標(biāo)物體的未來0.5秒運(yùn)動(dòng)軌跡和實(shí)時(shí)環(huán)境數(shù)據(jù)生成三條候選路徑方案；

35、其中，三條候選路徑方案對(duì)應(yīng)慣性延續(xù)預(yù)測(cè)、鄰近特征匹配預(yù)測(cè)、場(chǎng)景地圖預(yù)判預(yù)測(cè)的三種策略；

36、將獲取毫米波雷達(dá)和視覺傳感器的實(shí)際檢測(cè)位置，將三條候選路徑方案的預(yù)測(cè)坐標(biāo)分別與實(shí)際檢測(cè)坐標(biāo)進(jìn)行逐點(diǎn)比對(duì)；

37、x/y平面偏差以圖像的像素為單位，計(jì)算候選路徑與實(shí)際檢測(cè)結(jié)果的x/y平面總偏差，滿足如下公式，

38、

39、其中，表示候選路徑與實(shí)際檢測(cè)結(jié)果的x/y平面總偏差，表示候選路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)在x軸方向的差值，表示候選路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)在y軸方向的差值；

40、x/y平面偏差以圖像的像素為單位，x/y平面總偏差的最大允許偏差閾值為5像素；z軸偏差以米為單位，z軸偏差的最大允許偏差閾值為0.3米；判斷候選路徑是否符合閾值條件，標(biāo)記未超出閾值條件的有效候選路徑，構(gòu)建有效的候選路徑方案集合。

41、本發(fā)明進(jìn)一步的方案，步驟s6，包括以下步驟：

42、結(jié)合有效的候選路徑方案集合，計(jì)算候選預(yù)測(cè)路徑方案的平均偏差系數(shù)，滿足如下公式，

43、

44、其中，表示平均偏差系數(shù)，表示有效候選路徑的數(shù)量，表示第條候選路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)在x軸方向的差值，表示第條路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)在y軸方向的差值，表示第條路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)在z軸的差值，表示第條路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)的總偏差，表示實(shí)際檢測(cè)值的方差；

45、結(jié)合候選預(yù)測(cè)路徑方案的平均偏差系數(shù)，計(jì)算候選預(yù)測(cè)路徑方案的可信度評(píng)分，滿足如下公式，

46、

47、其中，表示可信度評(píng)分，表示有效候選路徑的數(shù)量，表示總候選路徑的數(shù)量，表示平均偏差系數(shù)，表示系統(tǒng)預(yù)設(shè)的允許偏差閾值，通常由實(shí)驗(yàn)室多次推算得到的結(jié)果。

48、本發(fā)明進(jìn)一步的方案，步驟s7，包括以下步驟：

49、設(shè)定候選預(yù)測(cè)路徑方案的可信度評(píng)分閾值比較候選預(yù)測(cè)路徑方案的可信度評(píng)分與可信度評(píng)分閾值之間的大小；

50、若是可信度評(píng)分，判定預(yù)測(cè)軌跡為可靠；

51、若是可信度評(píng)分，判定預(yù)測(cè)軌跡不可靠，執(zhí)行修正請(qǐng)求，選用合適的補(bǔ)償方案，包括替換或升級(jí)新的傳感器、重新分配動(dòng)態(tài)權(quán)重、迭代預(yù)測(cè)；

52、其中，迭代預(yù)測(cè)，重新采集新的歷史訓(xùn)練集，訓(xùn)練并生成修正后的運(yùn)動(dòng)模式預(yù)測(cè)模型；

53、重新分配動(dòng)態(tài)權(quán)重，重新分配毫米波雷達(dá)、高速攝像頭、防抖慣性傳感器的動(dòng)態(tài)權(quán)重系數(shù)，生成修正后的預(yù)測(cè)軌跡；

54、替換或升級(jí)新的傳感器，檢測(cè)到傳感器數(shù)據(jù)異常，替換或升級(jí)新的傳感器，基于新組合重新生成修正后的預(yù)測(cè)軌跡；

55、重新修正后的預(yù)測(cè)路徑，重新進(jìn)行可信度評(píng)分，若是可信度評(píng)分，判定預(yù)測(cè)路徑為可靠；若是可信度評(píng)分，判定預(yù)測(cè)軌跡不可靠則執(zhí)行第二次修正請(qǐng)求；若是連續(xù)三次修正失敗，單次修正最多觸發(fā)3次迭代，執(zhí)行重新初始化流程的操作。

56、本發(fā)明進(jìn)一步的方案，步驟s8，包括以下步驟：

57、計(jì)算有效的候選路徑方案集合中的各個(gè)方案與實(shí)際位置的誤差，選擇誤差最小的方案為主要路徑，保留次優(yōu)的方案為備用路徑；計(jì)算每個(gè)有效的候選路徑方案與實(shí)際檢測(cè)位置的三軸坐標(biāo)偏差絕對(duì)值，

58、

59、其中，是三軸坐標(biāo)偏差絕對(duì)值，是候選路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)在x軸方向的差值，是路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)在y軸方向的差值，是路徑預(yù)測(cè)坐標(biāo)與實(shí)際檢測(cè)坐標(biāo)在z軸的差值；

60、預(yù)設(shè)定誤差數(shù)值的最大偏差閾值，比較誤差數(shù)值與最大偏差閾值之間的大小；

61、若是的時(shí)候，選擇誤差最小的方案為主要路徑，保留次優(yōu)的方案為備用路徑；當(dāng)目標(biāo)物體處于復(fù)雜運(yùn)動(dòng)狀態(tài)時(shí)，保留兩個(gè)備用路徑；

62、若是的時(shí)候，執(zhí)行重新初始化流程的操作。

63、第二方面，本發(fā)明提供了一種高精度移動(dòng)物體跟蹤ai攝像頭的實(shí)施系統(tǒng)，采用如下的技術(shù)方案：

64、數(shù)據(jù)采集模塊，用于獲取目標(biāo)物體的三維坐標(biāo)、視覺圖像序列、運(yùn)動(dòng)狀態(tài)數(shù)據(jù)，進(jìn)行跨模態(tài)時(shí)空對(duì)齊校準(zhǔn)異；

65、動(dòng)態(tài)權(quán)重模型構(gòu)建模塊，用于構(gòu)建神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)權(quán)重模型，實(shí)時(shí)調(diào)整毫米波雷達(dá)、攝像頭和慣性傳感器的數(shù)據(jù)優(yōu)先級(jí)；

66、加權(quán)計(jì)算模塊，用于對(duì)校準(zhǔn)后的三軸坐標(biāo)執(zhí)行加權(quán)計(jì)算，結(jié)合速度矢量生成連續(xù)跟蹤路徑；

67、運(yùn)動(dòng)模式預(yù)測(cè)模型構(gòu)建模塊，用于得到預(yù)測(cè)目標(biāo)物體未來運(yùn)動(dòng)軌跡的運(yùn)動(dòng)模式預(yù)測(cè)模型；

68、候選路徑生成和篩選模塊，用于預(yù)判和生成三條候選路徑，篩選有效的候選路徑集合；

69、可信度評(píng)分計(jì)算模塊，用于計(jì)算候選路徑平均偏差系數(shù)，結(jié)合偏差閾值及有效路徑比例，輸出預(yù)測(cè)路徑的可信度評(píng)分；

70、流程修正模塊，若可信度評(píng)分未達(dá)閾值，通過迭代模型訓(xùn)練、權(quán)重重分配或傳感器替換進(jìn)行修正；

71、有效預(yù)測(cè)路徑選擇模塊，用于選擇三軸坐標(biāo)偏差最小的有效預(yù)測(cè)路徑作為主要方案，保留次優(yōu)預(yù)測(cè)路徑作備用方案。

72、綜上所述，本發(fā)明包括以下有益技術(shù)效果：

73、1.通過毫米波雷達(dá)、高速攝像頭、防抖慣性傳感器的跨模態(tài)數(shù)據(jù)時(shí)空對(duì)齊，結(jié)合光照、氣象、運(yùn)動(dòng)速度的自適應(yīng)權(quán)重分配模型，雨霧、低光照或高速場(chǎng)景下優(yōu)先選擇可靠性最高的傳感器數(shù)據(jù)；

74、2.基于lstm網(wǎng)絡(luò)構(gòu)建的運(yùn)動(dòng)模式預(yù)測(cè)模型，通過歷史九維特征向量學(xué)習(xí)目標(biāo)運(yùn)動(dòng)規(guī)律，并結(jié)合慣性延續(xù)、鄰近特征匹配和場(chǎng)景地圖語義預(yù)判生成多策略候選路徑，通過動(dòng)態(tài)偏差閾值篩選與可信度評(píng)分機(jī)制，系統(tǒng)能自動(dòng)優(yōu)選最貼合實(shí)際軌跡的預(yù)測(cè)路徑；

75、3.當(dāng)可信度評(píng)分未達(dá)標(biāo)時(shí)，系統(tǒng)觸發(fā)多重實(shí)時(shí)修正策略，包括傳感器動(dòng)態(tài)權(quán)重迭代調(diào)整、lstm模型增量訓(xùn)練優(yōu)化，以及傳感器故障時(shí)的快速替換；利用三次迭代容錯(cuò)和初始化機(jī)制，有效避免累積誤差，確保在高速突變或傳感器異常等極端工況下仍能維持連續(xù)跟蹤。