本發(fā)明涉及檢測(cè)，尤其是涉及一種基于數(shù)據(jù)融合的目標(biāo)檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、目標(biāo)檢測(cè)作為計(jì)算機(jī)視覺(jué)領(lǐng)域的基石，旨在識(shí)別圖像或視頻中的特定目標(biāo)并確定目標(biāo)的位置，是計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)重要技術(shù)，目標(biāo)檢測(cè)賦予了機(jī)器識(shí)別和理解圖像內(nèi)容的能力，在安防監(jiān)控、自動(dòng)駕駛、智能零售等領(lǐng)域發(fā)揮著至關(guān)重要的作用。

2、但是，由于采集到的圖像或視頻可能受到各種因素的干擾，圖像質(zhì)量較低，并且在采集到的圖像中，待檢測(cè)的目標(biāo)也可能被其他物體遮擋，導(dǎo)致目標(biāo)檢測(cè)的準(zhǔn)確性較低。

3、由此可見(jiàn)，如何提高目標(biāo)檢測(cè)的準(zhǔn)確性，已經(jīng)成為本領(lǐng)域技術(shù)人員所要亟待解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于數(shù)據(jù)融合的目標(biāo)檢測(cè)方法及系統(tǒng)，以解決目標(biāo)檢測(cè)的準(zhǔn)確性較低的技術(shù)問(wèn)題，以實(shí)現(xiàn)提高目標(biāo)檢測(cè)的準(zhǔn)確性的效果。

2、為了解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供了一種基于數(shù)據(jù)融合的目標(biāo)檢測(cè)方法，包括：

3、采用所有智能體對(duì)歷史點(diǎn)云數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)，基于得到的所有目標(biāo)檢測(cè)結(jié)果之間的相似性特征構(gòu)建圖匹配矩陣；

4、基于所述圖匹配矩陣獲取各個(gè)初始頂點(diǎn)特征；采用第一圖卷積網(wǎng)絡(luò)對(duì)所述圖匹配矩陣的邊權(quán)重矩陣、所述圖匹配矩陣的度矩陣和所述初始頂點(diǎn)特征進(jìn)行處理，得到更新頂點(diǎn)特征；

5、采用第二圖卷積網(wǎng)絡(luò)對(duì)每個(gè)所述更新頂點(diǎn)特征和其余所述更新頂點(diǎn)特征進(jìn)行匹配分析，得到非負(fù)分?jǐn)?shù)矩陣；對(duì)所述非負(fù)分?jǐn)?shù)矩陣進(jìn)行規(guī)范化處理，得到雙隨機(jī)矩陣；基于所述雙隨機(jī)矩陣和真實(shí)匹配矩陣之間的差異性特征構(gòu)建損失函數(shù)，以所述損失函數(shù)對(duì)圖卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

6、利用訓(xùn)練好的所述圖卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)目標(biāo)智能體的所有實(shí)時(shí)目標(biāo)檢測(cè)結(jié)果進(jìn)行處理，得到所述目標(biāo)智能體的各個(gè)關(guān)聯(lián)目標(biāo)檢測(cè)結(jié)果，對(duì)所有所述關(guān)聯(lián)目標(biāo)檢測(cè)結(jié)果進(jìn)行加權(quán)融合，得到融合目標(biāo)檢測(cè)結(jié)果。

7、作為其中一種優(yōu)選方案，所述基于得到的所有目標(biāo)檢測(cè)結(jié)果之間的相似性特征構(gòu)建圖匹配矩陣，包括：

8、將每個(gè)所述目標(biāo)檢測(cè)結(jié)果作為一個(gè)節(jié)點(diǎn)，將每個(gè)節(jié)點(diǎn)和其余節(jié)點(diǎn)相連，將任意兩個(gè)節(jié)點(diǎn)之間的連線作為一條邊；

9、基于每個(gè)所述目標(biāo)檢測(cè)結(jié)果的標(biāo)簽、檢測(cè)框形狀、檢測(cè)框中心點(diǎn)的位置構(gòu)建每個(gè)節(jié)點(diǎn)的第一特征向量，基于每條邊的長(zhǎng)度、角度和對(duì)應(yīng)的每個(gè)節(jié)點(diǎn)的標(biāo)簽構(gòu)建每條邊的第二特征向量；

10、根據(jù)兩個(gè)節(jié)點(diǎn)的所述第一特征向量之間的相似性特征計(jì)算對(duì)應(yīng)的節(jié)點(diǎn)之間的綜合節(jié)點(diǎn)相似度，根據(jù)兩條邊的所述第二特征向量之間的相似性特征計(jì)算對(duì)應(yīng)的邊之間的綜合邊線相似度；

11、將所述綜合節(jié)點(diǎn)相似度作為所述圖匹配矩陣的對(duì)角線位置上的元素，將所述綜合邊線相似度作為所述圖匹配矩陣的非對(duì)角線位置上的元素。

12、作為其中一種優(yōu)選方案，所述根據(jù)兩個(gè)節(jié)點(diǎn)的所述第一特征向量之間的相似性特征計(jì)算對(duì)應(yīng)的節(jié)點(diǎn)之間的綜合節(jié)點(diǎn)相似度，包括：

13、將兩個(gè)節(jié)點(diǎn)的所述檢測(cè)框形狀的相似程度作為第一節(jié)點(diǎn)相似度，對(duì)兩個(gè)節(jié)點(diǎn)的所述檢測(cè)框中心點(diǎn)的位置之間的歐氏距離進(jìn)行反比例處理，得到第二節(jié)點(diǎn)相似度，將兩個(gè)節(jié)點(diǎn)的所述標(biāo)簽的相似程度作為第三節(jié)點(diǎn)相似度，基于所述第一節(jié)點(diǎn)相似度、所述第二節(jié)點(diǎn)相似度和所述第三節(jié)點(diǎn)相似度之間的線性關(guān)系，計(jì)算得到兩個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)相似度；

14、所述根據(jù)兩條邊的所述第二特征向量之間的相似性特征計(jì)算對(duì)應(yīng)的邊之間的綜合邊線相似度，包括：

15、將兩條邊的起始節(jié)點(diǎn)的所述標(biāo)簽的相似程度作為第一邊線點(diǎn)相似度，將兩條邊的終止節(jié)點(diǎn)的所述標(biāo)簽的相似程度作為第二邊線點(diǎn)相似度，基于兩條邊的長(zhǎng)度的差異性特征獲取第三邊線相似度；基于兩條邊的角度的差異性特征獲取第四邊線相似度，根據(jù)所述第一邊線點(diǎn)相似度、所述第二邊線點(diǎn)相似度、所述第三邊線相似度和所述第四邊線相似度之間的線性關(guān)系，計(jì)算得到兩個(gè)節(jié)點(diǎn)的綜合邊線相似度。

16、作為其中一種優(yōu)選方案，所述基于所述圖匹配矩陣獲取各個(gè)初始頂點(diǎn)特征，包括：

17、將所述圖匹配矩陣的所有對(duì)角線位置上的元素作為各個(gè)初始頂點(diǎn)特征。

18、作為其中一種優(yōu)選方案，所述第一圖卷積網(wǎng)絡(luò)包括兩個(gè)全連接層，所述第一圖卷積網(wǎng)絡(luò)的激活函數(shù)為relu激活函數(shù)；

19、所述采用第一圖卷積網(wǎng)絡(luò)對(duì)所述圖匹配矩陣的邊權(quán)重矩陣、所述圖匹配矩陣的度矩陣和所述初始頂點(diǎn)特征進(jìn)行處理，得到更新頂點(diǎn)特征，包括：

20、m(k)＝d-1wf1(v(k-1))+f1(v(k-1))

21、其中，m(k)為第k個(gè)更新頂點(diǎn)特征，d-1為圖匹配矩陣的度矩陣的逆矩陣，w為圖匹配矩陣的邊權(quán)重矩陣，f1為第一圖卷積網(wǎng)絡(luò)的全連接層，v(k-1)為第k-1個(gè)初始頂點(diǎn)特征。

22、作為其中一種優(yōu)選方案，所述第二圖卷積網(wǎng)絡(luò)包括一個(gè)全連接層，所述第二圖卷積網(wǎng)絡(luò)的激活函數(shù)為指數(shù)激活函數(shù)。

23、作為其中一種優(yōu)選方案，所述雙隨機(jī)矩陣的每一行元素之和為1，所述雙隨機(jī)矩陣的每一列元素之和為1。

24、作為其中一種優(yōu)選方案，所述基于所述雙隨機(jī)矩陣和真實(shí)匹配矩陣之間的差異性特征構(gòu)建損失函數(shù)，包括：

25、

26、其中，l為損失函數(shù)，np為更新頂點(diǎn)特征的個(gè)數(shù)，log為對(duì)數(shù)函數(shù)，pi,j為雙隨機(jī)矩陣中第i行第j列的元素值，xi,j為真實(shí)匹配矩陣中第i行第j列的元素值。

27、作為其中一種優(yōu)選方案，所述對(duì)所有所述關(guān)聯(lián)目標(biāo)檢測(cè)結(jié)果進(jìn)行加權(quán)融合，得到融合目標(biāo)檢測(cè)結(jié)果，包括：

28、將目標(biāo)智能體的每個(gè)檢測(cè)框的分類(lèi)置信度作為對(duì)應(yīng)的權(quán)重，將目標(biāo)智能體的每個(gè)檢測(cè)框的所述關(guān)聯(lián)目標(biāo)檢測(cè)結(jié)果進(jìn)行加權(quán)求和，作為融合目標(biāo)檢測(cè)結(jié)果。

29、本發(fā)明另一實(shí)施例提供了一種基于數(shù)據(jù)融合的目標(biāo)檢測(cè)系統(tǒng)，包括：

30、處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中且被配置為由所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述任意一項(xiàng)所述的一種基于數(shù)據(jù)融合的目標(biāo)檢測(cè)方法。

31、相比于現(xiàn)有技術(shù)，本發(fā)明實(shí)施例的有益效果在于以下所述中的至少一點(diǎn)：

32、(1)采用所有智能體對(duì)歷史點(diǎn)云數(shù)據(jù)集進(jìn)行目標(biāo)檢測(cè)，基于得到的所有目標(biāo)檢測(cè)結(jié)果之間的相似性特征構(gòu)建圖匹配矩陣，圖匹配矩陣記錄了不同智能體的多個(gè)檢測(cè)結(jié)果之間的相似度，從而保留了檢測(cè)結(jié)果之間最原始的關(guān)聯(lián)性；

33、(2)基于圖匹配矩陣獲取各個(gè)初始頂點(diǎn)特征，由于初始特征僅記錄了原始的節(jié)點(diǎn)信息，當(dāng)檢測(cè)結(jié)果存在位置誤差時(shí)，節(jié)點(diǎn)相似度會(huì)下降，導(dǎo)致同一目標(biāo)的不同檢測(cè)結(jié)果之間的關(guān)聯(lián)性減弱，因此，為了降低誤差的負(fù)面影響，引入邊相似度信息對(duì)頂點(diǎn)特征進(jìn)行修正，采用第一圖卷積網(wǎng)絡(luò)對(duì)圖匹配矩陣的邊權(quán)重矩陣、圖匹配矩陣的度矩陣和初始頂點(diǎn)特征進(jìn)行處理，得到更新頂點(diǎn)特征，通過(guò)圖卷積網(wǎng)絡(luò)學(xué)習(xí)相鄰頂點(diǎn)的特征，以對(duì)自身特征進(jìn)行更新，提高了后續(xù)關(guān)聯(lián)融合分析的準(zhǔn)確性，增強(qiáng)了目標(biāo)檢測(cè)在復(fù)雜環(huán)境中的魯棒性，從而提高目標(biāo)檢測(cè)的準(zhǔn)確性；

34、(3)采用第二圖卷積網(wǎng)絡(luò)對(duì)每個(gè)更新頂點(diǎn)特征和其余更新頂點(diǎn)特征進(jìn)行匹配分析，得到非負(fù)分?jǐn)?shù)矩陣，通過(guò)將目標(biāo)關(guān)聯(lián)轉(zhuǎn)化為頂點(diǎn)分類(lèi)問(wèn)題，并使用圖卷積網(wǎng)絡(luò)進(jìn)行求解，對(duì)非負(fù)分?jǐn)?shù)矩陣進(jìn)行規(guī)范化處理，得到雙隨機(jī)矩陣，以滿足圖匹配問(wèn)題的一對(duì)一約束，雙隨機(jī)矩陣中的元素代表節(jié)點(diǎn)之間的匹配概率，基于雙隨機(jī)矩陣和真實(shí)匹配矩陣之間的差異性特征構(gòu)建損失函數(shù)，以損失函數(shù)對(duì)圖卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，通過(guò)反向傳播算法進(jìn)行梯度下降，優(yōu)化圖匹配的結(jié)果，通過(guò)最小化損失函數(shù)，模型學(xué)習(xí)如何生成更符合真實(shí)匹配標(biāo)簽的預(yù)測(cè)概率矩陣，進(jìn)而逐漸提升匹配性能，確保目標(biāo)檢測(cè)在復(fù)雜環(huán)境下的穩(wěn)健性；

35、(4)利用訓(xùn)練好的圖卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)目標(biāo)智能體的所有實(shí)時(shí)目標(biāo)檢測(cè)結(jié)果進(jìn)行處理，得到目標(biāo)智能體的各個(gè)關(guān)聯(lián)目標(biāo)檢測(cè)結(jié)果，對(duì)所有關(guān)聯(lián)目標(biāo)檢測(cè)結(jié)果進(jìn)行加權(quán)融合，得到融合目標(biāo)檢測(cè)結(jié)果，通過(guò)加權(quán)融合策略綜合多個(gè)檢測(cè)框的結(jié)果，進(jìn)一步提高了目標(biāo)檢測(cè)的準(zhǔn)確性。