本申請(qǐng)涉及自動(dòng)駕駛領(lǐng)域，并且更具體地涉及一種針對(duì)道路元素檢測(cè)結(jié)果的時(shí)序融合方法、實(shí)施該方法的智能設(shè)備、以及實(shí)施該方法的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在自動(dòng)駕駛領(lǐng)域，自動(dòng)駕駛功能的可靠性依賴于穩(wěn)定、準(zhǔn)確的環(huán)境感知信息，其中道路元素的感知質(zhì)量對(duì)下游預(yù)測(cè)和規(guī)劃任務(wù)具有決定性作用。

2、目前，傳統(tǒng)的道路元素感知方案通常將車載傳感器捕獲的單幀觀測(cè)數(shù)據(jù)作為輸入，并輸出與該幀觀測(cè)數(shù)據(jù)直接關(guān)聯(lián)的道路元素信息。然而，這種方法容易受到環(huán)境因素的影響，例如動(dòng)態(tài)遮擋、惡劣光照條件和極端天氣等，這些因素都可能干擾道路元素的檢測(cè)過(guò)程，從而降低檢測(cè)結(jié)果的完整性和準(zhǔn)確性。這些環(huán)境因素還可能使得道路元素的檢測(cè)結(jié)果出現(xiàn)跳變和抖動(dòng)，這不僅增加了數(shù)據(jù)的不連貫性，也提高了下游應(yīng)用處理的復(fù)雜度。

3、要說(shuō)明的是，在上述背景技術(shù)部分公開(kāi)的信息僅用于加強(qiáng)對(duì)本申請(qǐng)的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、為了解決或至少緩解以上問(wèn)題中的一個(gè)或多個(gè)，本申請(qǐng)的實(shí)施例提供了一種針對(duì)道路元素檢測(cè)結(jié)果的時(shí)序融合方法、實(shí)施該方法的智能設(shè)備、以及實(shí)施該方法的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其通過(guò)結(jié)合多幀信息和深度學(xué)習(xí)框架中的注意力機(jī)制，實(shí)現(xiàn)了對(duì)道路元素檢測(cè)結(jié)果的時(shí)序融合。

2、按照本申請(qǐng)的第一方面，提供一種針對(duì)道路元素檢測(cè)結(jié)果的時(shí)序融合方法，所述方法包括以下步驟：獲取連續(xù)多幀的道路元素檢測(cè)結(jié)果，其中所述連續(xù)多幀的道路元素檢測(cè)結(jié)果包括當(dāng)前幀和歷史幀，并且每一幀包括一個(gè)或多個(gè)道路元素及其屬性信息；利用注意力機(jī)制，建立同一道路元素在不同幀之間的對(duì)應(yīng)關(guān)系；以及根據(jù)所述對(duì)應(yīng)關(guān)系對(duì)所述當(dāng)前幀和所述歷史幀進(jìn)行時(shí)序融合，以獲取時(shí)序融合后的當(dāng)前幀的道路元素檢測(cè)結(jié)果。

3、作為以上方案的替代或補(bǔ)充，根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法還包括：對(duì)所述連續(xù)多幀的道路元素檢測(cè)結(jié)果進(jìn)行編碼，以生成包含時(shí)序信息的多維特征向量。

4、作為以上方案的替代或補(bǔ)充，在根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法中，利用注意力機(jī)制，建立同一道路元素在不同幀之間的對(duì)應(yīng)關(guān)系包括：針對(duì)所述當(dāng)前幀中的每個(gè)道路元素，利用所述注意力機(jī)制計(jì)算所述道路元素的特征向量與所述歷史幀中的候選道路元素的特征向量之間的相似度得分；根據(jù)計(jì)算出的相似度得分，確定所述道路元素與所述候選道路元素的匹配關(guān)系；以及將所述匹配關(guān)系轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。

5、作為以上方案的替代或補(bǔ)充，在根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法中，利用注意力機(jī)制，建立同一道路元素在不同幀之間的對(duì)應(yīng)關(guān)系還包括：將所述歷史幀中的每個(gè)道路元素均作為所述候選道路元素；或者根據(jù)所述道路元素的屬性信息，從所述歷史幀中選出與其存在潛在對(duì)應(yīng)關(guān)系的候選道路元素的集合，其中所述屬性信息包括道路元素的語(yǔ)義類型、位置、顏色、形狀、置信度。

6、作為以上方案的替代或補(bǔ)充，在根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法中，所述結(jié)構(gòu)化數(shù)據(jù)包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：所述當(dāng)前幀中的道路元素的標(biāo)識(shí)符；與所述道路元素匹配的候選道路元素在所述歷史幀中的位置或索引；相匹配的道路元素與候選道路元素的特征向量之間的相似度得分。

7、作為以上方案的替代或補(bǔ)充，在根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法中，根據(jù)所述對(duì)應(yīng)關(guān)系對(duì)所述當(dāng)前幀和所述歷史幀進(jìn)行時(shí)序融合包括：提取所述當(dāng)前幀中的道路元素的特征向量、和與其存在對(duì)應(yīng)關(guān)系的歷史幀中的道路元素的特征向量；以及利用交叉注意力機(jī)制，對(duì)提取的特征向量進(jìn)行時(shí)序融合，以實(shí)現(xiàn)針對(duì)所述當(dāng)前幀中的道路元素的特征增強(qiáng)。

8、作為以上方案的替代或補(bǔ)充，在根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法中，根據(jù)所述對(duì)應(yīng)關(guān)系對(duì)所述當(dāng)前幀和所述歷史幀進(jìn)行時(shí)序融合還包括：將時(shí)序融合后的特征向量輸入解碼器；所述解碼器將時(shí)序融合后的特征向量轉(zhuǎn)換為所述當(dāng)前幀中的道路元素的屬性信息。

9、作為以上方案的替代或補(bǔ)充，根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法還包括：基于時(shí)序融合后的當(dāng)前幀的道路元素檢測(cè)結(jié)果，確定不同的道路元素之間的場(chǎng)景關(guān)聯(lián)關(guān)系，其中所述場(chǎng)景關(guān)聯(lián)關(guān)系包括不同的道路元素之間的相對(duì)位置和/或功能性聯(lián)系。

10、作為以上方案的替代或補(bǔ)充，根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法還包括：從時(shí)序融合后的當(dāng)前幀中的道路元素的特征向量中提取與位置信息和功能性聯(lián)系相關(guān)的特征子集；以及將所述特征子集輸入全連接網(wǎng)絡(luò)或圖網(wǎng)絡(luò)，以預(yù)測(cè)不同的道路元素之間的場(chǎng)景關(guān)聯(lián)關(guān)系。

11、作為以上方案的替代或補(bǔ)充，根據(jù)本申請(qǐng)一實(shí)施例的時(shí)序融合方法還包括：輸出時(shí)序融合后的當(dāng)前幀的道路元素檢測(cè)結(jié)果、同一道路元素在不同幀之間的對(duì)應(yīng)關(guān)系、不同的道路元素之間的場(chǎng)景關(guān)聯(lián)關(guān)系中的一項(xiàng)或多項(xiàng)，以作為自動(dòng)駕駛控制邏輯和座艙顯示邏輯的數(shù)據(jù)輸入。

12、根據(jù)本申請(qǐng)的第二方面，提供一種智能設(shè)備，包含：存儲(chǔ)器；處理器；以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序的運(yùn)行使得根據(jù)本申請(qǐng)第一方面所述的時(shí)序融合方法中的任意一項(xiàng)被執(zhí)行。

13、根據(jù)本申請(qǐng)的第三方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括指令，所述指令在運(yùn)行時(shí)執(zhí)行根據(jù)本申請(qǐng)第一方面所述的時(shí)序融合方法中的任意一項(xiàng)。

14、根據(jù)本申請(qǐng)的一個(gè)或多個(gè)實(shí)施例的時(shí)序融合方案的核心在于利用連續(xù)多幀的道路元素檢測(cè)結(jié)果，結(jié)合注意力機(jī)制進(jìn)行時(shí)序融合，從而優(yōu)化當(dāng)前幀的檢測(cè)結(jié)果。具體而言，首先獲取連續(xù)多幀的檢測(cè)結(jié)果，這為優(yōu)化提供了豐富的上下文信息，彌補(bǔ)了單幀檢測(cè)易受干擾的缺陷；其次，注意力機(jī)制能夠有效地建立同一道路元素在不同幀之間的對(duì)應(yīng)關(guān)系，克服了動(dòng)態(tài)遮擋、光照變化等因素的影響，解決了傳統(tǒng)方法中檢測(cè)結(jié)果出現(xiàn)時(shí)序跳變和抖動(dòng)的問(wèn)題，實(shí)現(xiàn)了對(duì)目標(biāo)的連續(xù)追蹤；最后，通過(guò)時(shí)序融合，將歷史幀中可靠的信息與當(dāng)前幀的檢測(cè)結(jié)果進(jìn)行整合，從而削弱了噪聲和干擾的影響，提高了檢測(cè)結(jié)果的準(zhǔn)確性和完整性。整體而言，該方案利用深度學(xué)習(xí)技術(shù)，特別是注意力機(jī)制和時(shí)序融合，實(shí)現(xiàn)了對(duì)道路元素檢測(cè)的全面優(yōu)化，提高了檢測(cè)的準(zhǔn)確性和穩(wěn)定性，為自動(dòng)駕駛系統(tǒng)提供了更為可靠的環(huán)境感知能力。

技術(shù)特征：

1.一種針對(duì)道路元素檢測(cè)結(jié)果的時(shí)序融合方法，其特征在于，所述方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用注意力機(jī)制，建立同一道路元素在不同幀之間的對(duì)應(yīng)關(guān)系包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，利用注意力機(jī)制，建立同一道路元素在不同幀之間的對(duì)應(yīng)關(guān)系還包括：

5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述結(jié)構(gòu)化數(shù)據(jù)包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述對(duì)應(yīng)關(guān)系對(duì)所述當(dāng)前幀和所述歷史幀進(jìn)行時(shí)序融合包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，根據(jù)所述對(duì)應(yīng)關(guān)系對(duì)所述當(dāng)前幀和所述歷史幀進(jìn)行時(shí)序融合還包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

10.根據(jù)權(quán)利要求8或9所述的方法，其特征在于，所述方法還包括：

11.一種智能設(shè)備，其特征在于，包含：存儲(chǔ)器；處理器；以及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序的運(yùn)行使得根據(jù)權(quán)利要求1-10中任一項(xiàng)所述的方法被執(zhí)行。

12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括指令，所述指令在運(yùn)行時(shí)執(zhí)行根據(jù)權(quán)利要求1-10中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)涉及自動(dòng)駕駛領(lǐng)域，并且更具體地涉及一種針對(duì)道路元素檢測(cè)結(jié)果的時(shí)序融合方法、實(shí)施該方法的智能設(shè)備、以及實(shí)施該方法的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：獲取連續(xù)多幀的道路元素檢測(cè)結(jié)果，其中連續(xù)多幀的道路元素檢測(cè)結(jié)果包括當(dāng)前幀和歷史幀，并且每一幀包括一個(gè)或多個(gè)道路元素及其屬性信息；利用注意力機(jī)制，建立同一道路元素在不同幀之間的對(duì)應(yīng)關(guān)系；以及根據(jù)對(duì)應(yīng)關(guān)系對(duì)當(dāng)前幀和歷史幀進(jìn)行時(shí)序融合，以獲取時(shí)序融合后的當(dāng)前幀的道路元素檢測(cè)結(jié)果。

技術(shù)研發(fā)人員：楊云帆,王春,陳雅潔,田曉宇
受保護(hù)的技術(shù)使用者：安徽蔚來(lái)智駕科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28