本申請屬于點(diǎn)云數(shù)據(jù)處理，尤其涉及目標(biāo)檢測方法及裝置。

背景技術(shù)：

1、基于多種傳感器融合的目標(biāo)檢測方法可以提供更多的信息，從而提高目標(biāo)檢測的準(zhǔn)確性和可靠性，因此越來越多地被應(yīng)用在自動駕駛、移動機(jī)器人等領(lǐng)域中。例如：相機(jī)生成的圖像可以提供豐富的視覺信息如顏色、形狀、紋理等，但無法提供3d(3-dimension,三維)幾何信息，且容易受到光照影響；而激光雷達(dá)所生成的點(diǎn)云可以提供精準(zhǔn)的3d幾何信息，對環(huán)境光不敏感，但點(diǎn)云具有稀疏性的特點(diǎn)，且激光雷達(dá)成本昂貴。因此利用這兩種傳感器的互補(bǔ)特性進(jìn)行3d目標(biāo)檢測是目前較為流行且有效的多傳感器融合目標(biāo)檢測方案。

2、在利用激光雷達(dá)和相機(jī)融合進(jìn)行目標(biāo)檢測的過程中，激光雷達(dá)在距離較遠(yuǎn)的位置或者針對體積較小的待檢測目標(biāo)所生成的點(diǎn)云非常稀疏，由于稀疏點(diǎn)云對于待測目標(biāo)的特征的表現(xiàn)較差，從而使得激光雷達(dá)和相機(jī)融合檢測的精度較低，在較遠(yuǎn)檢的測范圍或者針對較小的待檢測目標(biāo)，激光雷達(dá)和相機(jī)融合目標(biāo)檢測的漏檢率和誤檢率較高，檢測效果較差。

3、因此，如何提升激光雷達(dá)和相機(jī)融合目標(biāo)檢測對于距離較遠(yuǎn)目標(biāo)或者體積較小目標(biāo)的檢出效果成為亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例提供了一種目標(biāo)檢測方法及裝置，可以解決現(xiàn)有技術(shù)中在較遠(yuǎn)檢的測范圍或者針對較小的待檢測目標(biāo)，激光雷達(dá)和相機(jī)融合目標(biāo)檢測效果較差的技術(shù)問題。

2、第一方面，本申請實(shí)施例提供了一種目標(biāo)檢測方法，包括：獲取激光雷達(dá)采集的原始點(diǎn)云和相機(jī)采集的圖像，原始點(diǎn)云和圖像時空同步；將原始點(diǎn)云中的點(diǎn)投影到圖像上，獲得多個投影點(diǎn)，多個投影點(diǎn)中的每個投影點(diǎn)與原始點(diǎn)云中的一個點(diǎn)對應(yīng)；確定圖像中的每個目標(biāo)所在的圖像區(qū)域，每個目標(biāo)的圖像區(qū)域為圖像的部分區(qū)域；根據(jù)每個目標(biāo)所在的圖像區(qū)域中的投影點(diǎn)的密度分布信息，在每個目標(biāo)所在的圖像區(qū)域中進(jìn)行像素點(diǎn)采樣，獲得與每個目標(biāo)對應(yīng)的采樣點(diǎn)；根據(jù)每個目標(biāo)對應(yīng)的采樣點(diǎn)和原始點(diǎn)云，確定融合點(diǎn)云；對融合點(diǎn)云和圖像進(jìn)行融合目標(biāo)檢測，獲得目標(biāo)檢測結(jié)果。

3、在上述方法中，通過每個目標(biāo)的圖像區(qū)域的采樣點(diǎn)和原始點(diǎn)云來獲得融合點(diǎn)云，進(jìn)而根據(jù)融合點(diǎn)云和圖像進(jìn)行融合目標(biāo)檢測，使得每個目標(biāo)的點(diǎn)云數(shù)量均會增加，進(jìn)而使得原始點(diǎn)云可以得到稠密化；利用稠密化的融合點(diǎn)云和圖像進(jìn)行融合目標(biāo)檢測可以提高目標(biāo)檢測的效果。并且由于根據(jù)每個目標(biāo)的圖像區(qū)域中的投影點(diǎn)的密度分布信息來對每個目標(biāo)的圖像區(qū)域進(jìn)行像素點(diǎn)采樣，來獲得與每個目標(biāo)對應(yīng)的采樣點(diǎn)，使得所獲取的采樣點(diǎn)與目標(biāo)具有更強(qiáng)的相關(guān)性，提高融合點(diǎn)云與現(xiàn)實(shí)情況中的目標(biāo)的一致性，從而提高最終檢測結(jié)果的準(zhǔn)確性。

4、在其中一個實(shí)施例中，根據(jù)每個目標(biāo)所在的圖像區(qū)域中的投影點(diǎn)的密度分布信息，在每個目標(biāo)所在的圖像區(qū)域中進(jìn)行像素點(diǎn)采樣，獲得與每個目標(biāo)對應(yīng)的采樣點(diǎn)，包括：將每個目標(biāo)所在的圖像區(qū)域，劃分為多個子區(qū)域，在多個子區(qū)域中：每個子區(qū)域為圖像區(qū)域的部分區(qū)域，任意兩個子區(qū)域不完全重合；根據(jù)每個目標(biāo)所在的圖像區(qū)域中的投影點(diǎn)，確定多個子區(qū)域中的每個子區(qū)域的投影點(diǎn)密度信息；將滿足第一預(yù)設(shè)條件的投影點(diǎn)密度信息所對應(yīng)的子區(qū)域，確定為目標(biāo)子區(qū)域；在目標(biāo)子區(qū)域內(nèi)進(jìn)行像素點(diǎn)采樣，獲得與每個目標(biāo)對應(yīng)的采樣點(diǎn)。

5、在其中一個實(shí)施例中，每個目標(biāo)所在的圖像區(qū)域是由每個目標(biāo)的二維檢測框擴(kuò)展之后得到的，每個目標(biāo)的多個子區(qū)域中，每個子區(qū)域的大小與每個目標(biāo)的二維檢測框的大小相同。

6、在其中一個實(shí)施例中，將每個目標(biāo)所在的圖像區(qū)域，劃分為多個子區(qū)域，包括：以每個目標(biāo)的二維檢測框作為滑動窗口，在每個目標(biāo)所在的圖像區(qū)域中進(jìn)行滑窗操作，獲得多個窗口區(qū)域，多個窗口區(qū)域中的每個窗口區(qū)域為多個子區(qū)域中的一個子區(qū)域。

7、在其中一個實(shí)施例中，確定圖像中的每個目標(biāo)所在的圖像區(qū)域，包括：對圖像進(jìn)行目標(biāo)檢測，獲得圖像中的每個目標(biāo)的二維檢測框；對每個目標(biāo)的二維檢測框進(jìn)行擴(kuò)展，獲得每個目標(biāo)所在的圖像區(qū)域。

8、在其中一個實(shí)施例中，對每個目標(biāo)的二維檢測框進(jìn)行擴(kuò)展，獲得每個目標(biāo)所在的圖像區(qū)域，包括：根據(jù)每個目標(biāo)的大小和時間同步誤差的大小，獲得與每個目標(biāo)對應(yīng)的擴(kuò)展參數(shù)，時間同步誤差表示相機(jī)與激光雷達(dá)時間不同步的程度；根據(jù)與每個目標(biāo)對應(yīng)的擴(kuò)展參數(shù)，對每個目標(biāo)的二維檢測框進(jìn)行擴(kuò)展，獲得每個目標(biāo)的圖像區(qū)域。

9、在其中一個實(shí)施例中，每個目標(biāo)對應(yīng)多個采樣點(diǎn)，根據(jù)每個目標(biāo)對應(yīng)的采樣點(diǎn)和原始點(diǎn)云，確定融合點(diǎn)云，包括：從多個投影點(diǎn)中，確定與第一采樣點(diǎn)對應(yīng)的目標(biāo)投影點(diǎn)，第一采樣點(diǎn)為每個目標(biāo)所對應(yīng)的多個采樣點(diǎn)中的任意一個采樣點(diǎn)，目標(biāo)投影點(diǎn)為多個投影點(diǎn)中的部分投影點(diǎn)；根據(jù)目標(biāo)投影點(diǎn)的深度值，確定第一采樣點(diǎn)的深度值；利用第一采樣點(diǎn)的深度值，將第一采樣點(diǎn)轉(zhuǎn)換到激光雷達(dá)的激光雷達(dá)坐標(biāo)系，獲得第一采樣點(diǎn)的表征點(diǎn)；將與每個目標(biāo)對應(yīng)多個表征點(diǎn)與原始點(diǎn)云進(jìn)行融合，獲得融合點(diǎn)云。在該實(shí)施例中，通過確定每個采樣轉(zhuǎn)換到激光雷達(dá)坐標(biāo)系下之后的表征點(diǎn)，表征點(diǎn)為激光雷達(dá)坐標(biāo)系下與采樣點(diǎn)對應(yīng)的點(diǎn)云點(diǎn)，將表征點(diǎn)與原始點(diǎn)云融合獲得融合點(diǎn)云，實(shí)現(xiàn)點(diǎn)云的稠密化，進(jìn)而提高后續(xù)目標(biāo)檢測的精度。

10、在其中一個實(shí)施例中，目標(biāo)投影點(diǎn)包括：多個投影點(diǎn)中，位于以第一采樣點(diǎn)為中心的預(yù)設(shè)范圍內(nèi)的投影點(diǎn)。

11、在其中一個實(shí)施例中，從多個投影點(diǎn)中，確定與第一采樣點(diǎn)對應(yīng)的目標(biāo)投影點(diǎn)，包括：若在以第一采樣點(diǎn)為中心的預(yù)設(shè)范圍內(nèi)不存在投影點(diǎn)，則將多個投影點(diǎn)中距離第一采樣點(diǎn)最近的一個投影點(diǎn)，確定為與第一采樣點(diǎn)對應(yīng)的目標(biāo)投影點(diǎn)。

12、在其中一個實(shí)施例中，根據(jù)目標(biāo)投影點(diǎn)的深度值，確定第一采樣點(diǎn)的深度值，包括：若第一采樣點(diǎn)對應(yīng)一個目標(biāo)投影點(diǎn)，則將一個目標(biāo)投影點(diǎn)的深度值，確定為第一采樣點(diǎn)的深度值；若第一采樣點(diǎn)對應(yīng)多個目標(biāo)投影點(diǎn)，則將多個目標(biāo)投影點(diǎn)的深度值的平均值確定為第一采樣點(diǎn)的深度值。

13、第二方面，本申請實(shí)施例提供了一種目標(biāo)檢測裝置，所述裝置包括用于執(zhí)行如以上第一方面中任一項所述的方法的各個步驟的單元。

14、第三方面，本申請實(shí)施例提供了一種計算機(jī)設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)以上第一方面中任一項所述的方法。

15、第四方面，本申請實(shí)施例提供了一種目標(biāo)檢測系統(tǒng)，所述系統(tǒng)包括：激光雷達(dá)、相機(jī)和上述第二方面中任一項所述的計算機(jī)設(shè)備。

16、第五方面，本申請實(shí)施例提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)以上第一方面中任一項所述的方法。

17、第六方面，本申請實(shí)施例提供了一種芯片，包括：處理器，用于從存儲器中調(diào)用并運(yùn)行計算機(jī)程序，使得安裝有所述芯片的計算機(jī)設(shè)備執(zhí)行如如以上第一方面中任一項所述的方法。

18、可以理解的是，上述第二方面至第六方面的有益效果可以參見上述第一方面中的相關(guān)描述，在此不再贅述。

技術(shù)特征：

1.一種目標(biāo)檢測方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)每個目標(biāo)所在的圖像區(qū)域中的投影點(diǎn)的密度分布信息，在每個目標(biāo)所在的圖像區(qū)域中進(jìn)行像素點(diǎn)采樣，獲得與每個目標(biāo)對應(yīng)的采樣點(diǎn)，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，每個目標(biāo)所在的圖像區(qū)域是由所述每個目標(biāo)的二維檢測框擴(kuò)展之后得到的，所述每個目標(biāo)的多個子區(qū)域中，每個子區(qū)域的大小與所述每個目標(biāo)的二維檢測框的大小相同。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將每個目標(biāo)所在的圖像區(qū)域，劃分為多個子區(qū)域，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述圖像中的每個目標(biāo)所在的圖像區(qū)域，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對每個目標(biāo)的二維檢測框進(jìn)行擴(kuò)展，獲得每個目標(biāo)所在的圖像區(qū)域，包括：

7.根據(jù)權(quán)利要求1至6任一項所述的方法，其特征在于，每個目標(biāo)對應(yīng)多個采樣點(diǎn)，所述根據(jù)每個目標(biāo)對應(yīng)的采樣點(diǎn)和所述原始點(diǎn)云，確定融合點(diǎn)云，包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述目標(biāo)投影點(diǎn)包括：所述多個投影點(diǎn)中，位于以所述第一采樣點(diǎn)為中心的預(yù)設(shè)范圍內(nèi)的投影點(diǎn)。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述從所述多個投影點(diǎn)中，確定與第一采樣點(diǎn)對應(yīng)的目標(biāo)投影點(diǎn)，包括：

10.根據(jù)權(quán)利要求7至9任一項所述的方法，其特征在于，所述根據(jù)所述目標(biāo)投影點(diǎn)的深度值，確定所述第一采樣點(diǎn)的深度值，包括：

11.一種目標(biāo)檢測裝置，其特征在于，所述裝置包括用于執(zhí)行如權(quán)利要求1至10中任一項所述的方法的各個步驟的單元。

12.一種計算機(jī)設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)權(quán)利要求1至10中任一項所述的方法。

13.一種目標(biāo)檢測系統(tǒng)，其特征在于，包括：激光雷達(dá)、相機(jī)和權(quán)利要求12中所述的計算機(jī)設(shè)備。

14.一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1至10中任一項所述的方法。

15.一種芯片，其特征在于，包括：處理器，用于從存儲器中調(diào)用并運(yùn)行計算機(jī)程序，使得安裝有所述芯片的計算機(jī)設(shè)備執(zhí)行如權(quán)利要求1至10中任一項所述的方法。

技術(shù)總結(jié)
本申請涉及一種目標(biāo)檢測方法及裝置，該方法包括：獲取激光雷達(dá)采集的原始點(diǎn)云和相機(jī)采集的圖像，原始點(diǎn)云和圖像時空同步；將原始點(diǎn)云中的點(diǎn)投影到圖像上，獲得多個投影點(diǎn)，多個投影點(diǎn)中的每個投影點(diǎn)與原始點(diǎn)云中的一個點(diǎn)對應(yīng)；確定圖像中的每個目標(biāo)所在的圖像區(qū)域，每個目標(biāo)的圖像區(qū)域為圖像的部分區(qū)域；根據(jù)每個目標(biāo)所在的圖像區(qū)域中的投影點(diǎn)的密度分布信息，在每個目標(biāo)所在的圖像區(qū)域中進(jìn)行像素點(diǎn)采樣，獲得與每個目標(biāo)對應(yīng)的采樣點(diǎn)；根據(jù)每個目標(biāo)對應(yīng)的采樣點(diǎn)和原始點(diǎn)云，確定融合點(diǎn)云；對融合點(diǎn)云和圖像進(jìn)行融合目標(biāo)檢測，獲得目標(biāo)檢測結(jié)果。本方法使得原始點(diǎn)云稠密化，利用稠密化的融合點(diǎn)云和圖像進(jìn)行融合目標(biāo)檢測可以提高目標(biāo)檢測的效果。

技術(shù)研發(fā)人員：李恬,楊炎龍,梁浩,李娟娟,鄧永強(qiáng)
受保護(hù)的技術(shù)使用者：北京萬集科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/28