本技術涉及計算機,尤其涉及一種任務處理方法、電子裝置、存儲介質及程序產品。
背景技術:
1、在自動駕駛等相關技術中,通常需要執行目標檢測等相關任務,而在目前的目標檢測任務中,常用的方式是分別利用激光雷達和視覺傳感器進行目標檢測,然后對得到的結果進行融合;雖然這種方式比較簡單直接,但激光雷達和視覺傳感器之間存在信息不一致或不完整等情況,會導致相關任務處理結果的精度和效果較差的問題。
技術實現思路
1、本技術實施例提供了一種任務處理方法、電子裝置、存儲介質及程序產品,能夠有效提升任務處理結果的精度和效果。
2、第一方面,本技術實施例提供了一種任務處理方法,方法包括:
3、獲取檢測場景的圖像特征信息和點云特征信息;
4、分別對圖像特征信息和點云特征信息進行鳥瞰圖特征轉換處理,得到圖像特征信息對應的第一鳥瞰圖特征信息和點云特征信息對應的第二鳥瞰圖特征信息;
5、對第一鳥瞰圖特征信息和第二鳥瞰圖特征信息進行融合處理,得到融合的鳥瞰圖特征信息;
6、根據融合的鳥瞰圖特征信息進行任務處理,得到檢測場景對應的任務處理結果。
7、在本實施例中,電子裝置在對當前檢測場景進行相關的任務處理時,可以先獲取檢測場景的圖像特征信息和點云特征信息,然后將圖像特征信息和點云特征信息均轉換為鳥瞰圖特征信息,即第一鳥瞰圖特征信息和第二鳥瞰圖特征信息,進而對第一鳥瞰圖特征信息和第二鳥瞰圖特征信息進行融合,從而利用融合的鳥瞰圖特征信息進行任務處理,能夠有效提升任務處理方法的魯棒性,提升任務處理結果的精度和效果。
8、進一步,在一些實施例中,獲取檢測場景的圖像特征信息和點云特征信息,包括:
9、獲取檢測場景的圖像數據和點云數據;其中,圖像數據表征基于相機對檢測場景進行不同視角的拍攝得到的圖像數據;點云數據表征基于雷達對檢測場景進行掃描得到的點云數據;
10、根據圖像編碼器對圖像數據進行特征提取處理,得到圖像特征信息;
11、根據點云編碼器對點云數據進行特征提取處理,得到點云特征信息。
12、在本實施例中,在獲取檢測場景的圖像特征信息和點云特征信息時,電子裝置可以先獲取利用相機對檢測場景進行不同視角的拍攝得到的圖像數據,以及利用雷達對檢測場景進行掃描得到的點云數據,進而利用圖像編碼器對圖像數據進行特征提取處理,得到圖像特征信息,利用點云編碼器對點云數據進行特征提取處理,得到點云特征信息,由此能夠獲取檢測場景在不同維度下的特征,以提升后續任務處理的準確性。
13、進一步,在一些實施例中,分別對圖像特征信息和點云特征信息進行鳥瞰圖特征轉換處理,得到圖像特征信息對應的第一鳥瞰圖特征信息和點云特征信息對應的第二鳥瞰圖特征信息,包括:
14、對圖像特征信息進行深度預測處理,得到圖像特征信息對應的深度信息;
15、基于深度信息和圖像特征信息確定第一鳥瞰圖特征信息;
16、對點云特征信息進行空間劃分處理,得到劃分后的點云特征數據;
17、基于劃分后的點云特征數據確定第二鳥瞰圖特征信息。
18、在本實施例中,電子裝置可以對圖像特征信息進行深度預測,得到深度信息,進而利用深度信息和圖像特征信息確定第一鳥瞰圖特征信息,能夠令第一鳥瞰圖特征信息包含與深度信息對應的維度的特征,以提升后續基于第一鳥瞰圖特征信息進行任務處理的準確性;與此同時,還可以通過對點云特征信息進行空間劃分,進而利用劃分后的點云特征數據確定第二鳥瞰圖特征信息,能夠降低計算量和計算復雜度。
19、進一步,在一些實施例中,深度信息包括圖像特征信息中每個像素對應的深度參數;基于深度信息和圖像特征信息確定第一鳥瞰圖特征信息,包括:
20、根據每個像素對應的深度參數分別對圖像特征信息中的每個像素特征進行調整,得到調整后的像素特征;
21、根據調整后的像素特征構建三維特征點云,并根據預設量化步長對三維特征點云進行特征點的離散處理,得到離散的特征點;
22、基于離散的特征點確定第一鳥瞰圖特征信息。
23、在本實施例中,電子裝置可以根據深度信息中每個像素對應的深度參數,對圖像特征信息中每個像素特征進行調整,得到調整后的像素特征,能夠得到更具深度信息的特征;進而可以根據調整后的像素特征構建三維特征點云,能夠更好地表達場景的空間結構;然后利用預設量化步長對三維特征點云進行特征點的離散處理,得到離散的特征點,由此能夠令三維特征點云映射在一個二維鳥瞰圖平面上,便于后續對特征點進行操作,以提升將點云特征轉換為第一鳥瞰圖特征信息的轉換效率。
24、進一步,在一些實施例中,基于離散的特征點確定第一鳥瞰圖特征信息,包括:
25、對離散的特征點進行池化處理,得到聚合的特征信息;
26、對離散的特征點的高度信息進行壓縮處理,得到第一高度特征信息;
27、根據第一高度特征信息和聚合的特征信息確定第一鳥瞰圖特征信息。
28、在本實施例中,電子裝置可以通過對離散的特征點進行池化處理,來對離散的特征點進行匯總與聚合,得到聚合的特征信息,并對高度信息進行壓縮處理,得到第一高度特征信息,由此能夠令最終得到的第一鳥瞰圖特征信息中還包括高度維度的特征,提升后續任務處理的精度。
29、進一步,在一些實施例中,基于劃分后的點云特征數據確定第二鳥瞰圖特征信息,包括:
30、對劃分后的點云特征數據進行平面投影處理,得到二維平面特征信息;
31、對劃分后的點云特征數據的高度信息進行壓縮處理,得到第二高度特征信息;
32、根據二維平面特征信息和第二高度特征信息確定第二鳥瞰圖特征信息。
33、在本實施例中,電子裝置可以對點云特征數據進行平面投影,得到表示水平方向信息的二維平面特征信息,并獲取高度維度下的高度信息,并將高度信息壓縮為第二高度特征信息,從而能夠根據水平方向的二維平面特征信息和高度維度的第二高度特征信息共同構成第二鳥瞰圖特征信息,提升后續任務處理的處理精度。
34、進一步,在一些實施例中,任務處理包括物體中心的檢測處理和語義分割處理;任務處理結果包括物體檢測結果和語義分割結果;根據融合的鳥瞰圖特征信息進行任務處理,得到檢測場景對應的任務處理結果,包括:
35、利用物體檢測任務模塊對融合的鳥瞰圖特征信息進行物體中心的檢測處理,得到物體檢測結果;其中,物體檢測結果表征對檢測場景中的物體進行檢測的結果;
36、利用語義分割任務模塊對融合的鳥瞰圖特征信息進行語義分割處理,得到語義分割結果;其中,語義分割結果表征對檢測場景中的不同語義的目標進行分割的結果。
37、在本實施例中,電子裝置在利用融合的鳥瞰圖特征信息進行任務處理時,可以通過不同的任務模塊執行不同的任務,包括利用物體檢測任務模塊對融合的鳥瞰圖特征信息進行物體中心的檢測處理,以完成物體檢測任務,得到關于檢測場景中存在的不同物體的物體檢測結果;同時,還可以利用語義分割任務模塊對融合的鳥瞰圖特征信息進行語義分割,得到對檢測場景中不同類別或不同語義的目標進行分割后的語義分割結果,不僅能夠提升任務處理的效果和精度,還能夠提升對不同任務的適用性。
38、第二方面,本技術實施例提供了一種電子裝置,電子裝置包括獲取單元、轉換單元、融合單元以及任務處理單元;
39、獲取單元,用于獲取檢測場景的圖像特征信息和點云特征信息;
40、轉換單元,用于分別對圖像特征信息和點云特征信息進行鳥瞰圖特征轉換處理,得到圖像特征信息對應的第一鳥瞰圖特征信息和點云特征信息對應的第二鳥瞰圖特征信息;
41、融合單元,用于對第一鳥瞰圖特征信息和第二鳥瞰圖特征信息進行融合處理,得到融合的鳥瞰圖特征信息;
42、任務處理單元,用于根據融合的鳥瞰圖特征信息進行任務處理,得到檢測場景對應的任務處理結果。
43、在本實施例中,電子裝置在對當前檢測場景進行相關的任務處理時,可以先獲取檢測場景的圖像特征信息和點云特征信息,然后將圖像特征信息和點云特征信息均轉換為鳥瞰圖特征信息,即第一鳥瞰圖特征信息和第二鳥瞰圖特征信息,進而對第一鳥瞰圖特征信息和第二鳥瞰圖特征信息進行融合,從而利用融合的鳥瞰圖特征信息進行任務處理,能夠有效提升任務處理方法的魯棒性,提升任務處理結果的精度和效果。
44、第三方面,本技術實施例提供了一種電子裝置,電子裝置包括處理器、存儲有處理器可執行指令的存儲器;當指令被處理器執行時,實現上述任務處理方法。
45、第四方面,本技術實施例提供了一種計算機可讀存儲介質,其上存儲有計算機程序,該計算機程序被處理器執行時,實現上述任務處理方法。
46、第五方面,本技術實施例提供了一種計算機程序產品,包括計算機程序或指令,計算機程序或指令被處理器執行時,實現上述任務處理方法中的步驟。