本發(fā)明涉及多模態(tài)傳感器，具體而言，涉及一種基于車道線提取的激光雷達視覺聯(lián)合標定方法。

背景技術(shù)：

1、近年來，智能化已成為各行業(yè)的發(fā)展趨勢，單一傳感器采集的數(shù)據(jù)已不能準確描述環(huán)境數(shù)據(jù)信息。多模態(tài)傳感器融合技術(shù)的發(fā)展彌補了單一傳感器的缺點，其能夠?qū)崿F(xiàn)不同傳感器的數(shù)據(jù)互補，被廣泛應(yīng)用于遙感感知、機器人技術(shù)、自動駕駛、智慧城市、三維空間信息重建等領(lǐng)域。對于上述領(lǐng)域，激光雷達和相機的精確標定是構(gòu)建多傳感器感知系統(tǒng)的前提。

2、自動駕駛車輛、智慧交通系統(tǒng)需要多傳感器感知系統(tǒng)以實現(xiàn)環(huán)境感知、決策和控制。激光雷達和相機是自動駕駛系統(tǒng)中最常用的傳感器，它們各自提供的距離和視覺信息對環(huán)境建模至關(guān)重要。然而，現(xiàn)有的傳感器標定方法往往需要使用復雜的標定板或在受控環(huán)境中進行初始標定，這增加了標定的復雜性和成本，限制了大規(guī)模自主車輛以及智慧城市、智慧路口等難以二次標定場景的實際應(yīng)用。因此，亟需一種簡便、高效且精確的標定方法。

3、上述標定主要用于雷達相機外參標定，外參標定主要描述兩個傳感器間的位姿關(guān)系。在傳感器外參標定領(lǐng)域，有特征提取、坐標變換和優(yōu)化求解三個關(guān)鍵技術(shù)點，其中：

4、特征提取：從相機圖像和激光雷達點云中提取標定板上的特征點以及擬合二維平面，其中，對于棋盤格標定板，一般可使用opencv中的findchessboardcorners函數(shù)提取圖像角點，使用pcl擬合點云中的三維平面；而對于非棋盤格標定板，可以使用形態(tài)學處理和霍夫變換等方法提取特征點。

5、坐標變換：建立相機坐標系、激光雷達坐標系和世界坐標系之間的變換關(guān)系。舉一個簡例，假設(shè)相機坐標系到世界坐標系的變換矩陣為tiw，激光雷達坐標系到世界坐標系的變換矩陣tpw，則相機到激光雷達的變換矩陣為

6、優(yōu)化求解：利用標定板上的同名特征點，建立誤差函數(shù)，通過最小化誤差函數(shù)求解外參，其中，誤差函數(shù)可以表示為特征點在兩個坐標系中的重投影誤差。舉一個簡例，對于一對2d-3d點(px，px)，誤差函數(shù)可以表示為ex＝||px-pro?j(tpipx)||其中，pro?j(·)表示將三維點投影到二維圖像平面，通過最小化所有特征點的重投影誤差σxex,可以優(yōu)化求解出變換矩陣tpi。

7、目前，比較成熟的激光雷達與相機標定方法有基于標定板標定與基于運動標定。其中：

8、基于標定板標定是指手動在標定場景中布置標定板，提取標定板特征建立模型完成激光雷達和相機外參標定。常用的二維標定板有棋盤格標定板和非棋盤格標定板，它們的原理及技術(shù)方案相近。該標定方法結(jié)合了點、線、面等多種特征，綜合利用二維和三維信息進行外參標定。這種方法不僅能夠利用二維圖像中的特征點，還能結(jié)合三維點云中的平面特征。此方法用到的棋盤格標定板是一塊印有黑白相間的棋盤格的矩形板，相機通過提取棋盤格平面中的角點，與激光雷達點云提取標定板四條外側(cè)邊緣擬合出的三維平面進行匹配，能夠得到高精度的2d-3d點特征對。這種方法的優(yōu)點在于其計算方法成熟，特征點提取精度高，可以同時標定攝像頭內(nèi)參以及攝像頭和激光雷達的外參。例如，zhang?q?l.在其《extrinsic?calibration?of?a?camera?and?laser?range?finder(improves?cameracalibration)》一文中基于棋盤格，利用點在面上幾何約束完成了二維激光雷達和相機的外參標定(出自international?conference?on?intelligent?robots?and?systems(iros))。基于標定板的標定方法具有標定結(jié)果精度高，計算方法成熟穩(wěn)定，能夠較容易獲取激光雷達和相機的同名特征等優(yōu)點。由于標定板在自然環(huán)境中的放置通常是人為控制的，能夠確保標定過程的高可靠性。然而，其也存在以下不足：

9、1)對環(huán)境依賴性強：基于標定板的方法需要在靜態(tài)環(huán)境中進行，這就要求標定板能夠穩(wěn)定地放置在場景中。如果環(huán)境條件不穩(wěn)定或存在較大的動態(tài)變化，如傳感器間的位姿由于抖動等外因發(fā)生變化時，需要重新標定，增加了標定工作的復雜性。這也意味著在一些動態(tài)場景或傳感器頻繁移動的情況下，標定板標定方法的適用性受到了限制。

10、2)需人工干預：標定過程中通常需要人工擺放標定板的位置、裁剪特征點云、標記同名特征等，這增加了標定工作的復雜性和不穩(wěn)定性，且人工操作不僅耗時費力，還可能引入人為誤差，影響標定結(jié)果的準確性。

11、3)重復標定難：在實際應(yīng)用中，由于傳感器的使用環(huán)境和安裝方式可能會發(fā)生變化，需要頻繁地進行重新標定。例如，在自動駕駛車輛中，傳感器安裝位置的微小變化都會影響標定結(jié)果，這就要求在每次傳感器安裝或調(diào)整后都進行重新標定，而這種重復標定的需求不僅增加了工作量，還可能影響系統(tǒng)的實時性和效率。

12、4)標定板依賴性強：基于標定板的方法在很大程度上依賴于標定板的精度和特征點的提取質(zhì)量。如果標定板本身存在制作誤差或標定過程中特征點提取不準確，都會影響最終的標定結(jié)果。此外，標定板的尺寸和類型也限制了其應(yīng)用范圍，例如大尺寸標定板在小空間中難以使用，而小尺寸標定板在大范圍標定中效果不佳。

13、基于運動標定是將相機和激光雷達外參校準視為手眼標定問題，不要求相機和激光雷達有視野重疊。該方法的基本原理是通過傳感器的一串移動序列，反解標定參數(shù)，并將其建模為齊次變換方程的求解問題。這種標定方法多應(yīng)用于工業(yè)機器人領(lǐng)域，對相機和雷達的視野限制較小，因此在某些特定應(yīng)用場景下具有獨特的優(yōu)勢。基于運動標定的方法首先需要采集傳感器在不同位置和姿態(tài)下的一系列運動數(shù)據(jù)。首先在環(huán)境中布置易識別的特征點，通過在已知環(huán)境下的多次移動，獲取相機和激光雷達在不同位置的包含位置和姿態(tài)信息的觀測數(shù)據(jù)。獲取到運動序列后，將相機與激光雷達的外參標定問題建模為經(jīng)典的手眼標定問題。手眼標定問題的核心是求解兩個傳感器的相對變換關(guān)系，通常表示為齊次變換矩陣。在這個過程中，通常同時采用邊緣檢測等方式提取環(huán)境中的特征，并通過數(shù)據(jù)濾波和優(yōu)化算法減少傳感器噪聲影響。舉一個簡例，假設(shè)在不同位置的運動序列分別為ai和bi，其中ai是激光雷達的運動，bi是相機的運動，則其變換關(guān)系可以表示為：aix＝xbi其中，x是相機與激光雷達之間的變換矩陣。通過求解這一方程，可以得到外參標定參數(shù)。這種標定方法多用于工業(yè)機器人和自動化系統(tǒng)中，尤其適用于傳感器需要頻繁移動或安裝在機械臂上的場景。在大場景環(huán)境下，基于運動標定的方法可以快速估計傳感器的初始外參值，并在此基礎(chǔ)上進行精細調(diào)整，提高標定效率。然而基于運動標定的方法存在以下不足：

14、1)標定條件苛刻：基于運動標定的方法標定精度依賴于人為布置的環(huán)境特征信息，需要在環(huán)境中存在足夠的特征點才能保證標定結(jié)果的準確性。如果能夠識別的環(huán)境特征稀少或分布不均勻，標定結(jié)果可能不準確，甚至無法完成標定。

15、2)測量值易受干擾：該方法中，imu等傳感器噪聲對標定結(jié)果影響較大。在實際應(yīng)用中，傳感器數(shù)據(jù)往往存在噪聲和誤差，如果不加以處理，標定精度會顯著降低。雖然可以通過邊緣檢測和數(shù)據(jù)濾波等方法來減少噪聲影響，但這增加了計算復雜性，并且效果有限。

16、3)初始值依賴性強：基于運動標定的方法多用于估計初始值或大場景環(huán)境下傳感器外參調(diào)整，標定精度不高。如果初始值估計不準確，將直接影響標定結(jié)果的準確性和魯棒性。這種依賴初始值的特性，使得在復雜環(huán)境或高精度要求的應(yīng)用中難以獲得滿意的標定結(jié)果。

技術(shù)實現(xiàn)思路

1、雖然基于標定板的標定方法在靜態(tài)環(huán)境中具有較高的精度和穩(wěn)定性，但其對環(huán)境和手工操作的依賴性較高，難以適應(yīng)動態(tài)和復雜的應(yīng)用場景。此外，重復標定的需求和對標定板的依賴也增加了標定工作的復雜性和不穩(wěn)定性。而基于運動標定的方法雖然在一定程度上解決了無標定板標定的需求，但其存在對硬件條件要求苛刻、測量值易受干擾以及初始值依賴性強等缺點，限制了其廣泛應(yīng)用。因此，為了解決上述問題，本發(fā)明提供一種基于車道線提取的激光雷達視覺聯(lián)合標定方法，其相較基于標定板的標定方法更為自動化和魯棒，且本發(fā)明不依賴于額外imu等姿態(tài)傳感器，不需要人為布置環(huán)境檢測點，提供相較基于運動標定的方法更加高效、可靠的解決方案，具有明顯的技術(shù)優(yōu)勢和應(yīng)用前景。

2、為達到上述目的，本發(fā)明提供了一種基于車道線提取的激光雷達視覺聯(lián)合標定方法，具體包括：

3、步驟s1：激光雷達點云提取與處理：首先從激光雷達傳感器獲取環(huán)境點云數(shù)據(jù)，對獲取到的數(shù)據(jù)通過ransac算法進行平面擬合，然后進行車道線點云提取，最后對提取到的車道線點云進行聚類，形成線特征點云；

4、步驟s2：圖像處理：首先從攝像頭獲取環(huán)境圖像數(shù)據(jù)，對環(huán)境圖像數(shù)據(jù)進行圖像語義分割，使用deeplab-v3網(wǎng)絡(luò)提取環(huán)境圖像數(shù)據(jù)中車道線的像素區(qū)域，最后進行特征掩膜二值化處理；

5、步驟s3：分別在環(huán)境點云數(shù)據(jù)和環(huán)境圖像數(shù)據(jù)中找到線特征，利用環(huán)境圖像數(shù)據(jù)中的線特征和環(huán)境點云數(shù)據(jù)中的線特征進行一致性匹配，求解三線透視問題，通過建立其中三個線特征的對應(yīng)關(guān)系，獲得初步的外參估計；

6、步驟s4：使用優(yōu)化算法對初步匹配結(jié)果進行細化校準，通過多次測量和數(shù)據(jù)融合，提高標定精度，輸出激光雷達和攝像頭的外參標定結(jié)果，包括旋轉(zhuǎn)矩陣和平移向量。

7、在本發(fā)明一實施例中，其中，步驟s1具體為：

8、步驟s101：使用ransac算法對獲取到的環(huán)境點云數(shù)據(jù)進行平面擬合，分離出地平面點云pground和非地平面點云pobject，并設(shè)置地平面的厚度；

9、步驟s102：基于激光雷達所反饋的點云的強度值，從地平面點云pground中提取車道線點云plane，并通過設(shè)置強度閾值，保留強度值大于強度閾值的點來提取車道線部分；

10、步驟s103：使用ransac線擬合算法在剩余的點中擬合直線，去除其中的異常值，并將虛線段合并為一條連續(xù)線段；

11、步驟s104：對提取到的車道線點云plane進行聚類，形成線特征點云，再二次剔除異常雜點。

12、在本發(fā)明一實施例中，其中，步驟s101中地平面的厚度設(shè)置為0.2m。

13、在本發(fā)明一實施例中，其中，步驟s2中的二值化處理具體為：

14、根據(jù)語義分割結(jié)果生成二進制掩碼mline，其中將車道線部分置為1，其他部分置為0，則二進制掩碼中值為1的部分就表示車道線的像素區(qū)域。

15、在本發(fā)明一實施例中，其中，步驟s3具體包括：

16、步驟s301：在環(huán)境圖像數(shù)據(jù)中，通過canny邊緣檢測和霍夫變換來提取車道線的線特征其是根據(jù)通過語義分割結(jié)果生成的二進制掩碼mline，通過canny邊緣檢測后，對檢測到的像素級邊緣進行霍夫變換得到的；

17、在環(huán)境點云數(shù)據(jù)中，使用ransac算法進行直線擬合提取線特征

18、步驟s302：將環(huán)境點云數(shù)據(jù)中提取的線特征變換到世界坐標系w：

19、

20、其中，i代表環(huán)境圖像數(shù)據(jù)中的圖像坐標系，p代表環(huán)境點云數(shù)據(jù)中的點云坐標系，pi為圖像坐標系下的點云，pp為點云坐標系下的點云，為世界坐標系到圖像坐標系的轉(zhuǎn)換矩陣，為點云坐標系到世界坐標系的轉(zhuǎn)換矩陣，為世界坐標系到圖像坐標系的平移向量；

21、步驟s303：獲得初步外參估計的參數(shù)為：

22、

23、其中，r為外參的旋轉(zhuǎn)矩陣，t為外參的平移向量。

24、在本發(fā)明一實施例中，其中，步驟s4具體為：

25、步驟s401：通過下式將環(huán)境點云數(shù)據(jù)中的車道線特征投影到圖像平面：

26、

27、其中，k為相機內(nèi)參矩陣，為環(huán)境點云數(shù)據(jù)中的第i條車道線特征點，為投影到圖像平面的第i條車道線特征點；

28、步驟s402：根據(jù)投影到圖像平面的各車道線特征點計算環(huán)境點云數(shù)據(jù)中的各車道線向量的投影，同時獲取環(huán)境圖像數(shù)據(jù)中的各車道線向量，計算環(huán)境點云數(shù)據(jù)中的各車道線向量的投影與環(huán)境圖像數(shù)據(jù)中的各車道線向量的余弦cos(θi)：

29、

30、其中，為環(huán)境圖像數(shù)據(jù)中的第i條車道線向量，為對應(yīng)的環(huán)境點云數(shù)據(jù)中的車道線向量在圖像平面的投影；

31、步驟s403：計算向量余弦的代價函數(shù)j(r，t)：

32、

33、步驟s405：通過最小化代價函數(shù)求解外參，計算誤差對外參參數(shù)的偏導數(shù)，構(gòu)建雅可比矩陣j，并迭代更新旋轉(zhuǎn)矩陣r和平移向量t：

34、δθ＝-(jtj)-1jte

35、r←r·exp(δθ)

36、t←t+δt

37、其中，e為誤差向量且e＝1-cos(θi)，δθ為旋轉(zhuǎn)向量的小變化量，exp(δθ)為將小變化量映射到旋轉(zhuǎn)矩陣的指數(shù)映射，δt為平移向量的小變化量；

38、步驟s406：判斷誤差是否收斂，或者是否達到預設(shè)的最大迭代次數(shù)，

39、如果誤差收斂或者已達到最大迭代次數(shù)，則停止迭代；

40、否則返回步驟s405繼續(xù)迭代；

41、步驟s407：輸出優(yōu)化后的外參參數(shù)，包括旋轉(zhuǎn)矩陣r和平移向量t。

42、本發(fā)明提供的基于車道線提取的激光雷達視覺聯(lián)合標定方法，通過降低標定條件依賴性，能夠?qū)崿F(xiàn)全自動標定、無需人工干預、抗干擾能力強和低初始值依賴等多方面的有益效果，解決了現(xiàn)有技術(shù)中的主要問題，提升了激光雷達與相機外參標定的效率和精度，顯著降低了激光雷達與相機傳感器標定的實現(xiàn)難度，具有重要的技術(shù)價值和應(yīng)用前景。具體包括：

43、1)降低標定條件依賴性：通過利用道路交通場景中常見的道路標線特征，本發(fā)明有效減少了對專用標定板等基礎(chǔ)設(shè)施的依賴，不僅簡化了標定過程，還顯著降低了標定的成本和復雜性，使得在實際應(yīng)用中無需準備高精度標定板；同時，可以在更廣泛的場景中實現(xiàn)傳感器的高精度標定，增強了系統(tǒng)的泛化能力。

44、2)無需人工干預：本發(fā)明通過自動檢測和匹配環(huán)境中的自然特征，實現(xiàn)了激光雷達與相機的自動外參標定，減少了人工干預，不僅提高了標定效率，還避免了人為因素帶來的誤差，從而提升了標定結(jié)果的穩(wěn)定性和可靠性，對于需要頻繁標定的應(yīng)用場景，如無人駕駛汽車和移動機器人等，具有特別重要的意義。

45、3)全自動標定：通過引入改進的優(yōu)化算法和多特征融合技術(shù)，實現(xiàn)了全自動標定過程，能夠自主識別并提取環(huán)境中的自然特征，進行特征匹配和優(yōu)化計算，最終得到高精度的外參參數(shù)，可以消除手動操作的需要，進一步提高了標定的效率和精度，適用于動態(tài)環(huán)境和大規(guī)模部署場景。

46、4)抗干擾能力強：本發(fā)明采用了魯棒的特征提取和匹配算法，能夠有效過濾環(huán)境噪聲和干擾，確保標定結(jié)果的準確性和穩(wěn)定性；通過多次測量和數(shù)據(jù)融合技術(shù)，進一步提高了標定的抗干擾能力，確保在復雜環(huán)境下仍能獲得高精度的外參標定結(jié)果，對于傳感器數(shù)據(jù)容易受干擾的應(yīng)用場景，如室外環(huán)境中的自動駕駛，具有重要的應(yīng)用價值。

47、5)低初始值依賴：本發(fā)明通過改進的優(yōu)化算法，能夠在沒有精確初始值的情況下自動估計和優(yōu)化傳感器的外參參數(shù)，降低了對初始值的依賴性，即使在初始值不準確的情況下，也能夠通過自主優(yōu)化過程得到精確的標定結(jié)果，從而提高了標定過程的魯棒性和可靠性，對實際應(yīng)用中的快速部署和調(diào)整提供了重要支持。