本發(fā)明屬于圖像處理領域，具體地說是一種面向夜間場景的實時深度估計方法及裝置，應用于自動駕駛的夜間低光照場景中包括障礙物、行人等目標的實時深度估計，輔助后續(xù)自動駕駛的智能決策。

背景技術：

1、實時感知是目前自動駕駛領域的一個重要方向，特別是夜間低光照條件下道路上各種目標的實時深度估計，它能有效保障自動駕駛的安全性。與此同時，夜間場景的實時深度估計，還能實時優(yōu)化夜間行進路線，完善自動駕駛系統(tǒng)在低光照下的智能決策。因此，面向夜間場景的深度估計對于整個自動駕駛系統(tǒng)的安全具有非常重要的意義。

2、面向夜間場景的深度估計，常見的方法主要包括：第一種是直接使用低光照下的rgb圖像作為輸入，采用自監(jiān)督單目深度估計的方法進行深度估計。該方法的缺點是夜間場景中rgb圖像缺少很多細節(jié)信息，還存在一些圖像模糊的情況，導致估計出的深度值精度較低；另一種方法是直接使用紅外相機采集到的圖像作為輸入，采用自監(jiān)督單目深度估計模型進行深度估計，盡管紅外相機能夠避免低光照導致的細節(jié)丟失，然而圖像本身質量較差，主要表現(xiàn)在對比度低、視覺效果模糊、信噪比低以及局部特征不明顯等。這些缺點使得該方法的深度估計精度不足；第三種方法是采用激光雷達等設備進行深度估計，這類方法的缺點首先是成本過高，其次得到的深度信息是稀疏的，即不是逐像素的，此外這類方法對于測量距離有嚴格的限制。此外還有基于雙目立體視覺的深度估計方法，該方法不僅因計算復雜度高導致實時性差，且同樣存在方法中的缺點，即受限于低光照導致的場景信息丟失。

技術實現(xiàn)思路

1、為解決現(xiàn)有技術中的上述不足，本發(fā)明提出一種面向夜間場景融合異源圖像的深度估計方法及裝置，用于解決現(xiàn)有面向夜間場景的深度估計方法中只采用基于rgb圖像的單目深度估計和只采用基于紅外圖像的單目深度估計得到的深度圖精度不足的問題，同時也解決了采用激光雷達等傳感器成本過高、深度信息不夠稠密的問題，并且克服了現(xiàn)有基于雙目立體視覺進行夜間場景深度估計時實時性較差、精度不足的缺點。

2、本發(fā)明采用的技術手段如下：

3、一種面向夜間場景融合異源圖像的深度估計裝置，設置如下各模塊，使得離線建立網絡模型并迭代訓練，獲取優(yōu)化后的裝置，使其用于對夜間場景的異源圖像進行深度估計，裝置包括：

4、異源圖像采集模塊，通過控制異源相機，實現(xiàn)同步采集異源的夜間場景圖像，建立訓練集數(shù)據(jù)；

5、融合異源圖像的深度估計模塊，包括rgb圖像特征提取單元、紅外圖像特征提取單元以及異源特征融合單元，用于提取并融合異源的圖像特征，進行深度估計；同時結合姿態(tài)估計模塊輸出的相對姿態(tài)估計tt→t'重建夜間目標場景，通過相應的光度損失來進行訓練，實現(xiàn)基于異源圖像的夜間場景深度估計；

6、姿態(tài)估計模塊，包括rgb相機姿態(tài)估計單元、紅外相機姿態(tài)估計單元以及姿態(tài)一致性約束單元，用于對異源相機進行相機姿態(tài)估計并通過一致性約束來加強收斂；最終結合對極幾何將相對姿態(tài)估計結果tt→t'與深度估計模塊的估計結果相結合，實現(xiàn)姿態(tài)網絡與深度估計網絡的同時訓練。

7、所述異源相機為采用rgb相機和紅外相機，用于采集夜間場景中的實時單目圖像；所述訓練集數(shù)據(jù)為當前幀、前后相鄰幀的異源圖像對。

8、所述異源圖像采集模塊還包括采集控制器，用于同步觸發(fā)異源相機同步采集；所述rgb相機和紅外相機處于同一水平線且距離較近，用于拍攝相同視角。

9、所述融合異源圖像的深度估計模塊估計出的深度是以rgb相機中的場景為準，得到rgb圖像中逐像素的深度值。

10、所述rgb圖像特征提取單元和紅外圖像特征提取單元均采用基于u-net結構的多尺度深度特征提取網絡，其內部編碼器均采用基于mobilenetv3的網絡結構；網絡輸入為相應的同步圖像，網絡輸出為相應的與深度相關的特征圖。

11、所述提取紅外圖像特征后還包括進行掩碼處理，用于對僅在紅外圖像中顯現(xiàn)的識別區(qū)域進行掩碼屏蔽，保留在異源圖像中同時顯現(xiàn)的識別區(qū)域作為掩碼模板區(qū)。

12、所述掩碼屏蔽將紅外圖像特征提取單元得到的特征圖上對應位置置0；掩碼模板區(qū)通過神經網絡訓練得到。

13、所述rgb相機姿態(tài)估計單元和紅外相機姿態(tài)估計單元均采用cnn網絡，分別估計相鄰rgb圖像幀之間的相機姿態(tài)和相鄰紅外圖像幀之間的相機姿態(tài)，并通過姿態(tài)一致性約束單元進行約束，使得兩個異源相機的相機姿態(tài)估計結果應保持一致。

14、所述結合對極幾何約束估計出的相機姿態(tài)與深度信息滿足對極幾何中的扭曲變換，其輸出的相對姿態(tài)估計tt→t'包括相機在三個方向的偏移量和三種角度變化。

15、所述重建夜間場景并最終輸出稠密深度圖包括：

16、結合局部可微的雙線性插值，得到由源圖像it'重建的目標重建圖像it'→t；

17、建立重建后的逐像素光度損失進行迭代訓練,優(yōu)化融合異源圖像的深度估計模塊和姿態(tài)估計模塊相應的網路模型參數(shù)。

18、一種面向夜間場景融合異源圖像的深度估計方法，用于在夜間駕駛場景中執(zhí)行以下步驟，實時進行夜間場景深度估計：

19、1)異源圖像采集模塊實時控制兩個異源相機進行同步圖像采集；

20、2)融合異源圖像的深度估計模塊中，rgb圖像特征提取單元和紅外圖像特征提取單元分別接收rgb實時圖像和紅外實時圖像，并進行相應的特征提取，異源特征融合單元將會將上述兩種特征進行融合，最終輸出估計的稠密深度圖。

21、本發(fā)明的有益效果是：

22、1.本發(fā)明建立了自動駕駛系統(tǒng)在夜間場景下的深度感知，可以一定程度上解決低光照下采用單一源圖像進行深度估計時精度不足的問題，同時克服了采用激光等傳感器存在的成本過高、估計稀疏等缺點，能夠完善自動駕駛系統(tǒng)在低光照下的智能決策，保障自動駕駛在夜間場景下的安全性，具有較強的實用性。

23、2.本發(fā)明所述的一種面向夜間場景融合異源圖像的深度估計方法及裝置，通過異源圖像采集模塊、融合異源圖像的深度估計模塊和姿態(tài)估計模塊，構建起了一套基于融合異源特征的深度估計方法及裝置，能夠實時估計出夜間場景的深度信息。同時，結合相應的場景深度信息，輔助后續(xù)自動駕駛系統(tǒng)的智能決策。

技術特征：

1.一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，設置如下各模塊，使得離線建立網絡模型并迭代訓練，獲取優(yōu)化后的裝置，使其用于對夜間場景的異源圖像進行深度估計，裝置包括：

2.根據(jù)權利要求1所述的一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，所述異源相機為采用rgb相機和紅外相機，用于采集夜間場景中的實時單目圖像；所述訓練集數(shù)據(jù)為當前幀、前后相鄰幀的異源圖像對。

3.根據(jù)權利要求1所述的一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，所述融合異源圖像的深度估計模塊估計出的深度是以rgb相機中的場景為準，得到rgb圖像中逐像素的深度值。

4.根據(jù)權利要求3所述的一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，所述rgb圖像特征提取單元和紅外圖像特征提取單元均采用基于u-net結構的多尺度深度特征提取網絡，其內部編碼器均采用基于mobilenetv3的網絡結構；網絡輸入為相應的同步圖像，網絡輸出為相應的與深度相關的特征圖。

5.根據(jù)權利要求1所述的一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，所述提取紅外圖像特征后還包括進行掩碼處理，用于對僅在紅外圖像中顯現(xiàn)的識別區(qū)域進行掩碼屏蔽，保留在異源圖像中同時顯現(xiàn)的識別區(qū)域作為掩碼模板區(qū)。

6.根據(jù)權利要求5所述的一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，所述掩碼屏蔽將紅外圖像特征提取單元得到的特征圖上對應位置置0；掩碼模板區(qū)通過神經網絡訓練得到。

7.根據(jù)權利要求1所述的一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，所述rgb相機姿態(tài)估計單元和紅外相機姿態(tài)估計單元均采用cnn網絡，分別估計相鄰rgb圖像幀之間的相機姿態(tài)和相鄰紅外圖像幀之間的相機姿態(tài)，并通過姿態(tài)一致性約束單元進行約束，使得兩個異源相機的相機姿態(tài)估計結果應保持一致。

8.根據(jù)權利要求1所述的一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，所述結合對極幾何約束估計出的相機姿態(tài)與深度信息滿足對極幾何中的扭曲變換，其輸出的相對姿態(tài)估計tt→t'包括相機在三個方向的偏移量和三種角度變化。

9.根據(jù)權利要求1所述的一種面向夜間場景融合異源圖像的深度估計裝置，其特征在于，所述重建夜間場景并最終輸出稠密深度圖包括：

10.一種面向夜間場景融合異源圖像的深度估計方法，其特征在于，用于在夜間駕駛場景中執(zhí)行以下步驟，實時進行夜間場景深度估計：

技術總結
本發(fā)明涉及一種面向夜間場景融合異源圖像的深度估計方法及裝置，包括異源圖像采集模塊、融合異源圖像的深度估計模塊和姿態(tài)估計模塊。異源圖像采集模塊進行異源圖像的實時同步采集。融合異源圖像的深度估計模塊中，RGB圖像特征提取單元和紅外圖像特征提取單元分別實現(xiàn)對RGB圖像和紅外圖像中深度相關特征的提?。划愒刺卣魅诤蠁卧ㄟ^融合上述兩種特征實現(xiàn)場景的實時深度估計。姿態(tài)估計模塊得到的相機姿態(tài)用于約束深度估計模塊中的深度估計結果，使其滿足對極幾何中的扭曲變換。本發(fā)明建立了面向夜間場景的實時深度估計，通過同步采集RGB圖像和紅外圖像，并融合相應的深度特征，實現(xiàn)夜間場景下對周圍環(huán)境的實時感知，具有較強的靈活性和實用性。

技術研發(fā)人員：史澤林,向偉,樊超,李晨曦,劉云鵬,王學娟
受保護的技術使用者：中國科學院沈陽自動化研究所
技術研發(fā)日：
技術公布日：2025/4/28