本發明屬于圖像處理，具體涉及一種自動駕駛樣本庫中雪天數字孿生場景融合構建方法。

背景技術：

1、雪天場景不同于其它場景，雨霧天氣通過空氣中水霧顆粒折射或者反射引起場景信息的損失，而雪天場景則通過雪花直接阻擋光線的傳播，同時，會直接覆蓋在平面上，直接阻礙對目標的觀察。目前，雪天樣本庫的相關文獻較少。現有雪天樣本庫研究以雪線模型為主。liu?yunfu等提出snow-100k樣本庫，其中包括合成樣本數據和真實數據集。提供了100000張合成雪天場景樣本對及1329張真實雪天場景樣本。chen?weiting等提出srrs(snow?removal?in?realistic?scenario)樣本庫，其包含15000張合成數據和1000張來自網絡的真實數據。其中合成原始數據集取自reside數據集。chen?weiting等提出csd(comprehensive?snow?dataset)樣本庫，其中包含10000張合成圖像，同樣選取自reside數據集數據，通過photoshop等工具對雪線進行數據合成。chen?weiting等提出rvsd(realistic?video?desnowing?dataset)視頻樣本庫，其中包含110組雪天視頻數據，每組數據中包含雪、霧、晴朗場景數據，其通過渲染引擎和各種增強技術來生成具有多種逼真物理屬性的雪。zhang?kaihao等使用photoshop軟件建立了基于公共數據集kitti2012上的snowkitti2012數據集，包含訓練圖片1500張，測試圖片1000張，此外，還在cityscapes數據集基礎上提出snowcityscapes數據集，包含訓練和測試圖片各2000張。以上樣本庫對于雪量的控制較差，或生成圖片過程較為復雜，生成時間長。

技術實現思路

1、本發明的目的在于提供一種自動駕駛樣本庫中雪天數字孿生場景融合構建方法，以解決現有技術存在的問題，本發明針對自動駕駛視覺感知測試系統樣本庫中的雪天場景展開研究，提出一種積雪區域與雪線模型結合的基于景深估計的霧天場景構建算法，能有效模擬積雪效果與雪花下落效果，實現由晴朗條件向雪天條件的場景構建，構建高質量的測試樣本庫。

2、為達到上述目的，本發明采用如下技術方案：

3、自動駕駛樣本庫中雪天數字孿生場景融合構建方法，包括以下步驟：

4、步驟1：獲取未處理的晴朗天氣下原始圖片數據集中的圖像；

5、步驟2：獲取基于空間感知的積雪平面構建算法；

6、步驟3：獲取基于隨機雪線模型的雪天場景構建算法；

7、步驟4：將步驟3和步驟4中得到的算法融合，并應用于步驟1中獲得的圖像上，得到加雪后的結果圖is。

8、進一步地，步驟2中獲取基于空間感知的積雪平面構建算法，包括以下步驟：

9、步驟2.1：進行可積雪區域感知，得到需要進行積雪場景構建的區域；

10、步驟2.2：根據可積雪區域進行區域細化并構建積雪場景，得到積雪圖像。

11、進一步地，步驟2.1中進行可積雪區域感知，得到需要進行積雪場景構建的區域，具體如下：

12、提取圖像中數值波動較小的區域作為可積雪區域，首先，獲取圖像梯度信息：

13、

14、其中，分別為c通道圖像在x，y方向的梯度幅值；g為梯度值；

15、選取波動較小的區域，表示為：

16、maps＝|g|<gl

17、其中，maps為可積雪區域；gl為波動閾值；

18、消除天空區域的影響簡化求解過程，maps表示為：

19、maps＝(g<gl)∩(ib<(ir+ig)/2+ω)

20、其中，ib，ig，ir分別為圖像rgb通道；為色彩偏差參數。

21、進一步地，所述色彩偏差參數ω取值為0.1。

22、進一步地，步驟2.2中根據可積雪區域進行區域細化并構建積雪場景，得到積雪圖像，包括：

23、(1)計算maps連通域，并根據連通域按從大到小的順序排序，記該連通域內坐標為oc，像素點數為nc；

24、(2)計算各連通域內的區域利用率，vi＝nc/(max(oc)-min(oc))；

25、(3)取利用率大于vi的區域，作為細化后的圖像map's，即為細化后的可積雪區域；

26、獲得細化maps'圖像后，將積雪區域與原圖融合，獲得雪天積雪場景圖像，融合方法如下：

27、is_g＝j×maps′+(1-maps′)

28、其中，is_g為積雪圖像，maps'為細化后的積雪區域。

29、進一步地，所述利用率vi的取值為0.5。

30、進一步地，步驟3中獲取基于隨機雪線模型的雪天場景構建算法，包括以下步驟：

31、步驟3.1：設計單層隨機雪線生成算法；

32、步驟3.2：將多個單層隨機雪線融合，形成多層隨機雪線場景。

33、進一步地，步驟3.1中設計單層隨機雪線生成算法，具體如下：

34、首先通過雪線掩膜確定雪線分布位置，其次設計雪線濾波器如下：

35、ss_i＝snowfilter(rs,map)

36、其中，ss_i為雪線層；snowfilter為雪線濾波器；rs為濾波雪核，為基礎雪線形態；map為雪線分布圖。

37、進一步地，步驟3.2中將多個單層隨機雪線融合，形成多層隨機雪線場景：

38、

39、其中，ss為多源融合后的雪線效果，為多層雪線的累加效果，θr為隨機角度，δsi為第i層的雪線密度，nδ為層數。

40、進一步地，步驟4中將得到的算法應用于圖像上，具體為：

41、

42、其中，is為加雪后的圖像，j為原始圖像，j×map's+(1+map's)為步驟三中的空間感知的積雪平面構建算法，為步驟四中的隨機雪線模型的雪天場景構建算法。

43、與現有技術相比，本發明具有以下有益的技術效果：

44、通過本發明可以有效地實現對圖片添加不同濃度雪線的效果，完成數字孿生中的映射過程，構造相應場景。本發明的主要思想是根據可積雪區域的檢測與細化來進行積雪場景的構建。首先獲取圖像梯度信息，篩選出梯度波動較小的區域，并結合顏色信息消除天空區域的影響，并利用區域細化來獲得可積雪區域。進而使用多源多層融合的雪線層來模擬真實的雪天情況。二者結合得到加雪圖像。本發明可實現對圖像加不同雪量的效果，加雪后的圖像隨著雪線密度增大整體逐漸模糊，取得的加雪效果與實際無異。

技術特征：

1.自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，步驟2中獲取基于空間感知的積雪平面構建算法，包括以下步驟：

3.根據權利要求2所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，步驟2.1中進行可積雪區域感知，得到需要進行積雪場景構建的區域，具體如下：

4.根據權利要求3所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，所述色彩偏差參數取值為0.1。

5.根據權利要求3所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，步驟2.2中根據可積雪區域進行區域細化并構建積雪場景，得到積雪圖像，包括：

6.根據權利要求5所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，所述利用率vi的取值為0.5。

7.根據權利要求1所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，步驟3中獲取基于隨機雪線模型的雪天場景構建算法，包括以下步驟：

8.根據權利要求7所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，步驟3.1中設計單層隨機雪線生成算法，具體如下：

9.根據權利要求8所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，步驟3.2中將多個單層隨機雪線融合，形成多層隨機雪線場景：

10.根據權利要求9所述的自動駕駛樣本庫中雪天數字孿生場景融合構建方法，其特征在于，步驟4中將得到的算法應用于圖像上，具體為：

技術總結
本發明公開了一種自動駕駛樣本庫中雪天數字孿生場景融合構建方法，獲取未處理的晴朗天氣下原始圖片數據集中的圖像；獲取基于空間感知的積雪平面構建算法；獲取基于隨機雪線模型的雪天場景構建算法；將基于空間感知的積雪平面構建算法和基于隨機雪線模型的雪天場景構建算法融合，并應用于獲得的圖像上，得到加雪后的結果圖。本發明能有效模擬積雪效果與雪花下落效果，實現由晴朗條件向雪天條件的場景構建，構建高質量的測試樣本庫。

技術研發人員：惠曉濱
受保護的技術使用者：惠曉濱
技術研發日：
技術公布日：2025/4/28