本發(fā)明屬于圖像處理，具體涉及一種自動(dòng)駕駛樣本庫(kù)中多模態(tài)雨天數(shù)字孿生場(chǎng)景融合構(gòu)建方法。

背景技術(shù)：

1、雨天視覺(jué)感知成為目前自動(dòng)駕駛技術(shù)面臨的挑戰(zhàn)之一，有效的樣本數(shù)據(jù)則是測(cè)試視覺(jué)感知性能的關(guān)鍵。雨天數(shù)據(jù)存在難以采集對(duì)照樣本，環(huán)境變量難以控制等問(wèn)題。雨天場(chǎng)景根據(jù)雨的類型可分為基于雨線的樣本庫(kù)、基于雨滴的樣本庫(kù)及雨滴雨線結(jié)合的樣本庫(kù)?，F(xiàn)有雨天樣本庫(kù)研究以雨線模型為主。yang?wenhan等以bsd數(shù)據(jù)集為基礎(chǔ)，提出rain100h及rain100l樣本庫(kù)，其中，rain100h中公開(kāi)了1800組包含3-5層雨線的訓(xùn)練集和100張測(cè)試集，rain100l公開(kāi)了200組單層雨線的訓(xùn)練集和100張測(cè)試集。zhang?he等利用photoshop工具隨機(jī)抽取部分bsd和ucid數(shù)據(jù)集，提出rain800樣本庫(kù)，其中包含700對(duì)含雨線訓(xùn)練集和100張測(cè)試集。fuxueyang等提出rain1400樣本庫(kù)，取自bsd和ucid數(shù)據(jù)集以及谷歌圖片的1000張圖像合成14種不同雨線方向和大小的圖像。quanruijie等提出rainds樣本庫(kù)，引入雨線數(shù)據(jù)獲取方法，采集250組真實(shí)雨滴和雨線圖像并合成1200組雨天圖像。wangtianyu等提出spa-data樣本庫(kù)，包含大量高分辨率雨天和清晰圖像對(duì)。lisiyuan等提出mpid樣本庫(kù)，根據(jù)多任務(wù)的需求，涵蓋雨滴、雨線、雨霧等多種類型雨天數(shù)據(jù)?，F(xiàn)有的雨天數(shù)據(jù)集合成方法操作較為復(fù)雜，且對(duì)于雨滴的控制研究較少，因此雨滴效果不佳。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種自動(dòng)駕駛樣本庫(kù)中多模態(tài)雨天數(shù)字孿生場(chǎng)景融合構(gòu)建方法，以解決現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明能有效模擬雨滴因重力下墜造成的雨線以及雨滴落到鏡頭前造成的局部凸透效果，實(shí)現(xiàn)由晴朗條件向雨天條件的場(chǎng)景重構(gòu)，構(gòu)建高質(zhì)量的測(cè)試樣本庫(kù)。

2、為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：

3、自動(dòng)駕駛樣本庫(kù)中多模態(tài)雨天數(shù)字孿生場(chǎng)景融合構(gòu)建方法，包括以下步驟：

4、步驟1：獲取未處理的晴朗天氣下原始圖片數(shù)據(jù)集中的圖像；

5、步驟2：獲取初始雨線模型和初始雨滴模型；

6、步驟3：根據(jù)圖像特點(diǎn)對(duì)步驟2中獲取的模型進(jìn)行改進(jìn)，得到隨機(jī)多源雨線模型和異構(gòu)映射的雨滴模型；

7、步驟4：根據(jù)步驟3中得到的隨機(jī)多源雨線模型和異構(gòu)映射的雨滴模型，對(duì)步驟1中獲取到的數(shù)據(jù)集中的圖像進(jìn)行處理，得到加雨后的圖像。

8、進(jìn)一步地，步驟2中建立初始雨線模型，如下：

9、

10、其中，ir_s表示多個(gè)雨線層融合后的圖像，sr_i表示第i個(gè)雨線層；j表示晴天場(chǎng)景下圖像；表示n個(gè)雨線層的累加效果；

11、步驟2中建立初始雨滴模型，如下：

12、

13、其中，ir_d為在雨滴模型作用下的雨天場(chǎng)景圖像；m為二值化掩膜圖像，表示雨滴影響區(qū)域，當(dāng)m＝1時(shí)表示要處理的圖像中某一像素位于雨滴影響區(qū)域內(nèi)，當(dāng)m＝0時(shí)表示不在雨滴影響區(qū)域內(nèi)；d為雨滴影響區(qū)域圖像；j為晴天場(chǎng)景下圖像。

14、進(jìn)一步地，步驟3中對(duì)步驟2中得到的雨線模型和雨滴模型進(jìn)行改進(jìn)，獲得隨機(jī)多源雨線模型和異構(gòu)映射的雨滴模型，包括以下步驟：

15、步驟3.1：隨機(jī)生成單個(gè)雨線層；

16、步驟3.2：結(jié)合深度信息，將多個(gè)雨線層融合；

17、步驟3.3：控制多層雨線的角度波動(dòng)，進(jìn)行多源雨線融合；

18、步驟3.4：為多源雨線融合后的圖像設(shè)計(jì)異構(gòu)映射單雨滴凸視算法；

19、步驟3.5：對(duì)單雨滴進(jìn)行防碰撞機(jī)制設(shè)計(jì)；

20、步驟3.6：對(duì)防碰撞設(shè)計(jì)之后的單雨滴進(jìn)行考慮鄰域影響的雨滴設(shè)計(jì)。

21、進(jìn)一步地，步驟3.1中隨機(jī)生成單個(gè)雨線層如下：

22、map＝random(m,n,δr)

23、其中，m,n為原始圖片數(shù)據(jù)集中的圖像長(zhǎng)、寬；δr為雨線感知密度；map為生成的雨線分布圖，random()為隨機(jī)分布映射；

24、在雨線分布圖的基礎(chǔ)之上，通過(guò)設(shè)計(jì)雨線濾波器，將基礎(chǔ)的雨線與分布圖融合：

25、s＝rainfilter(rr,map)

26、其中，s為雨線層；rainfilter為雨線濾波器，由多層濾波構(gòu)成；map為雨線分布圖；rr為濾波雨核，如下：

27、rr＝gaussfilt(rb(l,θ))

28、其中，rb為初始雨線形態(tài)；l為雨線大?。沪葹橛昃€方向；gaussfilt為高斯濾波器。

29、進(jìn)一步地，步驟3.2中結(jié)合深度信息，將多個(gè)雨線層融合：

30、雨線感知密度建模為：

31、δr＝ρd

32、其中，ρ為感知系數(shù)；d為場(chǎng)景深度，單層雨線表示為：

33、

34、其中，s為單層雨線圖，δ為雨線密度，θ為雨線角度，k為調(diào)整系數(shù)，map()為雨線分布圖，r()為雨線形態(tài)。

35、進(jìn)一步地，步驟3.3中控制多層雨線的角度波動(dòng)，進(jìn)行多源雨線融合，方法如下：

36、

37、其中，sr為多源融合后的雨線效果，為nδ個(gè)方向，nθ個(gè)感知密度的累加效果；因此，不同層次的雨線受場(chǎng)景深度影響，融合后的模型表示為：

38、

39、式中，e-kd(i)為第i層雨線場(chǎng)景深度對(duì)雨線衰減的影響；k為衰減系數(shù)；δri為第i層雨線感知密度；θj為第j種傾斜角度；sij(δri,θj)為δri和θj對(duì)應(yīng)的雨線層效果。

40、進(jìn)一步地，步驟3.4中設(shè)計(jì)異構(gòu)映射單雨滴凸視算法，選取任意位置取一個(gè)圓形作為雨滴區(qū)域，記為mi，表示第i個(gè)雨滴區(qū)域，構(gòu)建一種映射關(guān)系，即：

41、

42、其中，為映射后的雨滴區(qū)域圖像；t(·)為映射函數(shù)；di為原始雨滴區(qū)域圖像，t通過(guò)計(jì)算輸入圖像xy軸坐標(biāo)與輸出坐標(biāo)間的映射關(guān)系實(shí)現(xiàn)幾何變換，將輸入圖像的笛卡爾坐標(biāo)轉(zhuǎn)為極坐標(biāo)，即：

43、

44、其中，x，y分別為圖像的橫縱坐標(biāo)；r，θ分別為對(duì)應(yīng)極坐標(biāo)的極徑和角度；為映射轉(zhuǎn)換后的坐標(biāo)，對(duì)轉(zhuǎn)換后的區(qū)域進(jìn)行鏡像轉(zhuǎn)置后再進(jìn)行均值濾波。

45、進(jìn)一步地，步驟3.5對(duì)單雨滴進(jìn)行防碰撞機(jī)制設(shè)計(jì)，即：

46、mc＝mi&∑mi-1

47、其中，mc為碰撞檢測(cè)掩膜；mi為當(dāng)前第i個(gè)雨滴的掩膜圖像；∑mi-1為之前i-1個(gè)雨滴區(qū)域的累加；&為圖像的與運(yùn)算，當(dāng)mc中存在1，表示當(dāng)前雨滴與之前雨滴存在碰撞，放棄當(dāng)前效果；當(dāng)mc為全0掩膜時(shí)表示不存在碰撞。

48、進(jìn)一步地，步驟3.6中對(duì)防碰撞設(shè)計(jì)之后的單雨滴進(jìn)行考慮鄰域影響的雨滴設(shè)計(jì)，將防碰撞設(shè)計(jì)后的雨滴影響區(qū)域區(qū)域修改為：

49、

50、其中，di為原始雨滴區(qū)域圖像；mω_i為掩膜圖像mi的鄰域，由于di尺寸較大，對(duì)其進(jìn)行收縮，具體如下：

51、

52、其中，rω為收縮率；τi為補(bǔ)償系數(shù)，補(bǔ)償由圖外光線造成的影響，由不同圖像設(shè)置不同的經(jīng)驗(yàn)值，d'i為收縮后的雨滴映射圖像，結(jié)合步驟3.4-步驟3.5，異構(gòu)映射的雨滴模型描述為：

53、

54、其中，為nd個(gè)雨滴效果的累加。

55、進(jìn)一步地，步驟4中將步驟3中得到的隨機(jī)多源雨線模型和異構(gòu)映射的雨滴模型應(yīng)用于步驟1中獲取到的數(shù)據(jù)集中的圖像，得到加雨后的圖像，其描述如下：

56、

57、其中，ir為加雨后的圖像。

58、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益的技術(shù)效果：

59、通過(guò)本發(fā)明可以有效地實(shí)現(xiàn)對(duì)圖片添加不同濃度雨線和雨滴的效果，完成數(shù)字孿生中的映射過(guò)程。本發(fā)明的主要思想是根據(jù)雨線模型的構(gòu)建來(lái)獲得雨線效果。首先獲取單層雨線效果，通過(guò)結(jié)合圖像深度信息來(lái)進(jìn)行多源雨線融合得到改進(jìn)后的雨線模型。進(jìn)而設(shè)計(jì)一種雨滴模型來(lái)模擬真實(shí)天氣下的雨滴。本發(fā)明可實(shí)現(xiàn)對(duì)圖像加不同雨量的效果，加雨后的圖像隨著雨線密度和雨滴密度增大整體逐漸模糊，取得的加雨效果與實(shí)際無(wú)異。