專利名稱：一種視頻場景的虛實光照融合方法
技術領域：
本發明涉及圖像處理和增強現實技術，具體地說是一種視頻場景的虛實光照融合方法。
背景技術：
虛擬現實是近年來不斷發展的研究領域，通過以計算機科學與技術為核心的高新科技，生成與真實環境在視、聽、觸感等方面高度近似的逼真虛擬環境，使用戶在虛擬環境獲得身臨其境的感受和體驗。傳統的虛擬現實技術主要強調虛擬場景建模和虛擬場景表現，較少將虛擬環境直接融入到客觀存在的真實世界，這在一定程度上影響了虛擬現實技術的發展和應用。增強現實是虛擬現實的進一步拓展，借助必要的硬件和軟件設備，使計算·機生成的虛擬景物與客觀存在的真實環境共存于同一個增強現實系統中，從感官和體驗效果上給用戶呈現出虛擬景物與真實環境融為一體的增強現實環境。增強現實是正在迅速發展的新研究方向，該方向的關鍵問題包括虛擬對象與真實場景的有效融合。因此，基于視頻的虛實融合場景，及其光照效果生成技術不僅成為虛擬現實和增強現實方向的技術發展趨勢，也是圖形學、計算機視覺、視頻處理、模擬仿真等相關領域方向國際發展前沿的研究熱點。在虛實融合場景中，影響虛實融合逼真效果的重要方面就是虛擬對象光照效果與真實場景光照信息的逼近程度。為了使計算機生成的虛擬對象具有真實感，達到與真實場景有效融合的效果，需要保持虛擬對象與真實場景間幾何和光照的一致性。其中光照一致性是指，根據真實環境中的光照分布和虛擬對象的表面材質，計算虛擬對象的表面光照效果，以及虛擬對象在真實場景中生成的虛擬陰影效果。為了使虛擬對象的光照效果能夠接近真實場景的光照效果，現有的基于視頻的虛實融合場景，及其光照效果生成技術主要通過人工在真實場景中設置一些光學標志物來采集真實場景的光照信息，利用光學標識物采集得到的光照信息，表示真實場景的光照條件，并且確定虛擬對象的光照參數，進而完成虛擬對象表面光照效果和虛擬陰影效果的計算。近年來，一些基于場景理解的虛實融合方法，力求從真實場景素材本身的幾何特征與光照特征推斷出真實場景的幾何信息與光照信息，并建立光照模型表示真實場景的光照條件，從而可以不借助任何光照信息采集設備，完成虛實融合場景及其光照效果的生成。但目前，基于場景理解的虛實融合方法還不能滿足虛實無縫融合視頻處理的要求。在視頻真實場景中，場景對象與真實光照條件隨時間發生變化，會影響基于單幀圖像的光照條件估計，而現有的虛實融合技術往往忽略了視頻幀的虛實融合光照效果差異性，從而導致虛實融合場景的光照效果抖動現象，大大降低了虛實融合光照效果的逼真性。近年來，一些視頻場景的虛實光照融合方法都力求從場景素材本身推斷出其中蘊含的光照信息，并建立光照模型，從而不借助任何光照信息采集設備，完成虛實光照融合。2006年，丹麥奧爾堡大學的Tommy Jensen等人，提出了一種無標識物的增強現實虛實光照融合方法，該方法基于戶外場景，利用真實物體的表面圖像獲取真實環境的光照信息，針對虛擬物體與真實光照條件的不一致現象，給出了虛擬物體表面光照效果的修正方法，能夠使虛擬物體的光照效果接近真實環境的光照條件，完成虛實光照融合。但該方法只能處理單個真實場景光源，如太陽，且需要已知場景的粗略三維模型和高動態范圍環境圖。2009年,卡耐基梅隆大學的Jean-Francois Lalonde等人,提出了一種基于視頻圖像剪貼庫的虛實光照融合方法。利用網絡攝像頭拍攝的延時視頻序列，構建了擁有大量圖像數據的“視頻圖像剪貼庫”，針對庫中的每幅圖像進行輻射度和幾何上的標定，并計算出視頻序列圖像中每一幀的高動態范圍環境圖。基于已知幾何信息及光照信息的“場景圖像剪貼庫”，給定一副已具有光照效果的二維圖像，可以在庫中搜索出與其光照條件最匹配的場景，進行場景與對象的融合；還可以用庫中的場景重光照三維圖形，即完成虛實融合的效果。2009年，浙江大學的劉艷麗等人還提出了一種針對靜態戶外場景的虛實光照融合方法，該方法的最大優勢在于無需預知場景的幾何、材質及紋理信息。對一個靜態戶外場景，用固定視角的相機經過長時間拍攝得到了涵蓋場景不同光照情況的圖像數據集。通過學習的方法從中得到分別依靠太陽光和天空光產生的陰影效果作為基圖像來反映場景的幾何屬性及材質屬性進行光照估計，并完成虛實光照融合，但是該方法只能處理靜態固定視角的視頻。 2011年,伊利諾伊大學厄巴納一香檳分校的Kevin Karsch等人提出了一種需要用戶交互的虛實光照融合方法。該方法通過用戶手工標注出場景中一些重要的幾何信息以及場景中光源的位置作為輸入，能夠恢復出場景基本的幾何模型，建立場景的光照模型，并能夠計算出場景中反射表面的材質以及相機參數，進而可以完成虛實光照融合的處理。該方法的虛實光照融合效果十分逼真，不但能夠完成虛擬物體在真實場景中的光影繪制，并且對于真實物體的陰影投射到虛擬物體上，以及虛擬物體的陰影投射到真實物體的情況也能夠完成很好的融合繪制效果。但該方法需要用戶參與程度較大，影響了該方法的自動化程度，并且針對的場景大部分為室內真實場景。綜上所述，目前的虛實光照融合技術大多需要預先獲取場景光照信息，或者需要使用特殊設備來獲取場景的高動態范圍圖像，并需要已知場景的部分幾何信息甚至是全部三維模型，對真實場景的光照參數及幾何屬性估算的正確與否直接影響到虛實融合的結果。進一步地，從視頻處理而言，現有的技術大多忽略了視頻幀與幀之間的關聯性，在逐幀進行光照估計時，單幀的估算信息難免存在差異，從而造成生成視頻場景中虛擬物體光影效果的不連續性，即視頻中相鄰幀在虛實光照及虛實陰影一致上存在著差異。

發明內容
根據上述實際需求和關鍵問題，本發明的目的在于本發明提出一種視頻場景的虛實光照融合方法，在保持視頻幀間關聯關系的前提下，完成對場景的光照估計以及虛實光照融合，能在場景中繪制虛擬三維物體并生成一定的虛實光照無縫融合效果。為實現本發明目的而提供的一種視頻場景的虛實光照融合方法，該方法包括以下步驟步驟S100，從視頻中按照相等的時間間隔抽取視頻關鍵幀，然后分別以視頻關鍵幀圖像中的天空、地面以及垂直表面作為線索，估計出每個線索計算推斷得到的太陽所在位置的概率分布圖，并聯合由視頻天空、地面及垂直表面得到的太陽位置概率推斷出視頻關鍵幀場景中太陽位置的概率分布圖，生成視頻場景關鍵幀的稀疏輻射度圖；步驟S200，通過光照參數濾波算法，利用視頻關鍵幀的光照估計結果，修正視頻非關鍵幀的光照估計結果，實現視頻場景的虛實光照融合。較優地，作為一種可實施例，所述步驟SlOO包括如下步驟步驟S110，首先將輸入視頻，按照預設的時間間隔分為多段等時間間隔的視頻區間,對每一個視頻區間從中抽取關鍵幀；步驟S120，利用圖像分割的方法，分割出關鍵幀中天空、地面以及垂直建筑物部分；步驟S130，將分割出關鍵幀圖像中的天空部分，建立概率模型，由天空的明暗程度推斷出太陽所在位置的概率分布圖；
將分割出關鍵幀圖像中的地面部分，并提取出地面部分的陰影輪廓線，建立概率模型，由地面陰影線的走向推斷出太陽所在位置的概率分布圖；將分割出關鍵幀圖像中的垂直建筑物部分，建立概率模型，由建筑物表面受太陽光照的明暗程度推斷出太陽所在位置的概率分布圖；步驟S140，聯合由視頻天空、地面及垂直表面得到的太陽位置概率推斷出視頻關鍵幀場景中太陽位置的概率分布圖，生成視頻場景關鍵幀的稀疏輻射度圖。較優地，作為一種可實施例，所述步驟S130包括如下步驟通過視頻圖像中的主體部分天空像素S、地面像素G和垂直表面像素V來推斷出太陽位置的概率分布；視頻場景的光照情況I可以通過兩個參數來表示/=== 桃I-，其中Θ s表示太陽的天頂角，AfJ1表示太陽相對于相機的方位角；I)對于天空區域，天空像素Si的明暗程度可以推斷出太陽在天空區域可能出現的位置；天空像素Si符合以下產生式模型其中g( ·)代表天空模型；Ν(μ，σ 2)代表均值為μ、方差為σ 2的正態分布；k為尺度因子；建立如下概率模型來計算推斷出太陽位置的概率分布Λ’)
η/Λ , ιΛ / (λ—
P 貧+,Δ爐，|Λ)χεχρ 工-^--
'^2σ；
K "’/2)對于地面區域，利用陰影檢測的方法，提取出地面區域中陰影部分的輪廓線；對地面區域檢測出的每一條陰影線Ii,根據相機參數估計出其相對的方向a i，建立地面區域陰影線的朝向與太陽方位角之間的關系Ρ(Δ(/>,
P (Δg I/,} X _χ (N (Of, O N (α( + ,,《))
聯合每一條陰影線對太陽方位的推斷，得到太陽位置的概率分布Ρ(Λ錢.I (.η
權利要求
1.一種視頻場景的虛實光照融合方法，其特征在于，包括如下步驟 步驟S100，從視頻中按照相等的時間間隔抽取視頻關鍵幀，然后分別以視頻關鍵幀圖像中的天空、地面以及垂直表面作為線索，估計出每個線索計算推斷得到的太陽所在位置的概率分布圖，并聯合由視頻天空、地面及垂直表面得到的太陽位置概率推斷出視頻關鍵幀場景中太陽位置的概率分布圖，生成視頻場景關鍵幀的稀疏輻射度圖； 步驟S200，通過光照參數濾波算法，利用視頻關鍵幀的光照估計結果，修正視頻非關鍵幀的光照估計結果，實現視頻場景的虛實光照融合。
2.根據權利要求I所述的視頻場景的虛實光照融合方法，其特征在于，所述步驟SlOO包括如下步驟 步驟S110，首先將輸入視頻，按照預設的時間間隔分為多段等時間間隔的視頻區間，對每一個視頻區間從中抽取關鍵巾貞； 步驟S120，利用圖像分割的方法，分割出關鍵幀中天空、地面以及垂直建筑物部分；步驟S130，將分割出關鍵幀圖像中的天空部分，建立概率模型，由天空的明暗程度推斷出太陽所在位置的概率分布圖； 將分割出關鍵幀圖像中的地面部分，并提取出地面部分的陰影輪廓線，建立概率模型，由地面陰影線的走向推斷出太陽所在位置的概率分布圖； 將分割出關鍵幀圖像中的垂直建筑物部分，建立概率模型，由建筑物表面受太陽光照的明暗程度推斷出太陽所在位置的概率分布圖； 步驟S140，聯合由視頻天空、地面及垂直表面得到的太陽位置概率推斷出視頻關鍵幀場景中太陽位置的概率分布圖，生成視頻場景關鍵幀的稀疏輻射度圖。
3.根據權利要求2所述的視頻場景的虛實光照融合方法，其特征在于，所述步驟S130包括如下步驟 通過視頻圖像中的主體部分天空像素S、地面像素G和垂直表面像素V來推斷出太陽位置的概率分布； 視頻場景的光照情況I可以通過兩個參數來表示 =ψ ,其中θ s表示太陽的天頂角，Δ代表示太陽相對于相機的方位角； 1)對于天空區域，天空像素Si的明暗程度可以推斷出太陽在天空區域可能出現的位置； 天空像素Si符合以下產生式模型
4.根據權利要求I所述的視頻場景的虛實光照融合方法，其特征在于，所述光照參數濾波算法為卡爾曼濾波算法； 設在一個足夠短的時間間隔內光照為常數，采用卡爾曼濾波利用光照的連續性平滑幀與幀之間的光影變化，由視頻關鍵幀的稀疏輻射度圖作為濾波輸入，來修正非關鍵幀的稀疏輻射度圖，得到視頻每一幀的稀疏輻射度圖，最后繪制視頻每一幀的虛實融合場景，實現視頻場景的虛實光照融合繪制。
5.根據權利要求4所述的視頻場景的虛實光照融合方法，其特征在于，所述步驟S200包括如下步驟步驟S210，對于非關鍵幀，采用卡爾曼濾波算法，首先獲取關鍵幀的稀疏輻射度圖； 步驟S220，由關鍵幀的稀疏輻射度圖作為濾波輸入，對非關鍵幀的稀疏輻射度圖進行優化，得到非關鍵幀的稀疏輻射度圖； 步驟S230，最后生成視頻每一幀的虛實融合效果。
6.根據權利要求5所述的視頻場景的虛實光照融合方法，其特征在于，所述步驟S140包括如下步驟 得到了由天空、地面、垂直表面分別推斷的太陽位置概率正態分布后，計算出最終視頻場景關鍵幀的太陽位置概率分布
7.根據權利要求6所述的視頻場景的虛實光照融合方法，其特征在于，所述步驟S220中，對非關鍵幀的稀疏輻射度圖進行優化，得到非關鍵幀的稀疏輻射度圖，包括如下步驟 首先，根據前k個關鍵幀的稀疏輻射度圖，建立卡爾曼更新預測方程
8.根據權利要求7所述的視頻場景的虛實光照融合方法，其特征在于，其中，對第k幀取其前Pk幀使得在Pk+1幀中的光照近似不發生變化； Pk的取值方法為，計算第k幀相鄰的前K幀的方差，若方差大于閾值ε ν，則丟掉第一幀，重新計算剩余的K-I幀的方差，直到方差值小于ε ν，最后剩余的幀數為Pk，計算這些幀的協方差為vk。
全文摘要
本發明公開了一種視頻場景的虛實光照融合方法，包括如下步驟從視頻中按照相等的時間間隔抽取視頻關鍵幀，然后分別以視頻關鍵幀圖像中的天空、地面以及垂直表面作為線索，估計出每個線索計算推斷得到的太陽所在位置的概率分布圖，并聯合由視頻天空、地面及垂直表面得到的太陽位置概率推斷出視頻關鍵幀場景中太陽位置的概率分布圖，生成視頻場景關鍵幀的稀疏輻射度圖；通過光照參數濾波算法，利用視頻關鍵幀的光照估計結果，修正視頻非關鍵幀的光照估計結果，實現視頻場景的虛實光照融合。其有效平滑了生成虛實融合視頻的光影效果。
文檔編號G06T5/00GK102930513SQ20121036255
公開日2013年2月13日 申請日期2012年9月25日 優先權日2012年9月25日
發明者陳小武, 趙沁平, 楊夢夏, 王珂, 金鑫 申請人:北京航空航天大學