專利名稱：基于fpga的立體視頻到多視點視頻的3d重構方法
技術領域：
本發明涉及一種多視點自由立體重構與顯示方法，尤其涉及一種基于FPGA的立體視頻到多視點視頻的3D重構的方法。
背景技術：
三維立體技術并不是新興產物，事實上，它有著將近170年的歷史。1838年世界第 ー組立體圖像對在英國學者Charles Wheatstone筆下誕生。之后3D電影慢慢進入人們的視線。20世紀，平面電視技術的不斷發展、電視廠商對差異化和產品附加價值的追求成為世界范圍內3D研究熱潮的強大推動力量。50年代的色分法、60年代的光分法以及目前當紅的時分立體成像技術等陸續成為3D的研究焦點，成功應用于電影、游戲等領域。但是上述技術都需額外佩戴特制設備觀看，不僅觀看視角受到限制，眼鏡引起的不適感和疲憊感也困擾了不少人，自由立體顯示技術的發展為三維電視進入家庭應用提供了可能性。2002年， 夏普宣布成功開發無需專用眼鏡就能看到立體圖像的液晶顯示器。Philips公司則開發了一系列的專門技術——“Wowvx”解決方案來提供高質量的自由立體顯示，該解決方案包括傾斜透鏡技木、2D和3D雙重模式以及2D到3D的內容轉換等等。2009與2010年，各種顯示技術層出不窮，如空氣投影、深度融合顯示技術等等，但最受各機構和廠商關注的依然要屬以視差壁障和柱狀透鏡技術為代表的平板立體顯示。立體匹配是立體視覺中最重要也是最難的一部分，其目的是尋找兩幅或多幅圖像中的對應像素點以便求取對應的三維坐標。立體匹配算法必須解決以下3個問題選擇正確的匹配特征，尋找特征間的本質屬性及建立能正確匹配所選特征的穩定算法。根據匹配算法使用的約束信息的不同，立體匹配算法總體上分為局域算法和全局算法兩種。局域算法利用的是對應點本身以及鄰近的局部區域的約束信息，局域算法的優點是效率高，速度快，有許多加速方法如金字塔多分辨率匹配、盒濾波技術運用、存儲器與高速緩存效率的提高、并行加速指令的實現、立體圖對的分塊并行匹配等。全局匹配算法是ー種對掃描線甚至整幅圖像進行約束的匹配算法，將計算集中在視差的計算階段，并且有可能跳過匹配代價的累積階段。它利用了圖像的全局約束信息，對局部圖像的模糊不敏感。基于深度圖像的繪制技術(D印th-Image-Based Rendering，DIBR)，利用參考圖像及其對應的深度信息來合成場景中的虛擬視點。該方法創新地將單視圖像和對應的深度信息圖作為傳輸對象，在立體播放器上生成左右兩個新視點圖像進行播放。它的核心思想是 McMillan于1997年提出的三維變換方程。DIBR方法的靈活性與可兼容性使它成為三維電視領域中研究的熱點問題。利用基于深度圖的虛擬視點映射技術將參考圖像映射至虛擬視點位置吋，目標圖像中會存在一些在參考圖像沒有對應映射點的像素，這些像素點被稱為空洞。空洞產生的根本原因在于場景中物體之間的遮擋關系，在深度圖中表現為前后景物體深度值不連續。 空洞問題是影響虛擬視點圖像質量的根本因素，為了提高虛擬視點圖像的圖像質量，我們需要對空洞區域的圖像內容進行填補。
根據雙目視差原理，為了使觀眾產生深度感，我們需要利用一定裝置使左右眼各自分別只能看到左、右圖像。當前基于透鏡光柵的LCD多視點自由立體顯示設備由于其成本、尺寸、亮度上的優勢，特別是它能夠實現2D/3D之間的相互轉換，已獲得廠家和機構越來越多的關注。根據IXD子像素排列特征、柱透鏡的光學結構以及透鏡式立體顯示技術原理，通過對RGB分量重新排列組合，實現了基于透鏡光柵的LCD多視點自由立體顯示。以上所涉及的基于深度圖像的繪制技術、對空洞區域的圖像內容進行填補技術以及對RGB分量重新排列組合技木，都需要大量的計算量，因此很難達到實時要求。

發明內容
本發明的目的是克服多視點自由立體重構與顯示的實時性不足，提供一種基于 FPGA的立體視頻到多視點視頻的3D重構方法。基于FPGA的立體視頻到多視點視頻的3D重構方法的步驟如下1)采用分辨率為640X360的雙目相機立體拍攝自然場景，獲取左右兩路相機圖像序列并輸入計算機；2)計算機將左右兩路相機圖像序列以BT1120數據格式封裝，通過千兆以太網，傳輸到FPGA進行處理；:3)FPGA通過立體匹配算法，獲得左右兩路相機圖像序列的稠密深度信息；4)多視點重構模塊根據左右兩路相機圖像、相機參數、左右兩路相機圖像的深度信息，用基于深度圖像的繪制技術計算多視點自由立體顯示需要的兩路圖像的8個虛擬視點圖像；5)對于虛擬視點圖像中存在的空洞和遮擋區域，以其中一路圖像為主相機圖像序列，另一路圖像為輔相機圖像序列，先采用融合算法，減少空洞數量，再利用快速的空洞修復算法進行修復；6)顯示處理模塊把左相機圖像形成的左視點圖像，8個虛擬視點圖像，利用基于柱透鏡光柵的立體顯示算法進行適當的重排布，生成高清圖像，分辨率為1920X1080，以適合多視點觀察的需要；7)重排布圖像通過HDMI接ロ輸出到裸眼三維顯示器，最終提供裸眼的、適合多人多角度觀察的圖像。所述的步驟3)為1)立體匹配依據光學成像中關于場景、光照以及成像過程中的若干假設，在立體圖像對中根據相似性測度選擇圖像的對應點。對于左右兩路相機圖像中的對應點P (xL, yL)， P' (χΕ, yK)，兩對應點位于同一掃描行，其坐標滿足如下關系xE = xL-d (χ, y), yE = yL其中d(x, y)稱為點pUl，yL)和ρ' (χΕ, yE)之間的視差；2)采用動態規劃算法進行立體匹配，其中，全局能量方程為E(d) = Edata (d)+Esmooth (d)式中Edata(d)為初始代價，以自適應代價聚合方法進行處理，設定亮度差閾值，窗口內的所有像素點亮度值與目標像素點的高度差的絕對值之和小于閾值，就擴大窗ロ，直到達到閾值，窗ロ大小停止擴大，在這個窗ロ大小基礎上，計算初始匹配代價。Es_th(d)為平滑項；3)基于FPGA的方法，將多個像素點的立體匹配算法中涉及到的高度差計算和匹配代價計算并行處理，并記錄下來，避免重復運算。所述的步驟4)為1)基于深度圖像的繪制方法分兩個步驟a)利用深度信息，將參考圖像上所有的像素點重投影到對應的三維空間中；b)將這些三維空間點再投影到目標圖像平面，在平行相機模型下，像素點坐標的映射關系為u = x+pn+qnXd/cXF, ν = y其中，U、ν為基于深度圖像的繪制方法映射后的橫坐標和縱坐標，x、y為原橫坐標和縱坐標，p、q為與相機參數相關的兩個參數值，η為生成虛擬視點號，d為原坐標位置的視差值，c為兩路相機的基線距，F為相機的焦距；2)采用雙ロ SRAM進行操作，將一行相機圖像像素坐標數據均分為兩部分處理，兩個時鐘周期內，先將相機圖像像素坐標數據在第一個時鐘周期寫入SRAM，在第二個時鐘周期從SRAM讀出相機圖像像素坐標數據，然后進行判斷如果該坐標沒有被計算過，則將該坐標對應的像素值記錄下來；如果該坐標沒被計算過，則比較這兩次對應的深度值，將深度值較大的對應的像素值記錄下來；3)利用FPGA的并行架構，將左右兩路相機圖像序列和左右兩路相機圖像的深度信息進行并行處理，兩塊SRAM進行數據讀寫的乒乓操作，當ー塊SRAM處于寫入狀態時，另 ー塊SRAM處于讀出狀態。所述的步驟5)為1)同時利用左右兩路相機圖像序列和左右兩路相機圖像的深度信息，對每ー個像素點添加空洞標示位，根據空洞標示位進行融合處理，在空洞位置進行判斷如果左圖空洞位置，對應右圖為非空洞，則將右圖信息填充至左圖；如果左圖空洞位置，對應右圖也為空洞，則將此位置標志為空洞；2)將空洞填補劃分為非空洞點位置的捜索與空洞位置像素值的計算兩個子模塊， 細分流水級數，空洞位置的像素值以水平方向上左右最近的兩個非空洞點像素值加權平均計算得出，其中，加權值為非空洞點像素坐標距離到空洞位置的像素坐標距離的倒數；3)采用雙ロ SRAM存儲虛擬視點圖像數據，其中ー個ロ用于融合時的儲虛擬視點圖像數據寫入操作，另ー個ロ用于空洞填補時的儲虛擬視點圖像數據讀寫操作。本發明采用雙目相機立體拍攝，可以以基于FPGA的運算下，通過立體匹配，獲得兩路相機圖像的深度信息，在已知相機參數的基礎上，實時產生兩路圖像的多個虛擬視點圖像；通過視點融合技木，有效的減少空洞數目，并以快速的空洞修復算法提高圖像質量； 3D立體顯示設備可提供多人多角度的裸眼多視點立體顯示效果。


圖1是基于FPGA的立體視頻到多視點視頻的3D重構方法流程圖；圖2(a)是本發明的左路相機圖像；圖2(b)是本發明的右路相機圖像；圖3是本發明的立體匹配流程圖4(a)是本發明的立體匹配生成的左圖視差圖；圖4(b)是本發明的立體匹配生成的右圖視差圖；圖5是本發明的多視點重構流程圖；圖6是多視點重構并經空洞修補后生成的左圖8個虛擬視點圖和原左圖。圖7是本發明的立體圖像示例。
具體實施例方式基于FPGA的立體視頻到多視點視頻的3D重構方法的步驟如下1)采用分辨率為640X360的雙目相機立體拍攝自然場景，獲取左右兩路相機圖像序列并輸入計算機；2)計算機將左右兩路相機圖像序列以BT1120數據格式封裝，通過千兆以太網，傳輸到FPGA進行處理；:3)FPGA通過立體匹配算法，獲得左右兩路相機圖像序列的稠密深度信息；4)多視點重構模塊根據左右兩路相機圖像、相機參數、左右兩路相機圖像的深度信息，用基于深度圖像的繪制技術(DIBR)計算多視點自由立體顯示需要的兩路圖像的8個虛擬視點圖像；5)對于虛擬視點圖像中存在的空洞和遮擋區域，以其中一路圖像為主相機圖像序列，另一路圖像為輔相機圖像序列，先采用融合算法，減少空洞數量，再利用快速的空洞修復算法進行修復；6)顯示處理模塊把左相機圖像形成的左視點圖像，8個虛擬視點圖像，利用基于柱透鏡光柵的立體顯示算法進行適當的重排布，生成高清圖像，分辨率為1920X1080，以適合多視點觀察的需要；7)重排布圖像通過HDMI接ロ輸出到裸眼三維顯示器，最終提供裸眼的、適合多人多角度觀察的圖像。所述的步驟3)為1)立體匹配依據光學成像中關于場景、光照以及成像過程中的若干假設，在立體圖像對中根據相似性測度選擇圖像的對應點。對于左右兩路相機圖像中的對應點P (xL, yL)， P' (χΕ, yK)，兩對應點位于同一掃描行，其坐標滿足如下關系xE = xL-d (χ, y), yE = yL其中d(x, y)稱為點pUL，Yl)和P' (xe, Ye)之間的視差；2)采用動態規劃算法進行立體匹配，其中，全局能量方程為E(d) = Edata (d)+Esmooth (d)式中Edata(d)為初始代價，以自適應代價聚合方法進行處理，設定亮度差閾值，窗口內的所有像素點亮度值與目標像素點的高度差的絕對值之和小于閾值，就擴大窗ロ，直到達到閾值，窗ロ大小停止擴大，在這個窗ロ大小基礎上，計算初始匹配代價。Es_th(d)為平滑項；3)基于FPGA的方法，將多個像素點的立體匹配算法中涉及到的高度差計算和匹配代價計算并行處理，并記錄下來，避免重復運算。所述的步驟4)為
1)基于深度圖像的繪制方法分兩個步驟a)利用深度信息，將參考圖像上所有的像素點重投影到對應的三維空間中；b)將這些三維空間點再投影到目標圖像平面，在平行相機模型下，像素點坐標的映射關系為u = x+pn+qnXd/cXF, ν = y其中，U、ν為基于深度圖像的繪制方法映射后的橫坐標和縱坐標，x、y為原橫坐標和縱坐標，p、q為與相機參數相關的兩個參數值，η為生成虛擬視點號，d為原坐標位置的視差值，c為兩路相機的基線距，F為相機的焦距；2)采用雙ロ SRAM進行操作，將一行相機圖像像素坐標數據均分為兩部分處理，兩個時鐘周期內，先將相機圖像像素坐標數據在第一個時鐘周期寫入SRAM，在第二個時鐘周期從SRAM讀出相機圖像像素坐標數據，然后進行判斷如果該坐標沒有被計算過，則將該坐標對應的像素值記錄下來；如果該坐標沒被計算過，則比較這兩次對應的深度值，將深度值較大的對應的像素值記錄下來；3)利用FPGA的并行架構，將左右兩路相機圖像序列和左右兩路相機圖像的深度信息進行并行處理，兩塊SRAM進行數據讀寫的乒乓操作，當ー塊SRAM處于寫入狀態時，另 ー塊SRAM處于讀出狀態。所述的步驟5)為1)同時利用左右兩路相機圖像序列和左右兩路相機圖像的深度信息，對每ー個像素點添加空洞標示位，根據空洞標示位進行融合處理，在空洞位置進行判斷如果左圖空洞位置，對應右圖為非空洞，則將右圖信息填充至左圖；如果左圖空洞位置，對應右圖也為空洞，則將此位置標志為空洞；2)將空洞填補劃分為非空洞點位置的捜索與空洞位置像素值的計算兩個子模塊， 細分流水級數，空洞位置的像素值以水平方向上左右最近的兩個非空洞點像素值加權平均計算得出，其中，加權值為非空洞點像素坐標距離到空洞位置的像素坐標距離的倒數；3)采用雙ロ SRAM存儲虛擬視點圖像數據，其中ー個ロ用于融合時的儲虛擬視點圖像數據寫入操作，另ー個ロ用于空洞填補時的儲虛擬視點圖像數據讀寫操作。實施例1)將圖像分辨率為640X360的左右相機圖像作為輸入圖像，圖2 (a)即為左相機圖像，圖2(b)即為右相機圖像。2)將兩路相機圖像序列以BT1120數據格式封裝，通過千兆以太網，傳輸到FPGA 進行處理。PC傳送1920X360X2的數據幀，在FPGA開發板的Iinux系統下將其擴展為 1920X1080X2的數據幀。3)數據被分別寫入對應的SRAM，然后進行立體匹配。圖3即為立體匹配流程圖。 圖4(a)即為左圖像的視差圖，圖4(b)即為右圖像的視差圖。4)得到視差圖之后，進行多視點重構操作。圖5即為多視點重構流程圖。每一行數據依據相機參數映射到8個視點，當8個視點都運算結束之后，下一行數據從SRAM中讀出，進行多視點重構操作。圖6為多視點重構后生成的8個虛擬視點圖。5)在多視點重構操作中，空洞位置會被標記。融合操作根據空洞標示位，在空洞位置進行判斷，如果左圖空洞位置，對應右圖為非空洞，則將右圖信息填充至左圖；如果左圖空洞位置，對應右圖也為空洞，則將此位置標志為空洞。在空洞修復操作中，空洞位置的像素值以水平方向上左右最近的兩個非空洞點像素值加權平均計算得出。
6)顯示處理模塊把左相機圖像形成的左視點圖像，8個空洞修復后的虛擬視點圖像，利用基于柱透鏡光柵的立體顯示算法進行適當的重排布，生成高清圖像，分辨率為 1920X1080,以適合多視點觀察的需要。
權利要求
1.一種基于FPGA的立體視頻到多視點視頻的3D重構方法，其特征在于它的步驟如下1)采用分辨率為640X360的雙目相機立體拍攝自然場景，獲取左右兩路相機圖像序列并輸入計算機；2)計算機將左右兩路相機圖像序列以BT1120數據格式封裝，通過千兆以太網，傳輸到 FPGA進行處理；3)FPGA通過立體匹配算法，獲得左右兩路相機圖像序列的稠密深度信息；4)多視點重構模塊根據左右兩路相機圖像、相機參數、左右兩路相機圖像的深度信息， 用基于深度圖像的繪制技術計算多視點自由立體顯示需要的兩路圖像的8個虛擬視點圖像；5)對于虛擬視點圖像中存在的空洞和遮擋區域，以其中一路圖像為主相機圖像序列， 另一路圖像為輔相機圖像序列，先采用融合算法，減少空洞數量，再利用快速的空洞修復算法進行修復；6)顯示處理模塊把左相機圖像形成的左視點圖像，8個虛擬視點圖像，利用基于柱透鏡光柵的立體顯示算法進行適當的重排布，生成高清圖像，分辨率為1920X1080，以適合多視點觀察的需要；7)重排布圖像通過HDMI接ロ輸出到裸眼三維顯示器，最終提供裸眼的、適合多人多角度觀察的圖像。
2.根據權利要求1所述的ー種基于FPGA的立體視頻到多視點視頻的3D重構方法，其特征在于所述的步驟3)為1)立體匹配依據光學成像中關于場景、光照以及成像過程中的若干假設，在立體圖像對中根據相似性測度選擇圖像的對應點。對于左右兩路相機圖像中的對應點P0^，yL), P' (xE, yK)，兩對應點位于同一掃描行，其坐標滿足如下關系Xr = xL-d(x，y)，yK = yL其中d(x, y)稱為點pOl· yL)和ρ' (χΕ, yE)之間的視差；2)采用動態規劃算法進行立體匹配，其中，全局能量方程為E(d) = Edata (d)+Esmooth (d)式中Edata (d)為初始代價，以自適應代價聚合方法進行處理，設定亮度差閾值，窗口內的所有像素點亮度值與目標像素點的高度差的絕對值之和小于閾值，就擴大窗ロ，直到達到閾值，窗ロ大小停止擴大，在這個窗ロ大小基礎上，計算初始匹配代價。Es_th(d)為平滑項；3)基于FPGA的方法，將多個像素點的立體匹配算法中涉及到的高度差計算和匹配代價計算并行處理，并記錄下來，避免重復運算。
3.根據權利要求1所述的ー種基于FPGA的立體視頻到多視點視頻的3D重構方法，其特征在于所述的步驟4)為1)基于深度圖像的繪制方法分兩個步驟a)利用深度信息，將參考圖像上所有的像素點重投影到對應的三維空間中；b)將這些三維空間點再投影到目標圖像平面，在平行相機模型下，像素點坐標的映射關系為u = x+pn+qnXd/cXF，ν = y其中，U、ν為基于深度圖像的繪制方法映射后的橫坐標和縱坐標，x、y為原橫坐標和縱坐標，P、q為與相機參數相關的兩個參數值，η為生成虛擬視點號，d為原坐標位置的視差值，c為兩路相機的基線距，F為相機的焦距；2)采用雙ロSRAM進行操作，將一行相機圖像像素坐標數據均分為兩部分處理，兩個時鐘周期內，先將相機圖像像素坐標數據在第一個時鐘周期寫入SRAM，在第二個時鐘周期從 SRAM讀出相機圖像像素坐標數據，然后進行判斷如果該坐標沒有被計算過，則將該坐標對應的像素值記錄下來；如果該坐標沒被計算過，則比較這兩次對應的深度值，將深度值較大的對應的像素值記錄下來；3)利用FPGA的并行架構，將左右兩路相機圖像序列和左右兩路相機圖像的深度信息進行并行處理，兩塊SRAM進行數據讀寫的乒乓操作，當ー塊SRAM處于寫入狀態時，另ー塊 SRAM處于讀出狀態。
4.根據權利要求1所述的ー種基于FPGA的立體視頻到多視點視頻的3D重構方法，其特征在于所述的步驟5)為1)同時利用左右兩路相機圖像序列和左右兩路相機圖像的深度信息，對每ー個像素點添加空洞標示位，根據空洞標示位進行融合處理，在空洞位置進行判斷如果左圖空洞位置，對應右圖為非空洞，則將右圖信息填充至左圖；如果左圖空洞位置，對應右圖也為空洞， 則將此位置標志為空洞；2)將空洞填補劃分為非空洞點位置的捜索與空洞位置像素值的計算兩個子模塊，細分流水級數，空洞位置的像素值以水平方向上左右最近的兩個非空洞點像素值加權平均計算得出，其中，加權值為非空洞點像素坐標距離到空洞位置的像素坐標距離的倒數；3)采用雙ロSRAM存儲虛擬視點圖像數據，其中ー個ロ用于融合時的儲虛擬視點圖像數據寫入操作，另ー個ロ用于空洞填補時的儲虛擬視點圖像數據讀寫操作。
全文摘要
本發明公開了一種基于FPGA的立體視頻到多視點視頻的3D重構的方法，它的步驟如下1)雙目相機立體拍攝自然場景；2)通過千兆以太網，將兩路彩色圖像信息，以BT1120數據格式，傳送到FPGA進行處理；3)通過立體匹配，獲得兩路相機圖像的深度信息；4)根據算法，進行多視點重構和視點合成運算；5)通過HDMI接口輸出，并在裸眼3D顯示設備提供多視點立體顯示。本發明采用雙目相機立體拍攝，可實現真實場景的立體顯示；高效的算法以及FPGA的并行架構可以實現實時顯示；3D立體顯示設備可提供多人多角度的裸眼多視點立體顯示效果。
文檔編號H04N13/00GK102572482SQ20121000303
公開日2012年7月11日 申請日期2012年1月6日 優先權日2012年1月6日
發明者付航, 姚少俊, 張明, 李東曉, 王梁昊, 金鵬飛 申請人:浙江大學