基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法
【專利摘要】本發(fā)明公開了一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法，步驟包括：A、輸入原始左目視圖和右目視圖，并設(shè)定目標(biāo)圖像的分辨率；B、對(duì)左目視圖和右目視圖分別構(gòu)造覆蓋圖像的均勻四邊形網(wǎng)格；C、分別計(jì)算左、右目視圖的網(wǎng)格級(jí)重要程度圖；D、構(gòu)造左、右目視圖網(wǎng)格級(jí)直線特征集合；E、根據(jù)網(wǎng)格級(jí)重要程度圖建立網(wǎng)格縮放能量函數(shù)；F、根據(jù)網(wǎng)格級(jí)直線特征集合建立直線特征約束，采用最小二乘法進(jìn)行網(wǎng)格縮放能量函數(shù)最小化運(yùn)算，得到縮放后的左、右目視圖目標(biāo)網(wǎng)格；G、采用貼圖的方法將原始左、右目視圖分別映射到目標(biāo)網(wǎng)格，輸出最終的左目視圖和右目視圖。本發(fā)明能夠保留縮放后圖像的直線特征，突出重要物體，并保持雙目圖像的立體信息。
【專利說明】基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法，可應(yīng)用于雙目圖像的多尺度縮小和放大處理。

【背景技術(shù)】
[0002]隨著不同規(guī)格3D顯示設(shè)備的推廣，為了適應(yīng)不同橫縱比顯示屏幕的播放要求，雙目圖像的非等比例縮放得到國(guó)內(nèi)外學(xué)者的關(guān)注。傳統(tǒng)的內(nèi)容感知圖像縮放方法重點(diǎn)研究2D圖像的縮放。研究點(diǎn)包括顯著區(qū)域的準(zhǔn)確檢測(cè)，圖像扭曲、斷裂的避免，圖像主要特征和平滑性的保持等，可大致分為離散型和連續(xù)型兩種縮放方法。其中離散型方法包括基于seamcarving、分塊處理以及智能裁剪的方法，連續(xù)型方法主要是基于網(wǎng)格變形的圖像縮放方法。由于傳統(tǒng)方法沒有引入雙目圖像的立體約束，導(dǎo)致縮放過程中左、右目視圖對(duì)應(yīng)區(qū)域縮放程度不一致，此類方法并不適用于雙目圖像的非等比例縮放。
[0003]近年來，內(nèi)容感知的雙目圖像縮放研究取得一定的成果。相關(guān)方法可分為離散型方法和連續(xù)型方法。離散型方法主要是基于seam carving的方法。Utsugi Kei最早將seam carving算法用于雙目圖像縮放,之后Basha Tali等學(xué)者于2011年提出的幾何一致的seam carving雙目圖像縮放方法。這類方法通過同時(shí)刪除雙目視圖的對(duì)應(yīng)seam點(diǎn)維持立體信息。但是離散型方法刪除了圖像有效信息，容易破壞物體結(jié)構(gòu)和連續(xù)性。連續(xù)型方法主要是基于網(wǎng)格變形的方法，這類方法能夠一定程度上彌補(bǔ)離散型方法破壞圖像連續(xù)性的缺陷。Che-Han Chang等學(xué)者于2011年提出內(nèi)容感知的雙目圖像編輯方法。該方法采用尺寸不變特征轉(zhuǎn)換(SIFT, Scale-1nvariant Feature Transform)稀疏匹配點(diǎn)在網(wǎng)格變形過程中加入立體約束，保持圖像的立體信息。但是，經(jīng)這種方法處理后，圖像中直線物體容易發(fā)生彎曲，給用戶帶來不舒適的觀看體驗(yàn)。同時(shí)尺寸不變特征轉(zhuǎn)換稀疏對(duì)應(yīng)關(guān)系取決于圖像的場(chǎng)景結(jié)構(gòu)，該方法存在應(yīng)用場(chǎng)景的限制。
[0004]綜上可知，現(xiàn)有的內(nèi)容感知雙目圖像縮放方法在實(shí)際使用上顯然存在局限與缺陷，所以有必要加以改進(jìn)。


【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)在雙目圖像縮放時(shí)存在的缺陷和不足，本發(fā)明提出一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法。該方法在網(wǎng)格變形過程中引入直線特征約束，能夠保留圖像的直線特征。采用梯度圖和顯著圖檢測(cè)圖像重要區(qū)域以增強(qiáng)圖像中的物體邊緣信息，更好地突出重要物體。并采用內(nèi)容感知的隨機(jī)匹配關(guān)系有效保持雙目圖像的立體信息。
[0006]本發(fā)明所解決的技術(shù)問題可采用如下的技術(shù)解決方案來實(shí)現(xiàn):
[0007]一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法，包括以下步驟:
[0008]A、輸入原始左目視圖和右目視圖，并設(shè)定目標(biāo)圖像的分辨率，確定雙目圖像在水平方向和垂直方向的縮放比例；
[0009]B、對(duì)原始左目視圖和右目視圖分別構(gòu)造覆蓋圖像的均勻四邊形網(wǎng)格；
[0010]C、對(duì)原始左目視圖和右目視圖分別計(jì)算左、右目視圖的網(wǎng)格級(jí)重要程度圖；
[0011]具體的，左、右網(wǎng)格級(jí)重要程度圖由融合對(duì)應(yīng)的顯著圖和梯度輪廓圖的方法確定。首先對(duì)左、右目視圖進(jìn)行顯著區(qū)域檢測(cè)得到左、右目顯著圖，然后將左、右目視圖轉(zhuǎn)換為灰度圖像后計(jì)算出對(duì)應(yīng)的左、右目梯度輪廓圖像，融合顯著圖與梯度輪廓圖得到像素級(jí)重要程度圖，對(duì)網(wǎng)格內(nèi)的像素重要程度求平均得到網(wǎng)格級(jí)重要程度圖。
[0012]D、對(duì)原始左目視圖和右目視圖分別進(jìn)行直線特征檢測(cè)操作，構(gòu)造網(wǎng)格級(jí)直線特征集合;
[0013]首先利用Hough變換分別從左、右目梯度輪廓圖識(shí)別直線特征，再將直線特征從像素級(jí)別映射到網(wǎng)格中，構(gòu)造網(wǎng)格級(jí)直線特征集合。
[0014]E、根據(jù)步驟C得到的左、右目視圖的網(wǎng)格級(jí)重要程度圖，建立網(wǎng)格縮放能量函數(shù)；
[0015]具體的，步驟E所述的網(wǎng)格縮放能量函數(shù)包括:
[0016]網(wǎng)格扭曲能量函數(shù)，用于限制不同重要程度的網(wǎng)格發(fā)生扭曲的程度；網(wǎng)格扭曲能量函數(shù)由網(wǎng)格頂點(diǎn)位置決定，并考慮左、右目視圖的網(wǎng)格級(jí)重要程度。
[0017]網(wǎng)格邊彎曲能量函數(shù)，用于限制網(wǎng)格邊盡可能不發(fā)生彎曲；
[0018]邊界失真能量函數(shù)，用于避免網(wǎng)格縮放過程中出現(xiàn)越界而丟失邊界信息；
[0019]垂直視差能量函數(shù)，用于減少縮放過程中左、右目視圖水平不對(duì)稱而產(chǎn)生的垂直視差；
[0020]視差一致失真能量函數(shù)，用于維持左、右目視圖重要區(qū)域的視差信息。
[0021]其中垂直視差能量函數(shù)或視差一致失真能量函數(shù)，屬于雙目圖像立體約束能量函數(shù)，用于保持雙目圖像的立體信息，采用內(nèi)容感知的隨機(jī)匹配點(diǎn)確定。
[0022]具體的，為獲取內(nèi)容感知的隨機(jī)匹配點(diǎn)，首先采用均勻隨機(jī)數(shù)的方法從左目視圖中選擇樣本點(diǎn)，并通過半全局匹配算法(SGM, Semi Global Matching)計(jì)算左目視圖的樣本點(diǎn)在右目視圖的匹配點(diǎn)。
[0023]F、根據(jù)步驟D得到的網(wǎng)格級(jí)直線特征集合建立直線特征約束，采用最小二乘法進(jìn)行網(wǎng)格縮放能量函數(shù)最小化運(yùn)算，并保持圖像的直線特征，得到縮放后的左、右目視圖目標(biāo)網(wǎng)格；
[0024]G、根據(jù)步驟E得到的左、右目視圖目標(biāo)網(wǎng)格，采用貼圖的方法將原始左、右目視圖分別映射到目標(biāo)網(wǎng)格，輸出最終的左目視圖和右目視圖。
[0025]本發(fā)明旨在提出一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法，構(gòu)造覆蓋原始雙目圖像的均勻網(wǎng)格，根據(jù)網(wǎng)格級(jí)重要程度建立網(wǎng)格縮放能量函數(shù)，采用最小二乘方法對(duì)網(wǎng)格縮放能量函數(shù)進(jìn)行最小化運(yùn)算，同時(shí)保持圖像中的直線特征，得到目標(biāo)網(wǎng)格，最后通過插值得到目標(biāo)雙目圖像。其特點(diǎn)和優(yōu)點(diǎn)為:
[0026]針對(duì)現(xiàn)有基于網(wǎng)格變形的雙目圖像縮放方法容易導(dǎo)致圖像中直線物體發(fā)生彎曲的缺點(diǎn)，提出采用Hough變換進(jìn)行直線特征檢測(cè)，并在網(wǎng)格縮放過程中保留直線特征的方法。
[0027]由于尺寸不變特征轉(zhuǎn)換稀疏對(duì)應(yīng)關(guān)系局限于圖像場(chǎng)景結(jié)構(gòu)，本發(fā)明在垂直視差能量函數(shù)和視差一致失真能量函數(shù)中采用內(nèi)容感知的隨機(jī)匹配點(diǎn)替代尺寸不變特征轉(zhuǎn)換稀疏匹配點(diǎn)，有效保持雙目圖像的立體信息，避免垂直視差，保持雙目圖像視差一致性。
[0028]本發(fā)明提供的雙目圖像縮放方法，可用于進(jìn)行雙目圖像的多尺度縮小與放大，以適應(yīng)不同橫縱比顯示屏幕的播放要求。

【專利附圖】

【附圖說明】
[0029]圖1是本發(fā)明基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法的流程圖；
[0030]圖2是本發(fā)明一個(gè)實(shí)施例提供的均勻四邊形網(wǎng)格局部結(jié)構(gòu)圖；
[0031]圖3是本發(fā)明一個(gè)實(shí)施例提供的隨機(jī)匹配點(diǎn)與網(wǎng)格頂點(diǎn)映射方法的示意圖；

【具體實(shí)施方式】
[0032]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0033]本發(fā)明的基本思想是:將雙目圖像縮放視為對(duì)覆蓋雙目圖像的四邊形網(wǎng)格進(jìn)行縮放處理，通過保持圖像中的直線特征，采用最小二乘法對(duì)包含網(wǎng)格扭曲能量、網(wǎng)格邊彎曲能量、邊界失真能量、垂直視差能量和視差一致失真能量的網(wǎng)格縮放能量函數(shù)進(jìn)行最小化迭代運(yùn)算，得到目標(biāo)網(wǎng)格，并采用貼圖的方法得到最終的目標(biāo)雙目圖像。能夠有效保留圖像直線特征，突出圖像顯著區(qū)域和重要目標(biāo)，同時(shí)保持雙目圖像的立體信息。
[0034]參見圖1，本發(fā)明提出一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法，具體步驟如下:
[0035]A、輸入原始左目視圖和右目視圖，并設(shè)定目標(biāo)圖像的分辨率，確定雙目圖像在水平方向和垂直方向的縮放比例；
[0036]設(shè)原始雙目圖像的分辨率為mXn，目標(biāo)雙目圖像的分辯率為m’ Xn’。
[0037]B、對(duì)原始左目視圖和右目視圖分別構(gòu)造覆蓋圖像的均勻四邊形網(wǎng)格；
[0038]采用10像素步長(zhǎng)均勻采點(diǎn)的方法構(gòu)造均勻四邊形網(wǎng)格，設(shè)M= (V, E, F)表示覆蓋圖像的四邊形網(wǎng)格，其中V = [V1, V2,, vn], Vi e R2表示網(wǎng)格頂點(diǎn)集，E =[e1； e2，...，en],ei e R2表示網(wǎng)格邊集，F(xiàn) = [f1； f2,..., fj,^ e R2表示網(wǎng)格面集。如圖2表示的網(wǎng)格局部結(jié)構(gòu)，其中點(diǎn)1-4為網(wǎng)格頂點(diǎn)，邊5-8為網(wǎng)格邊，面9為網(wǎng)格面。設(shè)M’ =(V’，E’，F(xiàn)’)表示縮放后的目標(biāo)網(wǎng)格，其中V’ = [Vj1, Vj2,...,v' n],v'n e R2表示目標(biāo)網(wǎng)格頂點(diǎn)集。
[0039]C、對(duì)原始左目視圖和右目視圖分別計(jì)算左、右目視圖的網(wǎng)格級(jí)重要程度圖；
[0040]具體的，左、右網(wǎng)格級(jí)重要程度圖由融合對(duì)應(yīng)的顯著圖和梯度輪廓圖的方法確定。首先對(duì)左、右目視圖進(jìn)行顯著區(qū)域檢測(cè)得到左、右目顯著圖，然后將左、右目視圖轉(zhuǎn)換為灰度圖像后計(jì)算出對(duì)應(yīng)的左、右目梯度輪廓圖像，融合顯著圖與梯度輪廓圖得到像素級(jí)重要程度圖，對(duì)網(wǎng)格內(nèi)的像素重要程度求平均得到網(wǎng)格級(jí)重要程度圖。
[0041]圖像的像素級(jí)重要程度圖1h的計(jì)算公式為:
[0042]Ih = (0.3 X (10 X Is) + (1-0.3) X IE) X Is
[0043]圖像的像素級(jí)重要程度的計(jì)算包括視覺顯著性與圖像邊緣信息。其中Is表示顯著圖，Ie表示梯度輪廓圖。
[0044]D、對(duì)原始左目視圖和右目視圖分別進(jìn)行直線特征檢測(cè)操作，構(gòu)造網(wǎng)格級(jí)直線特征集合；
[0045]首先利用Hough變換分別從左、右目梯度輪廓圖識(shí)別直線特征，再將直線特征從像素級(jí)別映射到網(wǎng)格中，構(gòu)造網(wǎng)格級(jí)直線特征集合。
[0046]網(wǎng)格級(jí)直線特征集合包括水平直線特征集合HL、垂直直線特征集合VL以及斜線特征集合OL。
[0047]具體的，HL中每一條水平線經(jīng)過的網(wǎng)格頂點(diǎn)的Y坐標(biāo)均相同，VL中每一條垂直線經(jīng)過的網(wǎng)格頂點(diǎn)X坐標(biāo)均相同。而OL中每一條斜線經(jīng)過的網(wǎng)格頂點(diǎn)的X、Y坐標(biāo)滿足直線函數(shù)關(guān)系。
[0048]E、根據(jù)步驟C得到的左、右目視圖的網(wǎng)格級(jí)重要程度圖，建立網(wǎng)格縮放能量函數(shù)；
[0049]具體的，步驟E所述的網(wǎng)格縮放能量函數(shù)包括:
[0050]網(wǎng)格扭曲能量函數(shù)，用于限制不同重要程度的網(wǎng)格發(fā)生扭曲的程度；網(wǎng)格扭曲能量函數(shù)由網(wǎng)格頂點(diǎn)位置決定，并考慮左、右目視圖的網(wǎng)格級(jí)重要程度。
[0051]設(shè)網(wǎng)格扭曲能量函數(shù)為Dd，則1?=0^+0^，其中/?和/?"分別為左目視圖和右目視圖的網(wǎng)格扭曲能量，計(jì)算公式為:





2
[0052]A/ = Σ iyHT (Vi ~Vj)~ (Vi ~ Vj )

ij'j 私el 1.n







D





2
[0053]Dd =工(Oht S (/) (V- — V) ) — (V —')

(i,j)eER{f)
[0054]其中，仍^和歷;分別為左、右目視圖每個(gè)四邊形網(wǎng)格扭曲失真權(quán)重因子，等于網(wǎng)格級(jí)重要程度。上述公式右邊的二次項(xiàng)是網(wǎng)格理想縮放與實(shí)際縮放的差異，用來衡量每個(gè)四邊形網(wǎng)格的失真情況。s(f)為四邊形網(wǎng)格的縮放比例，將網(wǎng)格縮放分解為X方向和Y方向的縮放，s(f) = {sx，sy}，其中，兩個(gè)方向縮放比例如下:
IIII
?γ ^x+Uv ^x, V + ^χ+1,ν+1 ^χ,ν+1
[0055]=--
V1 一 V V ι λ 一 V ,
χ+Ι,ν χ’ν x+i，v+l x’v+i
?I _ Vr,v + Vt+l,y+l _ ντ+1,ν
[0056]Sy =-:-—
'Vx,v+1 _Vv,v + Vx+15>.+1I
[0057]網(wǎng)格邊彎曲能量函數(shù)，用于限制網(wǎng)格邊盡可能不發(fā)生彎曲；
[0058]設(shè)網(wǎng)格邊彎曲能量函數(shù)為D1，則Dz =Df +Df，其中1#和1)/"分別為左目視圖和右目視圖的網(wǎng)格邊彎曲能量，計(jì)算公式為:
Df — y Il x(v.— V.) —(v.—v )
[0059]1La e \ ι jJ \ ι "

(IJ)eE1 (f)
[0060]

【權(quán)利要求】
1.一種基于網(wǎng)格變形的內(nèi)容感知雙目圖像縮放方法，其特征在于，所述方法包括以下步驟: A、輸入原始左目視圖和右目視圖，并設(shè)定目標(biāo)圖像的分辨率，確定雙目圖像在水平方向和垂直方向的縮放比例； B、對(duì)原始左目視圖和右目視圖分別構(gòu)造覆蓋圖像的均勻四邊形網(wǎng)格； C、對(duì)原始左目視圖和右目視圖分別計(jì)算左、右目視圖的網(wǎng)格級(jí)重要程度圖； D、對(duì)原始左目視圖和右目視圖分別進(jìn)行直線特征檢測(cè)操作，構(gòu)造網(wǎng)格級(jí)直線特征集合； E、根據(jù)步驟C得到的左、右目視圖的網(wǎng)格級(jí)重要程度圖，建立網(wǎng)格縮放能量函數(shù)； F、根據(jù)步驟D得到的網(wǎng)格級(jí)直線特征集合建立直線特征約束，采用最小二乘法進(jìn)行網(wǎng)格縮放能量函數(shù)最小化運(yùn)算，并保持圖像的直線特征，得到縮放后的左、右目視圖目標(biāo)網(wǎng)格； G、根據(jù)步驟E得到的左、右目視圖目標(biāo)網(wǎng)格，采用貼圖的方法將原始左、右目視圖分別映射到目標(biāo)網(wǎng)格，輸出最終的左目視圖和右目視圖。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于:步驟C所述的左、右網(wǎng)格級(jí)重要程度圖，由融合對(duì)應(yīng)的顯著圖和梯度輪廓圖的方法確定。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于:步驟D所述的直線特征檢測(cè)操作，是利用Hough變換分別從左、右目梯度輪廓圖識(shí)別直線特征，再將直線特征從像素級(jí)別映射到網(wǎng)格中，構(gòu)造網(wǎng)格級(jí)直線特征集合。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于:步驟E所述的網(wǎng)格縮放能量函數(shù)包括: 網(wǎng)格扭曲能量函數(shù)，用于限制不同重要程度的網(wǎng)格發(fā)生扭曲的程度； 網(wǎng)格邊彎曲能量函數(shù)，用于限制網(wǎng)格邊盡可能不發(fā)生彎曲； 邊界失真能量函數(shù)，用于避免網(wǎng)格縮放過程中出現(xiàn)越界而丟失邊界信息； 垂直視差能量函數(shù)，用于減少縮放過程中左、右目視圖水平不對(duì)稱而產(chǎn)生的垂直視差; 視差一致失真能量函數(shù)，用于維持左、右目視圖重要區(qū)域的視差信息。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于:所述網(wǎng)格扭曲能量函數(shù)由網(wǎng)格頂點(diǎn)位置決定，并考慮左、右目視圖的網(wǎng)格級(jí)重要程度。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于:所述垂直視差能量函數(shù)或視差一致失真能量函數(shù)，屬于雙目圖像立體約束能量函數(shù)，用于保持雙目圖像的立體信息，采用內(nèi)容感知的隨機(jī)匹配點(diǎn)確定。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于:所述內(nèi)容感知的隨機(jī)匹配點(diǎn)，采用均勻隨機(jī)數(shù)的方法從左目視圖中選擇樣本點(diǎn)，并通過半全局匹配算法(SGM，Semi GlobalMatching)計(jì)算左目視圖的樣本點(diǎn)在右目視圖的匹配點(diǎn)。
【文檔編號(hào)】G06T3/40GK104166992SQ201410361183
【公開日】2014年11月26日 申請(qǐng)日期:2014年7月25日 優(yōu)先權(quán)日:2014年7月25日
【發(fā)明者】龔永義, 李可宏, 羅笑南, 關(guān)柏良, 姜靈敏 申請(qǐng)人:廣東外語外貿(mào)大學(xué), 中山大學(xué)