專利名稱：空間優化的紋理映射的制作方法
技術領域：
本發明一般地涉及圖像處理，并且尤其涉及圖像中的信息內容均衡化，從而圖像更能抵抗縮小尺寸失真(downsizing distortion)。
背景技術：
紋理圖像是一種以低成本增強多邊形網格的真實感的簡單而有效的方法。當前多數硬件圖形加速器都提供有存儲器高速緩存以便存儲紋理圖像。在該高速緩存內的圖像可以被圖形處理單元(GPU)通過高帶寬連接訪問，從而提高了幀速率。然而，高速緩存的大小受其成本的限制，特別是在商業的面向游戲的圖形板卡和游戲控制臺中更是這樣。由于不是應用使用的所有紋理都能夠在同一時刻駐留在存儲器內，所以需要使用復雜的存儲器管理算法。在高端應用諸如飛行模擬器中，有大量的高速緩存可以使用，而所使用的紋理總數也成比例地增加了，所以需要同樣仔細地分配紋理存儲空間。
圖像壓縮可以減輕紋理存儲空間有限的問題。然而，為了獲得交互式的幀速率，壓縮的紋理必須在著色(rendering)的同時被即時地(on the fly)解碼，這需要特殊的硬件。為了最好地使用當今傳統的圖形板卡上的紋理存儲空間，有幾位作者已經在研究不需借助復雜的編碼而縮小存儲紋理圖像所需的空間的問題。
除了包括重復圖案的簡單紋理之外，在圖像上細節一般不是均勻分布的。例如，采用3D掃描系統所得到的模型通常以包含大量背景象素的圖像作為紋理。人和角色的面部在諸如眼睛和嘴等區域需要高分辨率的細節，而其它區域的外貌可以用每單位區域內相對較少的象素捕捉。

發明內容
本發明通過采用一種優化紋理圖像所使用的空間的技術解決上述的限制。在本發明的一個實現中，圖像的頻率成分被均勻地分布在圖像上。換言之，圖像在高頻區域被拉伸而在低頻區域被壓縮。紋理坐標被以類似的方式重新映射以便將圖像失真考慮在內。然后可以較低的速率再采樣(收縮)得到的圖像，而在包圍著高頻成分的區域內具有最小的細節損失。或者，可以以均勻的視覺保真度損失更主動地對圖像在其各區域上進行二次采樣。只有紋理圖像和紋理坐標受到該優化處理的影響。模型幾何形狀和其連接性都不會改變。經過優化的較小的圖像使用較少的紋理存儲空間，而無需使用專用的硬件通過通用的圖形硬件中可以得到的紋理映射功能，可以自動地執行它的“解壓縮”。
因此，本發明的一個方面涉及一種用于根據輸入圖像中單元圖像區域內信息的重要性，調整該單元區域的方法。該方法包括一個用于獲得重要性映像的獲得操作。所述的重要性映像劃出了輸入圖像中的較高重要性區域和較低重要性區域。然后一個扭曲操作對輸入圖像進行扭曲以便根據重要性映像產生扭曲圖像，從而擴展較高重要性區域并且壓縮較低重要性區域。
本發明的另一方面是一種用于保持輸入圖像中的重要信息的系統。所述的輸入圖像包括與之相關聯的輸入紋理坐標映射，并且該系統包括一個圖像接收器和一個圖像扭曲器。圖像接收器被配置為用于接收輸入圖像。圖像扭曲器耦合于一個重要性映像，并且被配置為產生扭曲圖像，從而在該扭曲圖像中擴展輸入圖像中較高重要性區域，并且在該扭曲圖像中壓縮輸入圖像中較低重要性區域。重要性映像被配置為劃出輸入圖像中的較高重要性區域和較低重要性區域。
本發明的另一方面是一種計算機程序產品，其具有計算機可讀的程序代碼，所述代碼用于根據輸入圖像中單元圖像區域內的信息重要性調整該單元區域。所述計算機可讀的程序代碼被配置為獲得一個重要性映像，并且根據該重要性映像對輸入圖像進行扭曲，從而擴展較高重要性的區域并且壓縮較低重要性的區域。
通過下面結合附圖對本發明的各種實施例的更具體的說明，可以明了本發明的上述和其它的特征、用途和優點。


圖1A給出了本發明使用的一個示例性的輸入圖像。
圖1B給出了一個劃出了較重要和較不重要區域的輸入圖像。
圖1C給出了本發明的一個實施例所構思的一個示例性的扭曲圖像。
圖1D給出了本發明的一個實施例所構思的一個示例性的縮小的扭曲圖像。
圖1E給出了本發明的一個實施例所構思的一個示例性的恢復圖像。
圖2給出了本發明所構思的系統執行的操作的示例性流程圖。
圖3給出了本發明的一個實施例所構思的一個示例性系統。
圖4A給出了本發明所使用的一個示例性輸入圖像。
圖4B給出了帶有均勻網格的一個示例性輸入圖像。
圖4C給出了本發明的一個實施例所構思的一個示例性重要性映像。
圖4D給出了本發明所構思的一個示例性松弛網格。
圖4E給出了本發明的一個實施例所構思的一個扭曲圖像。
圖5給出了本發明所構思的一個示例性的小波包擴展(wavelet packetexpansion)變換處理。
圖6A給出了本發明所構思的一個示例性的輸入圖像。
圖6B給出了本發明所構思的示例性的輸入圖像坐標。
圖6C給出了本發明所構思的一個示例性的扭曲圖像。
圖6D給出了本發明所構思的示例性的扭曲坐標。
圖6E給出了本發明所構思的一個示例性圖像模型。
圖6F給出了本發明所構思的一個示例性的涂繪的圖像模型。
圖7A-7D給出了在沒有使用本發明構思的優化處理的情況下映射到一個三維模型上的圖像紋理。
圖8A-8D給出了在使用了本發明構思的優化處理的情況下映射到一個三維模型上的圖像紋理。
圖9A給出了本發明所構思的一個示例性的男像柱飾(atlas)圖像。
圖9B給出了本發明所構思的一個示例性的經過扭曲的男像柱飾圖像。
圖9C給出了一個已呈現的三維模型。
圖9D給出了使用初始的男像柱飾圖像和扭曲后的男像柱飾圖像的二次采樣誤差圖。
具體實施例方式
如下面詳細說明的，本發明有益地優化了圖像所使用的空間。重要的圖像信息被拉伸以覆蓋更多的圖像區域，而較不重要的信息被壓縮。因此，產生了作為結果的扭曲后的圖像，從而在整個圖像上每個單元區域的信息重要性比率大體上是不變的。此處參考圖1-9說明本發明。當參考這些圖時，所有圖中給出的相同的結構和元素被以相同的標號指示。
在圖1A中，給出了適合于根據本發明的一個實施例進行處理的示例性圖像102。圖像102可以是任意的圖像類型，并且可以使用本領域的技術人員已知的各種技術來編碼。例如，圖像102可以被壓縮的、被解壓縮的、黑白的、具有灰度級的或是彩色的。此外，圖像102可以存儲于計算機存儲器內，或者可以通過計算機網絡進行傳輸。因此，圖像102通常消耗一些系統資源，諸如存儲器空間或網絡帶寬。
在圖1B中，給出了圖像102，該圖像具有被劃出的較重要的和較不重要的區域。例如，可以指定包括有顯著的面部特征的圖像區域比沒有這些特征的區域更重要。因此，對于一個應用來說，眼部區域104和嘴部區域106可以被指定為是圖像102中較重要的區域。相反地，背景區域108可以被指定為是圖像102中較不重要的區域。如下面詳細說明的，本發明使用重要性映像來區分圖像102中的較重要的區域和較不重要的區域。
本發明力圖減少圖像102所消耗的系統資源的數量，而同時最小化被指定為重要的區域內的圖像細節的損失量。為了達到這個目的，本發明對圖像102進行了扭曲，從而根據重要性映像擴展重要的圖像區域并且壓縮較不重要的圖像區域。然后，減小扭曲后的整個圖像的尺寸，因此它將消耗較少的系統資源。隨后，當使用該圖像時，對已減小的扭曲后的圖像進行擴展并且進行反扭曲。
在圖1C中，給出了本發明構思的扭曲后的圖像110。在扭曲后的圖象110中，在重要性映像中被指定為較重要的區域被擴展了，而被指定為較不重要的區域被壓縮了。因此，在扭曲后的圖像110中眼部區域112和嘴部區域114比初始圖像102中相應的眼部區域104和嘴部區域106大。此外，扭曲后的圖像110中的背景區域116比初始圖像102中的背景區域108小。應當注意，扭曲后的圖像110的畫布(canvas)的大小與初始圖像102的畫布大小是相同的。
在圖1D中，給出了較小的扭曲后的圖像112。較小的扭曲后的圖像112與初始圖像102相比使用較少的系統資源。本發明被構思為可以使用本領域的技術人員已知的任意能夠減少由扭曲后的圖像110所消耗的系統資源的圖像處理方法。一般地，本發明使用的處理方法是有損的壓縮方案，例如，圖像縮小尺寸、離散余弦變換(discrete cosine transformation)或是這些壓縮技術的組合。
在圖1E中，給出了恢復的圖像114。恢復的圖像114是由對較小的扭曲后的圖像112進行圖像壓縮反轉和扭曲反轉而產生的。因為在扭曲后的圖像112中較重要的區域被擴展了，所以它們在壓縮階段經受了較少的信息損失。因此，當圖像114被恢復時，在較重要的區域內保持了更多的圖像細節。應當注意，恢復后的圖像114可以不必占據與初始圖像102相同的畫布大小。例如，恢復后的圖像可以被用于在一個三維模型上進行紋理涂繪，并且可以因此被轉換以便顯示在呈現的表面上。
圖2中給出了在本發明所構思的系統內所執行的操作的流程圖。應當注意，給出的邏輯操作可以被實現為(1)在計算系統上運行的一系列計算機執行的步驟和/或(2)計算系統中互連的機器模塊。所述實現與做出的選擇有關，所述的選擇取決于實現本發明的系統所需的性能。因此，此處說明的組成本發明的實施例的邏輯操作被可選擇地稱為操作、步驟或模塊。
所述處理從接收操作202開始。在這個操作中，由系統輸入一個圖像。如上所述，該圖像可以是任意的類型，并且可以使用本領域已知的各種方法編碼。在本發明的一個實施例中，該圖像是用于涂繪在計算機圖像應用中形成三維模型的多邊形的紋理圖像。一般地，紋理圖像包括圖像空間中的一組紋理坐標，其允許將圖像變換到該模型表面。在接收操作202完成之后，控制被傳遞給產生操作204。
在產生操作204中，為圖像產生重要性映像。這個操作包括從用戶或圖像開發包接收所述的重要性映像。可選擇地，如下面詳細說明的，系統可以處理該圖像并且自動產生重要性映像。在產生操作204完成之后，控制被傳遞給扭曲操作206。
在扭曲操作206中，根據重要性映像扭曲該圖像，從而圖像中較重要的區域被放大，而較不重要的區域被縮小。在本發明的一個實施例中，如下面詳細說明的，使用了一種網格松弛算法對圖像進行再采樣。在扭曲操作206完成之后，控制被傳遞給收縮操作208。
在收縮操作208中，扭曲后的圖像所需的系統資源的數量被減少。該操作可能需要收縮圖像尺寸，在圖像上使用壓縮算法或執行本領域的技術人員已知的其它這類過程。一旦收縮操作208完成了，就可以將扭曲后的圖像存儲在計算機的圖像存儲器中，或在通信鏈路諸如加速圖形端口(AGP)上進行傳輸。當要再次顯示扭曲后的圖像時，控制被傳遞給反扭曲操作210。
在反扭曲操作210中，扭曲后的圖像被轉換回沒有失真的圖像。這個操作一般地涉及解除前面所執行的收縮和扭曲操作208、206。在本發明的一個實施例中，如下面詳細說明的，反扭曲操作210包括在多邊形網格上進行圖像變換以便形成圖像的三維圖形呈現。一旦完成了反扭曲操作210，該過程就結束了。
在圖3中給出了本發明構思的示例性系統302。根據本發明，形成系統302的模塊可以是嵌入計算機可讀介質中的計算機可讀的程序代碼。作為例子而不是限制，計算機可讀的介質可以包括計算機存儲介質和通信介質。計算機存儲介質包括用于存儲信息，諸如計算機可讀的指令、數據結構、程序模塊或其它數據的以任何方法或技術實現的易失的和非易失的、可移動的和不可移動的介質。計算機存儲介質包括，但是不限于，RAM、ROM、EEPROM、快閃存儲器或其它存儲器技術、CD-ROM、數字多功能光盤(DVD)或其它光學存儲裝置、磁帶盒、磁帶、磁盤存儲裝置或其它磁性存儲設備，或任意其它能夠用于存儲所需信息并且可由管理代理訪問的介質。通信介質通常在調制的數據信號，諸如載波或其它傳輸機制中嵌入計算機可讀的指令、數據結構、程序模塊或其它數據，并且包括任意的信息傳遞介質。術語“調制的數據信號”的含義是這樣的信號，其一個或多個特征被以如此的方式設置或改變，以至于在該信號內編碼了信息。作為例子而不是限制，通信介質包括諸如有線網絡或直接連線連接的有線介質，以及諸如聲音、射頻、紅外線以及其它的無線介質。上面所述的任意的組合也應被包括在計算機可讀介質的范圍內。
系統302包括圖像接收器304，它被配置為接收一個輸入圖像102。為了參考，圖4A中給出了一個示例性的輸入圖像102。回到圖3，圖像接收器304連接于網格產生器306。網格產生器被配置為在輸入圖像102上定義一均勻的網格。圖4B給出了帶有示例性均勻網格的輸入圖像102。可以構想使得網格的行數和列數可適應于輸入圖像102。在本發明的一個實施例中，可以根據拉普拉斯平滑過程的收斂狀態反復地細化網格的分辨率(在下面有詳細的說明)。在這種方法中，起初使網格分辨率低，但是隨著網格松弛迭代逐漸地增加。因此，網格中頂點的數目可以取決于圖像尺寸、顏色和/或其它圖像屬性。在本發明的一個特定實施例中，系統用戶可以交互地指定網格的精度，并且因此直接地影響下面說明的扭曲過程的精度。
返回圖3，網格產生器306連接于網格松弛模塊308。網格松弛模塊308根據一重要性映像對均勻圖像網格進行松弛處理，以便產生松弛的網格。如上所述，可以由用戶指定重要性映像310，或是由系統302產生重要性映像312。在用戶提供重要性映像310的情況下，重要性映像310可以是另一圖像，其中每個象素位置指明了相應的圖像象素的重要性。由用戶傳遞重要性映像310的可能性使得能夠對圖像102執行特定的轉換。
可選擇地，連接于圖像接收器304的圖像評估器314可以被配置為產生重要性映像312。在本發明的一個實施例中，使用了小波包擴展變換分析輸入圖像102的頻率成分，從而產生重要性映像312。這個變換將圖像分解為一組表明了頻率子帶特征的系數。
現在參考圖5，其給出了本發明所構想的小波包擴展變換處理。該處理使用了多級的方法為輸入圖像102中的每個象素分配一個重要性值。該處理包括分類循環502、504、506，以便將每個象素分類到兩個重要性類中。分類循環502、504、506的每次迭代都將圖像的重要性類數目加倍。因此，在分類循環502、504、506的第一次迭代之后，圖像102的每個象素被分類到兩個重要性類中的一個內。在分類循環502、504、506的第二次迭代之后，每個象素被分類到四個重要性類中的一個內，并且以此類推。重復該分類循環直到在決定操作506中滿足了一個活動準則為止。
該處理中的分類操作502接收輸入圖像102，并且將每個象素分類到低頻(LF)類或高頻(HF)類。一般地，高頻區域包括邊緣和小的細節，而低頻區域包括強度上的低的變化。為了準確地檢測頻率改變，對輸入圖像102執行了多尺度分析(multiscale analysis)。因此，通過尋找細節系數矩陣中的局部最大值，可以有效地檢測到邊緣。這些值被稱為小波最大值(wavelet maxima)。
因此，在分類操作502中，檢測每個象素I(u，v)，以在包圍著相應的小波系數的區域內尋找小波最大值的存在。如果存在這樣的最大值，則這種存在就被以M(u，v)記錄在頻率映像中。小波包變換允許在多個尺度(即，頻率)上發現最大值，這導致了將圖像分類到頻率區域。
在分類操作502的第一次迭代之后，將圖像變換為一組低通系數(描述在0和π/2之間的頻率)，以及三組細節系數(表示π/2和π之間的頻率)。對于每組細節系數，利用根據相應子帶的方差估計出的閾值測量小波最大值。因此，在分類循環502、504、506的第一次迭代之后，象素被分為兩組，并且結果被存儲在如下定義的矩陣M1(u，v)中 在分類操作502的第二次迭代之后，每個子帶被再次分為兩個半頻帶。因此，M1(u，v)被細化了；通過在相應的細節矩陣中尋找小波最大值，將每個先前的個體分類。因此，新的矩陣M2(u，v)定義為 在測量操作504中，進行活動測量以確定分類循環502、504、506的另一次迭代是否是必要的。活動測量可以基于各種度量準則，包括重要性類的數目、分類的精度、提供給用戶的預定計算資源、輸入圖像102中的數量信息的大小或是這些活動測量的任意組合。在決定操作506中，如果活動測量沒有達到一個閾值級，控制返回到分類操作502。如果活動測量達到了該閾值級，則輸出重要性映像312，并結束變換。在圖4C中，給出了由小波包擴展變換產生的一個示例性的重要性映像312。
返回到圖3，根據重要性映像310或312所指示的，網格松弛模塊308使用一松弛算法在輸入圖像102的比較重要的區域中集中網格頂點，并且在輸入圖像的較不重要的區域中分散網格頂點。例如，圖4D給出了具有根據圖4C的重要性映像的松弛網格的輸入圖像。如圖4D中所示，該松弛網格的頂點在包括較多細節的區域中是集中的，并且在包含較少細節的區域中是分散的。
在本發明的一個實施例中，使用拉普拉斯平滑過程，以便在圖像上均勻地分布信息，根據重要性映像拉伸或收縮區域。尤其是，網格松弛模塊308通過最小化能量函數(energy funtion)對均勻網格進行松弛，該能量函數為Eσ(v)=Σe=(i,j)σ(vi)σ(vj)|vi-vj|2]]>這個松弛過程將頂點移動到新的位置，從而由一條網格邊e＝(i，j)連接的兩個頂點vi和vj之間的距離|vi-vj|與該邊中點處的頻率映像σ近似地成反比。松弛過程是一個連續的近似過程，其中通過將一個位移添加到相應的當前位置vIn上，確定頂點vin+1的新位置。位移向量是利用下式計算的δU(v)i=Σj∈i*uij(vj-vi)-{Σj∈i*uij|vi-vj|2}▿σ(vi)2σ(vi)]]>其中i*是通過一條網格邊連接到i的網格頂點索引(vertex index)的集合，并且ui=Σj∈i*σ(vj)uij=σ(vj)/ui]]>單元方塊的四個角(它們相應于該網格的四個頂點)被約束為不能移動，并且其它邊界頂點被約束為僅能沿著它們的支撐直線邊界段移動。結果是受約束的位移向量δ(vn)i，它們隨后被用于當前頂點位置，vin+1=vin+δ(vn)i---i=1,...,N]]>
返回到圖3，在網格松弛模塊308中獲得的松弛網格被圖像扭曲器316用于對輸入圖像進行再采樣，由此生成扭曲后的圖像110。由圖像扭曲器316執行的再采樣處理包括使用松弛網格(其位于輸入圖像域中)查詢扭曲后的圖像110中的每個象素在輸入圖像102中的位置。所返回的位置被用于獲取一個顏色強度，然后該顏色強度被復制到扭曲后的圖像110的開始位置。為扭曲后的圖像110中的每個象素重復這些步驟，如圖4E中所示。
本發明在使用紋理映射的圖形系統中是特別有益的。在這種系統中，二維紋理圖像與被用于涂繪三維模型的紋理坐標相關聯。現代圖形加速器一般能夠使用所提供的紋理坐標自動地將紋理圖像轉換(或紋理映射)到模型上。
因此，返回到圖3，與輸入圖像102相關聯的一組輸入紋理坐標318也被圖像扭曲器316以與對輸入圖像102相同的方式進行扭曲。特別是，輸入紋理坐標318中的每個坐標被扭曲到由松弛網格所規定的新的扭曲后的坐標。結果是相應于扭曲后的圖像110的一組輸出紋理坐標320。
例如，在圖6A-6F中，給出了說明本發明所構思的紋理映射系統的圖像。紋理映射系統包括輸入圖像102和該輸入圖像域內的一組輸入圖像坐標318。輸入圖像坐標318相應于三維模型602的坐標，其中在該三維模型602上將涂繪該輸入圖像102。因此，輸入圖像102被映射到該模型602上，生成涂繪的三維圖像604。如所提及的，大多數現代的圖形加速器被配置為當提供了輸入圖像102和輸入紋理坐標318時，自動地將紋理映射到三維模型602上。
在本發明的一個實施例中，輸入圖像102和輸入坐標318兩者都根據松弛網格進行扭曲，由此生成扭曲后的圖像110和扭曲后的坐標320。因為該些坐標是與該圖像一道扭曲的，所以當利用扭曲后的圖像110和扭曲后的坐標320涂繪模型602時，三維圖像604上出現很少失真或沒有出現失真。因此，扭曲后的圖像110被具有紋理映射功能的現代圖形加速器自動地“反扭曲”了。因此本發明可以被用于壓縮圖像，而同時通過利用現有的圖形加速器技術反扭曲這些處理過的圖像來保持它們的細節。
為了更好地說明本發明的優點，現在參考圖7A-7D以及圖8A-8D。在圖7A-7D中，在沒有使用本發明所構思的優化處理的情況下，將一個圖像紋理映射到三維模型。在圖8A-8D中，在使用本發明所構思的優化處理的情況下，將一個圖像紋理映射到該三維模型。圖7A和8A給出了使用初始(未縮小的)圖像的紋理映射。圖7B和8B給出了將圖像縮小到初始圖像的30％之后的紋理映射。圖7C和8C給出了將圖像縮小到初始圖像的20％之后的紋理映射。圖7D和8D給出了將圖像縮小到初始圖像的10％之后的紋理映射。比較兩組圖，顯然，沒有優化的紋理更能明顯看到象素化的矯作物，特別是在30％和20％的初始圖像上。甚至在10％的初始大小上，優化的圖像也保持了一些沒有出現在未優化版本中高頻細節。
在圖9A中，給出了花園守護神(garden gnome)的紋理男像柱飾圖像。該男像柱飾圖像被用于對一個從各種角度觀看的三維模型進行紋理映射。在圖9B中，給出了根據本發明對初始男像柱飾圖像進行了扭曲。初始男像柱飾圖像和扭曲后的男像柱飾圖像都被用于呈現圖9C中所示的三維圖像。然后在這兩個已呈現的圖像上以各種圖像壓縮因子執行圖像失真分析，并且在圖9D中將該分析結果用曲線圖表示出來。橫軸以初始圖像的比例的形式表示再采樣圖像的尺寸。從右至左，紋理被逐漸收縮。縱軸表示對數標度上的誤差。因此，在圖9D中給出了在使用和不使用本發明的優化處理的情況下由再采樣該圖像所引入的誤差。如圖所示，除了很小(小于10％)的收縮因子之外，對于基本上所有的圖像大小而言，優化圖像都產生了較小的誤差。
為了說明和描述的目的已經給出了前面對本發明的描述。這并不意味著是窮舉性的或者是限定到所公開的精確形式，而是根據以上的講述可以進行其它修改和改變。例如，本發明可以使用可替代的消息序列選擇最佳發送和接收節點。因此為了最好地解釋本發明的原理及其實際應用而選擇并說明了所公開的實施例，由此能夠使本領域技術人員最好地在適于所構思的特定用途的各種實施例和各種修改中使用本發明。所意欲的是，所附權利要求被解釋為包括除了現有技術所限定的范圍之外的、本發明其它可替換的實施例。
權利要求
1.一種用于根據輸入圖像內單元圖像區域內的信息重要性調整該單元圖像區域的方法，該方法包括獲得重要性映像，該重要性映像劃出了輸入圖像中較高重要性的區域和較低重要性的區域；以及根據重要性映像扭曲輸入圖像以便生成扭曲后的圖像，從而擴展較高重要性的區域而壓縮較低重要性的區域。
2.根據權利要求1的方法，其中扭曲輸入圖像包括這樣扭曲輸入圖像，從而在整個圖像上每單元區域的信息重要性比率大體上是不變的。
3.根據權利要求1的方法，還包括扭曲與輸入圖像相關的紋理坐標的位置以便獲得反向扭曲功能。
4.根據權利要求1的方法，還包括產生所述的重要性映像。
5.根據權利要求4的方法，其中產生重要性映像包括測量輸入圖像中的局部頻率分量。
6.根據權利要求5的方法，其中測量局部頻率分量包括將輸入圖像的每個單元區域分類到一對活動類；以及重復該分類操作直到達到了一個活動測量準則為止。
7.根據權利要求1的方法，還包括根據重要性映像對均勻網格進行松弛，以形成松弛網格，從而收縮較高重要性區域內的網格頂點，并且擴展較低重要性區域內的網格頂點。
8.根據權利要求7的方法，其中扭曲輸入圖像包括使用松弛網格將一種變換應用到每個單元區域，以便為輸入圖像內單元區域的每個位置計算在輸入圖像中的新的位置。
9.根據權利要求1的方法，還包括收縮扭曲后的圖像。
10.根據權利要求1的方法，還包括對扭曲后的圖像進行反扭曲。
11.一種用于保持輸入圖像中的重要信息的系統，輸入圖像具有與其相關聯的輸入紋理坐標映射，所述系統包括圖像接收器，被配置為接收輸入圖像；以及耦合于一個重要性映像的圖像扭曲器，圖像扭曲器被配置為產生扭曲后的圖像，從而在扭曲后的圖像中對輸入圖像中較高重要性的區域進行了擴展，而在扭曲后的圖像中對輸入圖像中較低重要性的區域進行了壓縮，并且其中重要性映像被配置為劃出輸入圖像中較高重要性區域和較低重要性區域。
12.根據權利要求11的系統，其中圖像扭曲器還被配置為產生扭曲后的紋理坐標映射，其中該扭曲后的紋理坐標映射包括輸入紋理坐標映射的變換，以便獲得反向扭曲功能。
13.根據權利要求11的系統，還包括耦合于圖像接收器的圖像評估器，該圖像評估器被配置為產生重要性映像。
14.根據權利要求11的系統，還包括耦合于圖像接收器的網格產生器，網格產生器被配置為在輸入圖像中定義均勻網格；以及耦合于網格產生器的網格松弛模塊，網格松弛模塊被配置為根據重要性映像松弛均勻圖像網格并生成松弛網格。
15.一種被包含在有形介質中的計算機程序產品，包括耦合于有形介質的計算機可讀程序代碼，所述的程序代碼用于根據輸入圖像內單元圖像區域內的信息重要性調整該單元圖像區域，所述的計算機可讀程序代碼被配置為使該程序執行如下步驟獲得重要性映像，重要性映像劃出了輸入圖像中較高重要性區域和較低重要性區域；以及根據重要性映像扭曲輸入圖像以便生成扭曲后的圖像，從而擴展較高重要性的區域，而收縮較低重要性的區域。
16.根據權利要求15的計算機程序產品，其中計算機可讀程序代碼扭曲輸入圖像包括對輸入圖像這樣進行扭曲，從而在整個圖像上每單元區域的信息重要性比率大體上是不變的。
17.根據權利要求15的計算機程序產品，還包括對與輸入圖像相關聯的紋理坐標的位置進行扭曲、以便獲得反向扭曲功能的計算機可讀程序代碼。
18.根據權利要求1的計算機程序產品，還包括用于產生重要性映像的計算機可讀程序代碼。
19.根據權利要求18的計算機程序產品，其中用于產生重要性映像的計算機可讀程序代碼包括用于在輸入圖像中測量局部頻率分量的計算機可讀程序代碼。
20.根據權利要求19的計算機程序產品，其中用于測量局部頻率分量的計算機可讀程序代碼包括用于將輸入圖像的每個單元區域分類到一對活動類的計算機可讀程序代碼；以及用于重復分類操作直到達到活動測量準則時為止的計算機可讀程序代碼。
21.根據權利要求15的計算機程序產品，還包括用于根據重要性映像松弛均勻網格以便形成松弛網格的計算機可讀程序代碼，從而收縮較高重要性的區域內的網格頂點，而擴展較低重要性的區域內的網格頂點。
22.根據權利要求21的計算機程序產品，其中計算機可讀程序代碼扭曲輸入圖像包括對每個單元區域使用松弛網格應用一種變換，以便為輸入圖像內單元區域的每個位置計算其在輸入圖像中的新的位置。
23.根據權利要求15的計算機程序產品，還包括用于壓縮扭曲后的圖像的計算機可讀程序代碼。
24.根據權利要求15的計算機程序產品，還包括用于對扭曲后的圖像進行反扭曲的計算機可讀程序代碼。
全文摘要
公開了用于根據輸入圖像內單元圖像區域內的信息重要性調整該單元圖像區域的方法、系統和計算機程序產品。圖像接收器(304)被配置為接收輸入圖像(102)。圖像扭曲器(316)耦合于重要性映像(310)，并且被配置為產生扭曲后的圖像(110)，從而在扭曲后的圖像(110)中擴展了輸入圖像中較高重要性的區域，而在扭曲后的圖像(110)中壓縮了輸入圖像內較低重要性的區域。重要性映像(310)被配置為劃出輸入圖像(102)中較高重要性區域和較低重要性區域。還能夠以相似的方式扭曲紋理坐標(318)。因此，具有紋理映射能力的現有圖形調整器可以對圖像自動地進行反扭曲。
文檔編號G06T15/04GK1630876SQ03803702
公開日2005年6月22日 申請日期2003年2月10日 優先權日2002年2月12日
發明者L·巴爾梅利, F·貝爾納迪尼, G·陶賓 申請人:國際商業機器公司