專利名稱：圖像處理裝置、圖像處理方法以及圖像顯示裝置的制作方法
技術領域：
本發明涉及圖像處理裝置、圖像處理方法以及圖像顯示裝置。本發明還涉及用于執行圖像處理方法的程序和記錄有該程序的記錄介質。
背景技術：
在以往的圖像處理中輸出放大圖像時，為了消除放大圖像的模糊，進行邊緣增強。
例如在專利文獻I中公開的圖像處理裝置具有第I圖像放大部、高頻成分圖像生成部、第2圖像放大部、高頻成分圖像處理部以及加法部，由第I圖像放大部生成放大輸入圖像后的第I放大圖像，由高頻成分圖像生成部生成取出輸入圖像的高頻成分后的第I高頻成分圖像，由第2圖像放大部生成放大第I高頻成分圖像后的第2放大圖像，由高頻成分圖像處理部生成從對第2放大圖像進行非線性處理后的圖像中取出高頻成分后的第2高頻成分圖像，由加法部將第I放大圖像與第2高頻成分圖像相加，輸出邊緣被增強后的放大圖像。
專利文獻1:國際公開第2009/110328號公報
輸出邊緣被增強后的放大圖像的以往的圖像處理裝置存在如下趨勢:關于像素值比局部的像素值的平均值大的像素，使其像素值更大，關于像素值比局部的像素值的平均值小的像素，使其像素值更小。
這是因為，針對具有比局部的像素值的平均值大的像素值的像素，使其像素值更大，針對具有比局部的像素值的平均值小的像素值的像素，使其像素值更小，由此，可以使邊緣鮮明，消除放大圖像的模糊。
然而，在關于像素值比局部的像素值的平均值大的像素，使其像素值更大，關于像素值比局部的像素值的平均值小的像素，使其像素值更小的情況下，在不包含邊緣的區域中，有時反而得到不自然的處理結果。
例如在紋理區域中，關于像素值比局部的像素值的平均值大的像素，使其像素值更大，關于像素值比局部的像素值的平均值小的像素，使其像素值更小，由此，像素值被分成取大值和取小值這兩種像素值，有時細小的圖案被破壞，反而使清晰度下降。發明內容
本發明的圖像處理裝置的特征在于，該圖像處理裝置具有:邊緣增強圖像放大部，其將第I分辨率的輸入圖像轉換成所述輸入圖像中包含的邊緣被增強后的第2分辨率的高分辨率圖像；差分計算部 ，其求出所述高分辨率圖像與所述輸入圖像的差分；以及高分辨率圖像校正部，其將所述差分向構成所述高分辨率圖像的各像素擴散，生成對所述高分辨率圖像進行校正后的校正圖像，將所述校正圖像作為輸出圖像。
在本發明的圖像處理裝置中，由于可在紋理區域中作成具有各種像素值的像素，因此，在紋理區域中也能夠提高清晰度。


圖1是本發明的實施方式A1、A2、B1、B2、C1、C2的圖像處理裝置的框圖。
圖2是概略地示出輸入圖像DO中的像素排列的圖。
圖3是概略地示出邊緣增強放大圖像DlOO中的像素排列的圖。
圖4是示出圖1的差分計算部200的結構例的框圖。
圖5是示出在本發明的實施方式Al中使用的、圖1的高分辨率圖像校正部300的結構例的框圖。
圖6是示出從對應點向其附近的像素擴散差分數據的一例的圖。
圖7的(a) (d)是示出對于校正對象像素成為差分數據的擴散起始地的對應點的相對位置的圖。
圖8是示出對于校正對象像素成為差分數據的擴散起始地的對應點的相對位置的圖。
圖9是示出包含邊緣和紋理區域的圖像的一例的圖。
圖10是示出具有圖1的圖像處理裝置的圖像顯示裝置的框圖。
圖11是示出圖1的邊緣增強圖像放大部100的結構例的框圖。
圖12是示出在本發明的實施方式A2中使用的、圖1的高分辨率圖像校正部300的結構例的框圖。
圖13是示出圖12的邊緣檢測部311的結構例的框圖。
圖14是示出圖12的紋理檢測部321的結構例的框圖。
圖15是示出本發明的實施方式么334、83、84、03、04的圖像處理方法的實施中使用的運算裝置的結構的框圖。
圖16是示出本發明的實施方式A3、A4、B3、B4、C3、C4的圖像處理方法的處理步驟的流程圖。
圖17是示出圖16的差分計算步驟ST200的處理步驟的流程圖。
圖18是示出在本發明的實施方式A3中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖19是示出圖16的邊緣增強圖像放大步驟ST100的處理步驟的流程圖。
圖20是示出在本發明的實施方式A4中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖21是示出圖20的邊緣檢測步驟ST311的處理步驟的流程圖。
圖22是示出圖20的紋理檢測步驟ST321的處理步驟的流程圖。
圖23是示出在本發明的實施方式BI中使用的、圖1的高分辨率圖像校正部300的結構例的框圖。
圖24是示出圖23的周期性檢測部331的結構例的框圖。
圖25是示出在本發明的實施方式B2中使用的、圖1的高分辨率圖像校正部300的結構例的框圖。
圖26是示出在本發明的實施方式B3中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖27是示出圖26的周期性檢測步驟ST331的處理步驟的流程圖。
圖28是示出在本發明的實施方式B4中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖29是示出在本發明的實施方式Cl中使用的、圖1的高分辨率圖像校正部300的結構例的框圖。
圖30的(a) (e)是示出亮度信息D340與校正系數F340的關系的不同例子的圖。
圖31是示出圖29的高分辨率圖像校正部300內的亮度信息生成部340的結構例的框圖。
圖32是示出圖29的高分辨率圖像校正部300內的亮度信息生成部340的另一個結構例的框圖。
圖33是示出圖29的高分辨率圖像校正部300內的亮度信息生成部340的又一個結構例的框圖。
圖34是示出在本發明的實施方式C2中使用的、圖1的高分辨率圖像校正部300的結構例的框圖。
圖35是示出在本發明的實施方式C3中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
圖36是示出在本發明的實施方式C4中使用的、圖16的高分辨率圖像校正步驟ST300的處理步驟的流程圖。
標號說明
DO:輸入圖像；100:邊緣增強圖像放大部；D100:邊緣增強放大圖像；200:差分計算部；D200:差分數據；300:高分辨率圖像校正部；D300:輸出圖像。
具體實施方式
實施方式Al
圖1是表示本發明的實施方式Al的圖像處理裝置的圖。實施方式Al的圖像處理裝置具有邊緣增強圖像放大部100、差分計算部200以及高分辨率圖像校正部300。
邊緣增強圖像放大部100接收輸入圖像D0，輸出像素數比輸入圖像DO多的邊緣增強放大圖像D100。在此，邊緣增強放大圖像DlOO是輸入圖像DO內的邊緣被增強后的放大圖像。有時也將放大圖像稱作高分辨率圖像，將輸入圖像稱作低分辨率圖像。
差分計算部200輸出表示輸入圖像DO與邊緣增強放大圖像DlOO的差分的差分數據 D200。
高分辨率圖像校正部300對邊緣增強放大圖像DlOO進行校正，以部分或全部消除由差分數據D200表示的差分，并將其結果作為輸出圖像D300進行輸出。
以下，分別對邊緣增強圖像放大部100、差分計算部200以及高分辨率圖像校正部300進行說明。
邊緣增強圖像放大部100生成增強輸入圖像DO內的邊緣后的放大圖像即邊緣增強放大圖像D100。在此，為了生成增強輸入圖像DO內的邊緣后的放大圖像，可以使用已知的方法，也可以使用例如上述專利文獻I中公開的圖像處理裝置。
圖2是示意地表示輸入圖像DO的圖。
在圖2中，最小的四邊形表示構成輸入圖像DO的像素。
當將構成輸入圖像DO的像素的寬度即在水平方向上鄰接的像素間的間隔設為Lx，高度即在垂直方向上鄰接的像素間的間隔設為Ly，水平方向的像素數設為Nx，垂直方向的像素數設為Ny時，輸入圖像DO由寬度為Lx、高度為Ly的像素在水平方向上排列Nx個、在垂直方向上排列Ny個而得到的二維形狀來表示。
此外，沿著輸入圖像DO的水平方向、垂直方向定義水平坐標、垂直坐標，將其單位長分別設為與Lx、Ly相等，使用取O以上且低于Nx的整數值的變量s和取O以上且低于Ny的整數值的變量t，表示構成輸入圖像DO的各像素的位置。
(X, y) = (s, t)
畫面左上角的像素為x=0、y=0，向右方移動I個像素，則x的值增大1，向下方移動I個像素，則I的值增大I。
以下，構成輸入圖像DO的像素中，位于坐標(X，y)的像素用PO (X，y)表示，像素PO (X，y)的像素值用DO (X，y)表示。此外，有時也將構成輸入圖像DO的像素PO (x, y)表示為像素PO。
此外，將邊緣增強圖像放大部100中的水平方向的倍率設為Sx，垂直方向的倍率設為Sy。該情況下，構成邊緣增強放大圖像DlOO的像素的寬度為Lx/Sx，高度為Ly/Sy。當將邊緣增強放大圖像DlOO的水平方向的像素數設為Mx，垂直方向的像素數設為My時，滿足下式。
Mx= [Sx.Nx]
My= [Sy.Ny]
另外，[A]表示不超過A的最大的整數，例如[10]=10，[10.5] =10。邊緣放大增強圖像DlOO由寬度為Lx/Sx、高度為Ly/Sy的像素在水平方向上排列Mx個、在垂直方向上排列My個而得到的二維形狀來表示。
此外，在水平坐標、垂直坐標的單位長與圖2所示的水平坐標、垂直坐標的單位長(Lx，Ly)相等的坐標系下考慮，使用取O以上且低于Mx的整數值的變量u和取O以上且低于My的整數值的變量V，表示構成邊緣增強放大圖像DlOO的各像素的位置，
(x, y) = (u/Sx, v/Sy)
水平方向像素間隔為Ι/Sx，垂直方向像素間隔為1/Sy。
圖3是示意地表示Sx=2、Sy=2的情況下得到的邊緣增強放大圖像DlOO的圖，在圖3中，最小的四邊形表示構成邊緣增強放大圖像DlOO的像素。
該情況下，
Mx= [2Nx]
My= [2Ny]
(x, y) = (u/2, v/2)0
另外，在以下的說明中除非有特別規定，否則在對由水平坐標、垂直坐標構成的坐標系及其坐標上的點進行敘述的情況下，使用圖2或圖3表示的坐標系即水平坐標、垂直坐標的單位長分別為Lx、Ly的坐標系。
以下，構成邊緣增強放大圖像DlOO的像素中，位于坐標(X，y)的像素用PlOO (x,y)表示,像素PlOO (x，y)的像素值用DlOO (x，y)表示。此外，構成邊緣增強放大圖像DlOO的像素PlOO (X，y)有時也僅表示為像素P100。
接著，對差分計算部200進行敘述。
圖4是示出差分計算部200的結構例的圖。
差分計算部200具有對應點設定部221、關注區域設定部222、對應點像素值計算部223以及減法部230。
對應點設定部221針對構成輸入圖像DO的各個像素PO，將在邊緣增強放大圖像DlOO內與該像素PO相同位置的部位設定為對應點。例如依次選擇構成輸入圖像DO的像素PO (x，y)作為關注像素，針對選擇出的關注像素設定對應點。即，相對于像素PO (x，y)的對應點的坐標為(X，y)。以下，用T (X, y)表示由坐標(X, y)表示的對應點。另外,有時也省略對應點T (X, y)的坐標的記載,僅表示為對應點T。
關注區域設定部222針對各個對應點T，將存在于其附近(包含對應點及其周圍的區域)的由邊緣增強放大圖像DlOO內的多個像素PlOO構成的區域設定為關注區域。
對應點像素值計算部223針對各關注區域，計算構成該關注區域的像素PlOO的像素值的加權相加值(以下稱作對應點像素值D223)。這相當于，假定在邊緣增強放大圖像DlOO內，對于構成輸入圖像DO的各個像素PO在與該像素PO相同的位置上存在與該像素PO相同大小的像素的情況下，根據構成邊緣增強放大圖像DlOO的像素PlOO (x，y)的像素值DlOO (x，y)，求出該像素具有的像素值。
當用D223 (x, y)表示對對應點T (x, y)計算出的對應點像素值D223時，得到下式。
D223(x$ j)
權利要求
1.一種圖像處理裝置，其特征在于，該圖像處理裝置具有: 邊緣增強圖像放大部，其將第I分辨率的輸入圖像轉換成所述輸入圖像中包含的邊緣被增強后的第2分辨率的高分辨率圖像； 差分計算部，其求出所述高分辨率圖像與所述輸入圖像的差分；以及高分辨率圖像校正部，其將所述差分向構成所述高分辨率圖像的各像素擴散，生成對所述高分辨率圖像進行校正后的校正圖像， 將所述校正圖像作為輸出圖像。
2.根據權利要求1所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部具有紋理檢測部，該紋理檢測部在所述輸入圖像中檢測像素值的變化局部較多的區域作為紋理區域， 在將所述輸入圖像與所述高分辨率圖像重合的情況下，在被檢測為所述紋理區域的區域附近以外，抑制至少部分地消除所述差分的校正。
3.根據權利要求1所述的圖像處理裝置，其特征在于， 所述差分計算部具有: 對應點設定部，其在將所述輸入圖像重合在所述高分辨率圖像上的情況下，將構成所述輸入圖像的各像素重合的位置設為對應點； 對應點像素值計算部，其根據所述高分辨率圖像的像素值，求出在所述對應點存在與構成所述輸入圖像的各像素大小相同的像素時的像素值，作為對應點的像素值；以及 第I減法部，其求出所述輸入圖像的各像素的像素值與由所述對應點像素值計算部求出的與該像素有關的對應點的像素值之間的差， 將所述第I減法部的輸出作為所述差分。
4.根據權利要求3所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部具有擴散系數計算部，該擴散系數計算部按照每個所述對應點求出擴散系數，該擴散系數用于決定將所述差分向存在于所述對應點附近的、構成所述高分辨率圖像的各像素擴散的量。
5.根據權利要求4所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部具有: 擴散量計算部，其針對構成所述高分辨率圖像的各像素，使用所述擴散系數求出從該像素附近的I個或2 個以上的各個對應點向該像素擴散的差分，進而求出從該像素附近的所述I個或2個以上的對應點擴散的差分的和并進行輸出；以及 第2減法部，其輸出從所述邊緣增強圖像放大部輸出的所述高分辨率圖像的像素值減去所述擴散量計算部的輸出值而得到的值， 將所述第2減法部的輸出值作為所述校正圖像的像素值。
6.根據權利要求4所述的圖像處理裝置，其特征在于， 所述擴散系數是對彼此不同的矩陣進行加權相加而得到的。
7.根據權利要求6所述的圖像處理裝置，其特征在于， 所述彼此不同的矩陣彼此線性獨立。
8.根據權利要求6所述的圖像處理裝置，其特征在于， 用于所述加權相加的權重系數按照每個所述對應點而不同。
9.根據權利要求6所述的圖像處理裝置，其特征在于， 用于所述加權相加的權重系數是根據所述輸入圖像的像素值的變化而求出的。
10.根據權利要求1所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部還具有檢測所述輸入圖像中包含的邊緣的邊緣檢測部， 在將所述輸入圖像與所述高分辨率圖像重合的情況下，在被檢測到所述邊緣的部位附近，抑制消除所述差分的校正。
11.根據權利要求1所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部還具有檢測在所述高分辨率圖像中包含周期性圖案的部位的周期性判定部， 在被判定為在所述高分辨率圖像中包含周期性圖案的部位中，抑制消除所述差分的校正。
12.根據權利要求1所述的圖像處理裝置，其特征在于， 所述高分辨率圖像校正部檢測在所述高分辨率圖像或所述輸入圖像中聚集較多的具有較小像素值的像素的區域，或者聚集較多的具有較大像素值的像素的區域，在該區域中抑制消除所述差分的校正。
13.一種圖像顯示裝置，其特征在于，該圖像顯示裝置具有權利要求f 12中的任意一項所述的圖像處理裝置。
14.一種圖像處理方法，其特征在于，該圖像處理方法具有以下步驟: 邊緣增強圖像放大步驟，將第I分辨率的輸入圖像轉換成所述輸入圖像中包含的邊緣被增強后的第2分辨率的高分辨率圖像； 差分計算步驟，求出所述高分辨率圖像與所述輸入圖像的差分；以及高分辨率圖像校正步驟，將所述差分向構成所述高分辨率圖像的各像素擴散，生成對所述高分辨率圖像進行校正后的校正圖像， 將所述校正圖像作為輸出圖像。
15.一種圖像顯示裝置，其特征在于，該圖像顯示裝置顯示采用權利要求14所述的圖像處理方法處理后的圖像。`
全文摘要
本發明提供一種圖像處理裝置、圖像處理方法以及圖像顯示裝置，在增強邊緣的同時放大圖像，由此防止在生成的紋理區域中圖像劣化。邊緣增強圖像放大部(100)將輸入圖像(D0)轉換成邊緣被增強后的高分辨率圖像(D100)，差分計算部(200)求出高分辨率圖像(D100)與輸入圖像(D0)的差分(D200)。高分辨率圖像校正部(300)將差分(D200)向構成高分辨率圖像(D100)的各像素擴散，生成對高分辨率圖像進行校正后的校正圖像(D300)。
文檔編號G09G5/10GK103106893SQ20121044145
公開日2013年5月15日 申請日期2012年11月7日 優先權日2011年11月11日
發明者守谷正太郎, 山中聰, 吉井秀樹, 杉之原英嗣 申請人:三菱電機株式會社