圖像處理裝置、圖像處理方法和程序的制作方法
【專利摘要】本發明涉及圖像處理裝置、圖像處理方法和程序。一種圖像處理裝置，該圖像處理裝置包括控制單元，該控制單元從輸入圖像提取靜止圖像部分并且改變靜止圖像部分。
【專利說明】圖像處理裝置、圖像處理方法和程序
【技術領域】
[0001 ] 本發明涉及圖像處理裝置、圖像處理方法和程序。
【背景技術】
[0002]專利文獻I和2公開了為了防止顯示器的烙印(burn-1n)將整個顯示圖像在顯示器的顯示畫面內移動的技術。
[0003][引用列表]
[0004][專利文獻]
[0005][專利文獻I]
[0006]JP2007-304318A
[0007][專利文獻2]
[0008]JP2005-49784A
【發明內容】
[0009][技術問題]
[0010]然而，因為在上述技術中移動顯示圖像，所以用戶在用視覺認識時感到煩惱。因此，尋求的是能夠減少用戶感到的煩惱并且減少顯示器的烙印的技術。
[0011][問題的解決方法]
[0012]根據本發明，提供了一種圖像處理裝置，該圖像處理裝置包括:控制單元，該控制單元被構造為從輸入圖像提取靜止圖像部分，并且改變所述靜止圖像部分。
[0013]根據本發明，提供了 一種圖像處理方法，該圖像處理方法包括:從輸入圖像提取靜止圖像部分；以及改變所述靜止圖像部分。
[0014]根據本發明，提供了一種程序，該程序致使計算機實現控制功能，該控制功能用于從輸入圖像提取靜止圖像部分并且改變所述靜止圖像部分。
[0015]根據本發明，可以從輸入圖像提取靜止圖像部分并且可以改變靜止圖像部分。
[0016][本發明的有益效果]
[0017]如上所述，根據本發明，圖像處理裝置能夠在顯示器上顯示靜止圖像部分已改變的輸入圖像。因此，圖像處理裝置可以在固定整個所顯示圖像的顯示位置之后改變靜止圖像部分，從而減少用戶感到的煩惱和顯示器的烙印。
【專利附圖】
【附圖說明】
[0018]圖1是示出根據本發明的實施方式的將被輸入到圖像處理裝置的輸入圖像的例子的說明圖。
[0019]圖2是示出根據本發明的實施方式的將被輸入到圖像處理裝置的輸入圖像的例子的說明圖。
[0020]圖3是示出根據本發明的實施方式的將被輸入到圖像處理裝置的輸入圖像的例子的說明圖。
【具體實施方式】
[0031]本文中將參照附圖詳細描述本發明的有利實施方式。注意的是，用相同的參考標號表示具有基本相同功能的構造元件，使得省略了對其的重復描述。
[0032]注意的是，將以下面的次序提供描述。
[0033]1.【背景技術】研究
[0034]2.由圖像處理裝置進行處理的概述
[0035]3.圖像處理裝置的構造
[0036]4.由圖像處理裝置進行的處理的過程
[0037]〈1.【背景技術】研究〉
[0038]發明人已經通過研究背景技`術得出根據本發明實施例的圖像處理裝置10。因此，首先，將描述發明人進行的研究。
[0039]在運動圖像性質、視角性質、顏色再現性等方面，自發光型顯示裝置(如陰極射線管(CRT)、等離子體顯示面板(PDP)和有機發光顯示器(OLED))優于需要背光的液晶顯示裝置。然而，當長時間顯示靜止圖像時，顯示靜止圖像的元件持續發射相同顏色的光，因此，發光性質可能劣化。另外，發光性質劣化的元件在圖像切換時可能顯示先前圖像的殘像。這種現象被稱為烙印(burn-1n)。靜止圖像的亮度(對比度)越大，越容易出現烙印。
[0040]為了防止/減少烙印，已經提出了一種方法，該方法通過隨著時間推移將整個顯示畫面移動若干像素來分散發光的像素，并且使靜止圖像的烙印邊界不太引人注意。
[0041]例如，專利文獻I公開了一種在考慮OLED的發光性質的情況下移動整個畫面的顯示位置的方法。專利文獻2公開了一種從運動圖像的運動向量得到整個圖像被在哪個方向上移動的方法。也就是說，專利文獻I和2公開了為了防止顯示器的烙印將整個顯示圖像在顯示畫面內移動的技術。
[0042]然而，在這種技術中，整個顯示圖像被移動。另外，當顯示圖像被移動時,顯示圖像的外部部分(即，黑框的寬度)改變。因此，用戶容易認識到顯示圖像的顯示位置已經改變。因此，用戶因顯示圖像的移動而感到煩惱。另外，為了即使在整個顯示圖像被左右和上下移動時也顯示整個顯示圖像，必須將顯示裝置的像素數量增加至比所顯示圖像的像素數量多。[0043]因此，發明人已經努力研究了上述【背景技術】，并且已經得到根據本實施方式的圖像處理裝置10。圖像處理裝置10 (示意性地講)從輸入圖像提取靜止圖像部分，并且改變靜止圖像部分(例如，移動靜止圖像部分，改變顯示放大倍數等)。圖像處理裝置10然后將輸入圖像作為顯示圖像在顯示器上顯示。因此，圖像處理裝置10可以在固定整個所顯示圖像的顯示位置之后改變靜止圖像部分，從而減少用戶感到的煩惱和顯示器的烙印。另外，顯示器的像素數量可能只是與所顯示圖像的程度近似的程度。因此，圖像處理裝置10可以減少顯示器的像素數量。
[0044]〈2.由圖像處理裝置進行處理的概述〉
[0045]然后，將參照圖1至圖5描述由圖像處理裝置10進行處理的概述。圖1至圖3示出將被輸入到圖像處理裝置10的輸入圖像的例子。在這些例子中，構成同一場景的第(n-1)幀的輸入圖像Fl (η-1)、第η幀的輸入圖像Fl (η)和第(η+1)幀的輸入圖像Fl (η+1)被順序輸入到圖像處理裝置10 (η是整數)。注意的是，在本實施方式中，構成每個輸入圖像的像素具有xy坐標。X軸是在圖1中的水平方向上延伸的軸，并且y軸是在垂直方向上延伸的軸。在本實施方式中，雖然繪出簡單圖像(星形圖像等)作為用于描述處理的輸入圖像，但更復雜的圖像(字幕等)當然可應用于本實施方式。
[0046]圓形圖像110和星形圖像120被繪于輸入圖像Fl (n-1)、F1 (η)和Fl (η+1)(下文中，這些輸入圖像被統稱為“輸入圖像F1”)中。因為在每個幀中星形圖像120的顯示位置是固定的，所以它表現為靜止圖像部分，而在每個幀中圓形圖像110的顯示位置是移動的(從左端移到右端)，并因此表現為運動圖像部分。如果星形圖像120長時間顯示于同一顯示位置，則有可能造成星形圖像120的顯示位置出現烙印。星形圖像120的亮度越高，出現烙印的可能性越大。
[0047]因此，圖像處理裝置10改變星形圖像120。具體地講，如圖2和圖4中所示，圖像處理裝置10移動星形圖像120在輸入Fl (η)中的顯示位置(執行所謂的“軌道處理(orbitprocessing)”)以產生靜止插補圖像Fla(n)。這里,運動方向與構成圓形圖像110的周邊區域的運動圖像部分(這里，圓形圖像110的運動向量)處于相同方向或相反方向。另外，雖然運動量等于運動向量的絕對值，但運動量可以不同于絕對值。
[0048]這里，在靜止插補圖像Fla(n)中，由于星形圖像120的運動，導致形成空白部分120a。空白部分120a形成在輸入圖像Fl (η)中的星形圖像120的顯示區域中與靜止插補圖像Fla(n)中的星形圖像120的顯示區域不重疊的部分中。
[0049]因此，圖像處理裝置10對空白部分120a進行插補。具體地講，圖像處理裝置10從輸入圖像Fl (η-1)和Fl (η+1)(即先前幀和后續幀)提取與空白部分120a對應的空白對應部分。更具體地講，當期望以與圓形圖像110的運動向量相同的方向移動星形圖像120時，圖像處理裝置10從作為先前幀的輸入圖像Fl (η-1)提取空白對應部分。同時，當期望以與圓形圖像110的運動向量相反的方向移動星形圖像120時，圖像處理裝置10從作為后續幀的輸入圖像Fl (η+1)提取空白對應部分。然后，如圖5中所示，圖像處理裝置10通過將所提取區域疊加在空白部分120a上，產生合成圖像Flb (η)。圖像處理裝置10然后把合成圖像Flb (η)作為第η幀輸入圖像進行顯示來取代輸入圖像Fl (η)。
[0050]因此，圖像處理裝置10可以改變星形圖像120 (在這個例子中，可以將星形圖像120移動若干像素)，從而抑制顯示星形圖像120的元件的劣化，這導致顯示器的烙印減少。另外，因為圖像處理裝置10不必移動整個顯示圖像的顯示位置，所以用戶感到的煩惱可以減少。另外，因為顯示器的像素數量可以只是與所顯示圖像的像素數量近似的程度，所以圖像處理裝置10可以減少顯示器的像素數量。注意的是，雖然在這個例子中，只調節了第η幀的輸入圖像Fl (η)的星形圖像120，但還可以類似地調節其它幀的輸入圖像。另外，雖然星形圖像120在圖4中的右方向上移動，但是星形圖像120也可以在左方向上移動。
[0051]<3.圖像處理裝置的構造〉
[0052]接下來，將基于圖6中示出的框圖描述圖像處理裝置10的構造。圖像處理裝置10包括存儲器11和18和控制單元10a。控制單元IOa包括運動向量計算單元12、像素差計算單元13、移動部分檢測單元14、靜止部分檢測單元15、靜止類型確定單元16和方向等確定單元17。另外,控制單元IOa包括靜止插補單元19、運動插補單元20、縮放插補單元21和合成單元22。
[0053]注意的是，圖像處理裝置10包括硬件構造，包括CPU、ROM、RAM、硬盤等。允許圖像處理裝置10實現控制單元IOa的程序被存儲在ROM中。CPU讀取ROM中記錄的程序并且執行程序。因此，這些硬件構造實現控制單元10a。注意的是，在本實施方式中，“先前幀”意思是當前幀之前的一個幀并且“后續幀”意思是當前幀之后的一個幀。也就是說，控制單元IOa從前一幀和后一幀中檢測空白對應部分。然而，控制單元IOa可以從其它先前幀(或其它后續)幀中提取空白對應部分。
[0054]存儲器11還用作幀存儲器，并且存儲具有至少兩個或更多個場、或兩個或更多個幀的輸入圖像。運動向量計算單元12從存儲器11獲取當前幀的輸入圖像和先前幀的輸入圖像。另外，運動向量計算單元12從靜止部分檢測單元15獲取靜止圖像部分信息。這里，靜止圖像部分信息指示構成靜止圖像部分的像素。
[0055]然后，運動向量計算單元12基于該信息以塊為單位計算當前幀的輸入圖像的運動向量。也就是說，運動向量計算單元12從當前幀排除靜止圖像部分，并且將除了靜止圖像部分之外的區域劃分成多個塊。這里，運動向量計算單元12將靜止圖像部分的周邊區域劃分成第一塊并且將除了周邊區域之外的區域(即，被分開的區域)劃分成第二塊。第一塊小于第二塊。也就是說，在詳細檢測靜止圖像部分的周邊區域的運動的同時，與周邊區域相比，運動向量計算單元12粗略檢測其它區域的運動。如以下描述的，這是因為，靜止圖像部分的周邊區域是必須對空白部分進行插補的區域。雖然第一塊和第二塊的大小不受特別限制，但第一塊具有(例如)2X2個像素的大小，并且第二塊具有16X16個像素的大小。周邊區域的大小也不受特別限制。然而，周邊區域的外邊緣部分和靜止圖像部分之間的距離可以是許多像素(例如，5個至6個像素)。
[0056]運動向量計算單元12然后從存儲器11獲取先前幀的運動向量信息，并且匹配當前幀的塊和先前幀的塊(執行塊匹配)，以將當前幀的塊和先前幀的塊彼此相關聯。運動向量計算單元12然后基于當前幀的塊和先前幀的塊，計算當前幀的塊的運動向量。運動向量是指示一個幀期間每個塊的移動方向和移動量的向量信息。塊匹配和計算運動向量的方法不受特別限制。例如，使用用于MPEG圖像的運動評估的絕對偏差估計(SAD)之和，執行其處理。
[0057]運動向量計算單兀12將與每個塊的運動向量相關的運動向量信息輸出到移動部分檢測單元14、靜止部分檢測單元15、靜止插補單元19和運動插補單元20。運動向量計算單元12將運動向量信息存儲在存儲器11中。當計算下一幀的運動向量時，使用存儲器11中存儲的運動向量信息。
[0058]像素差計算單元13從存儲器11獲取當前幀的輸入圖像、先前幀的輸入圖像和后續幀的輸入圖像。像素差計算單元13然后比較構成當前幀的像素和構成先前幀和后續幀的像素，以提取每個像素的靜止圖像部分。
[0059]具體地講，像素差計算單元13基于以下的表達式(I)計算每個像素P(x，y)的亮度差值APL。
[0060]Δ PL= IP (F (n-1)，x, y) +P (F (η+1)，x, y) _2*Ρ (F (η), χ, y) |...(I)
[0061]在表達式(I)中，P(F(n-1), x, y)、P (F (n), x, y)和 P(F(n+l), x, y)分別代表先前幀、當前幀和后續幀中的像素P(x，y)的亮度。
[0062]這里，將參照圖8和圖9描述亮度差值APL的計算例子。在這個例子中，如圖8中所示，第(η-1)幀至第(n+2)幀的輸入圖像F2 (η-1)至F2 (n+2)被輸入到圖像處理裝置10。這些輸入圖像F2(n-1)至F2(n+2)構成同一場景。在這個例子中，因為在每個幀中圓形圖像210的顯示位置是固定的，所以圓形圖像210用作靜止圖像部分。在每個幀中，三角形圖像220的顯示位置是移動的(從右下端部分移動到上左端部分)，因此三角形圖像220用作運動圖像部分。箭頭220a代表三角形圖像220的運動向量。在這個例子中，用上述表達式(I)計算圓形圖像210內的像素P(x，y)的亮度差值APL。
[0063]像素差計算單元13產生與每個像素的亮度差值Λ PL相關的亮度差值信息，并且將該信息輸出到移動部分檢測單元14和靜止部分檢測單元15。
[0064]注意的是，針對每個像素執行像素差計算單元13的處理，因此處理的負荷大于針對每個塊進行計算的負荷。因此，由運動向量計算單元12將輸入圖像粗略劃分成靜止圖像塊和運動圖像塊，并且可以針對靜止圖像塊執行像素差計算單元13的處理。
[0065]在這種情況下，例如，運動向量計算單元12將輸入圖像劃分成具有相同尺寸的塊，并且針對每個塊執行塊匹配等，以計算每個塊的運動向量。運動向量計算單元12然后將運動向量信息輸出到像素差計算單元13。當運動向量的絕對值(大小)小于預定的參考向量的大小時，像素差計算單元13將具有運動向量的塊識別為靜止圖像塊。像素差計算單元13然后計算構成靜止圖像塊的像素的亮度差值APL，并且將亮度差值信息輸出到靜止部分檢測單元15。靜止部分檢測單元15通過下述的處理產生靜止圖像部分信息，并且將該信息輸出到運動向量計算單元12。運動向量計算單元12基于靜止圖像部分信息只將靜止圖像部分的周邊區域再劃分成第一塊，并且針對第一塊執行上述處理。運動向量計算單元12然后將運動向量信息輸出到移動部分檢測單元14等。根據該處理，像素差計算單元13可以從輸入圖像之中僅僅計算具有高概率成為靜止圖像部分的那部分的亮度差值APL，從而降低處理負荷。
[0066]移動部分檢測單元14基于運動向量信息和亮度差值信息從當前幀的輸入圖像中檢測運動圖像部分。具體地講，移動部分檢測單元14將包括其中亮度差值等于或大于預定參考差值的像素的塊識別為運動圖像部分。另外，如果運動向量的絕對值(大小)等于或大于預定參考向量的大小，則移動部分檢測單元14將具有運動向量的塊識別為運動圖像部分。移動部分檢測單元14然后產生指示用作運動圖像部分的塊的運動圖像部分信息，并且將該信息輸出到靜止類型確定單元16。[0067]靜止部分檢測單元15基于亮度差值信息從當前幀的輸入圖像中檢測靜止圖像部分。具體地講，靜止部分檢測單元15將其中亮度差值小于參考差值的像素識別為靜止圖像部分。以此方式，在本實施方式中，靜止部分檢測單元15以像素為單位檢測靜止圖像部分。因此，靜止圖像部分的檢測精度提高。靜止部分檢測單元15產生指示構成靜止圖像部分的像素的靜止圖像信息，并且將該信息輸出到運動向量計算單元12和靜止類型確定單元16。
[0068]注意的是，靜止圖像部分的例子包括具有給定大小的區域、圖、符號等。具體地講，靜止圖像部分的例子包括標識、時鐘圖、屏幕底部出現的字幕。靜止部分檢測單元15將靜止圖像信息存儲在存儲器18中。另外，當發生場景改變時，靜止部分檢測單元15刪除存儲器18中的靜止圖像信息。
[0069]靜止類型確定單元16基于運動圖像部分信息和靜止圖像信息確定移動輸入圖像的靜止類型。這里，在本實施方式中，靜止類型是“運動圖像”、“部分區域靜止”和“整個區域靜止”中的一種。
[0070]“運動圖像”指示其中靜止圖像部分形成不同于“部分區域靜止”的形狀的輸入圖像。在“運動圖像”的輸入圖像中，靜止圖像部分常常小于運動圖像部分，如標識、時鐘的圖和賽事得分。
[0071]“部分區域靜止”指示其中在χ方向上或者在y方向上在橫跨輸入圖像的兩端之間的長度上形成靜止圖像部分的輸入圖像。在圖11中示出用作“部分區域靜止”的輸入圖像的例子。在這個例子中，在橫跨X方向上的兩端之間的長度上形成靜止圖像部分320。“部分區域靜止”的輸入圖像的例子包括其中圖像的下部是用于字幕等的區域的輸入圖像、和其中在被劃分成“運動圖像”的圖像周圍形成黑帶圖像(或某種靜止圖像部分)的輸入圖像。在這些輸入圖像中，靜止圖像部分和運動圖像部分之間的邊界往往是固定的，因此往往出現烙印。
[0072]“整個區域靜止”指示其中整個區域出于某些原因(例如，用戶已經執行停止操作)保持靜止的“運動圖像”或“部分區域靜止”。“整個區域靜止”的輸入圖像的例子包括其中整個區域保持完全靜止的圖像、和顯示人正在中心處說話的輸入圖像。注意的是，當前一例子的完全靜止繼續更長時間時，畫面可以被轉換到屏幕保護程序等。在本實施方式中，主要假設運動圖像狀態和靜止狀態之間狀態轉變和這類狀態轉變的重復。注意的是，即使輸入圖像的狀態被轉換，靜止圖像部分如字幕的顯示位置也是相同的。因此，靜止圖像部分往往出現烙印。在圖13中示出用作“整個區域靜止”的輸入圖像的例子。在這個例子中，當輸入圖像F5包括靜止圖像部分520和運動圖像部分510時，運動圖像部分510在某些時刻保持靜止。在這種情況下，不管輸入圖像F5的狀態如何，靜止圖像部分520的顯示位置是固定的，因此，與顯示運動圖像部分510的元件相比，顯示靜止圖像部分520的元件更有可能造成烙印。
[0073]如上所述，在本實施方式中，靜止類型的輸入圖像被劃分成三種類型。另外，如下所述，必須針對每種靜止類型變化改變靜止圖像部分的方法。因此，靜止類型確定單元16基于運動圖像部分信息和靜止圖像部分信息確定輸入圖像的靜止類型。靜止類型確定單元16然后將與判斷結果相關的靜止類型信息輸出到方向等確定單元17。
[0074]方向等確定單元17基于靜止類型信息等確定靜止圖像部分的改變方法、改變方向和改變量。[0075]當輸入圖像是“運動圖像”時，方向等確定單元17確定改變方法是“移動”。如上所述，這是因為，當移動靜止圖像部分時，形成空白部分，并且可以使用另一幀的空白對應部分對空白部分進行插補。當然，方向等確定單元17可以確定改變方法是用于“改變顯示倍率”。在這種情況下，執行類似于下述“整個區域靜止”的調節。
[0076]方向等確定單元17基于運動圖像部分的運動向量確定靜止圖像部分的改變方向。也就是說，方向等確定單元17提取構成靜止圖像部分的周邊區域的運動圖像部分的運動向量，并且計算運動向量的算術平均值。方向等確定單元17然后確定靜止圖像部分的改變方向，也就是說，移動方向與運動向量的算術平均值是相同方向或相反方向。
[0077]這里，方向等確定單元17從存儲器18獲取圖像劣化信息并且基于圖像劣化信息確定移動方向。這里，圖像劣化信息指示通過針對每個元件累積元件的顯示亮度而得到的值。較大的值指示元件被更頻繁使用(換句話說，元件劣化)。也就是說，圖像劣化信息指示構成顯示器的顯示屏幕的每個像素的使用狀況。從抑制烙印的角度來看，有利的是，致使劣化程度低的元件顯示靜止圖像部分。因此，方向等確定單元17參考移動方向上元件的圖像劣化信息，并且在存在劣化程度低的像素的方向上移動靜止圖像部分。注意的是，圖像劣化信息可以是顯示亮度累計值之外的值。例如，圖像劣化信息可以是顯示大于或等于預定值的亮度的次數。
[0078]注意的是，因為“運動圖像”的輸入圖像的靜止圖像部分和運動圖像部分的顯示位置頻繁切換，所以顯示“運動圖像”的輸入圖像的元件被平均使用。因此，在所有元件中，劣化程度大致是平均的。同時，在下述的“部分區域靜止”中，因為特定元件持續顯示靜止圖像部分，所以劣化程度變大。因此，圖像劣化信息尤其可用于確定“部分區域靜止”的靜止圖像部分的移動方向。
[0079]方向等確定單元17基于運動圖像部分的運動向量確定靜止圖像部分的改變量，即，移動量。也就是說，方向等確定單元17提取構成靜止圖像部分的周邊區域的運動圖像部分的運動向量，并且計算運動向量的算術平均值。方向等確定單元17然后確定靜止圖像部分的移動量是與運動向量的算術平均值相同的值。當然，移動量不限于以上值，并且例如可以是比運動向量的算術平均值小的值。例如，方向等確定單元17可以基于圖像劣化信息確定改變量。具體地講，當如果改變量小于運動向量的算術平均值可以減少器件的劣化時，則方向等確定單元17確定改變量小于運動向量的算術平均值。
[0080]當輸入圖像是“部分區域靜止”時，方向等確定單元17確定改變方法為“移動”。這是因為，即使在這種靜止類型中，由于靜止圖像部分移動也造成空白部分，并且可以通過另一幀的空白對應部分或者通過當前幀的靜止圖像部分對這個空白部分進行插補。以下將描述細節。
[0081 ] 方向等確定單元17確定靜止圖像部分的改變方向(也就是說，移動方向)是X方向或y方向。具體地講，當靜止圖像部分在橫跨χ方向上的兩端之間的長度上形成時，方向等確定單元17確定改變方向是y方向。同時，當靜止圖像部分在橫跨y方向上的兩端之間的長度上形成時，方向等確定單元17確定改變方向是χ方向。靜止圖像部分的移動方向是與運動圖像部分的運動向量相交、相同或相反的方向。注意的是，方向等確定單元17可以確定移動方向是傾斜方向。在這種情況下，移動方向是χ方向和y方向的組合。當移動方向是傾斜方向時，下述的靜止插補單元19和運動插補單元20進行的處理也是對應于χ方向和I方向的處理的組合。
[0082]這里，方向等確定單元17可以從存儲器18獲取圖像劣化信息并且基于圖像劣化信息確定移動方向。也就是說，方向等確定單元17參照移動方向上的元件的圖像劣化信息，并且將靜止圖像部分移動到其中存在劣化程度較低的元件的方向上。
[0083]方向等確定單元17基于運動圖像部分的運動向量確定靜止圖像部分的改變量，也就是說，移動量。也就是說，方向等確定單元17提取構成靜止圖像部分的周邊區域的運動圖像部分的運動向量，并且計算運動向量的算術平均值。方向等確定單元17然后確定靜止圖像部分的移動量是與運動向量的算術平均值相同的值。當然，移動量不限于這個值，并且例如可以是比運動向量的算術平均值小的值。例如，方向等確定單元17可以基于圖像劣化信息確定改變量。具體地講，當如果改變量小于運動向量的算術平均值可以減少元件的劣化時，則方向等確定單元17確定改變量小于運動向量的算術平均值。
[0084]可供選擇地，方向等確定單元17可以在將靜止圖像部分移動到與運動向量相交的方向上，或者尤其是與運動向量垂直的方向上時，在不考慮運動向量的情況下確定改變量。這是因為，如下所述，當將靜止圖像部分移動到與運動向量垂直的方向上時，通過靜止圖像部分對空白部分進行插補，因此不必考慮運動向量。
[0085]當輸入圖像是“整個區域靜止”時，方向等確定單元17確定改變方法是“改變顯示倍率”。當輸入圖像是“整個區域靜止”時，運動圖像部分也被暫時停止。因此，沒有精確計算運動圖像部分的運動向量(運動向量暫時變成O或接近O的值)。因此，圖像處理裝置10不必基于運動向量對由于靜止圖像部分的移動而造成的空白部分進行插補。因此，當輸入圖像是“整個區域靜止”時，方向等確定單元17確定改變方法是“改變顯示倍率”。
[0086]方向等確定單元17確定靜止圖像部分的改變方向和改變量，也就是說，顯示倍率的X分量和y分量。當X分量大于I時，靜止圖像部分在X方向上被放大，并且當X分量的值小于I時，靜止圖像部分在χ方向上被縮小。對于y分量，同樣如此。這里，方向等確定單元17可以從存儲器18獲取圖像劣化信息并且基于圖像劣化信息確定顯示倍率的χ分量和I分量。具體內容與“運動圖像”和“部分區域靜止”的具體內容近似。
[0087]方向等確定單元17將與改變量相關的改變方法、改變方向和改變信息輸出到靜止插補單元19、運動插補單元20和縮放插補單元21。
[0088]靜止插補單元19從存儲器11獲取當前幀的輸入圖像，并且基于從運動向量計算單元12和方向等確定單元17提供的信息和當前幀的輸入圖像，產生靜止插補圖像。
[0089]將基于圖8和圖10至圖13描述靜止插補單元19進行的處理的具體例子。首先，將描述當輸入圖像是“運動圖像”時執行的處理的例子。在這個例子中，圖8中示出的輸入圖像F2(n-1)至F2(n+2)被輸入到圖像處理裝置10。另外，當前幀是第η幀。
[0090]如圖10中所示，靜止插補單元19將圓形圖像210(即輸入圖像F2(n)的靜止圖像部分)在箭頭210a的方向(與三角形圖像220的運動向量相同的方向)上移動以產生靜止插補圖像F2a (η)。這里，移動量是與三角形圖像220的運動向量的大小近似的程度。因此，在靜止插補圖像F2a(n)中形成空白部分210b。
[0091]接下來，將描述當輸入圖像的靜止類型是“部分區域靜止”時執行的處理的例子。在這個例子中，圖11中示出的輸入圖像F3被輸入到圖像處理裝置10。輸入圖像F3包括運動圖像部分310和靜止圖像部分320。箭頭310a指不運動圖像部分310的運動向量。[0092]如圖11中所示，靜止插補單元19將靜止圖像部分320向上移動(在箭頭320a的方向上)。也就是說，靜止插補單元19將靜止圖像部分320在垂直于運動向量的方向上移動。因此，靜止插補單元19產生靜止插補圖像F3a。在靜止插補圖像F3a中形成空白部分330。
[0093]接下來，將描述當輸入圖像的靜止類型是“部分區域靜止”時執行的處理的另一個例子。在這個例子中，圖12中示出的輸入圖像F4被輸入到圖像處理裝置10。輸入圖像F4包括運動圖像部分410和靜止圖像部分420。箭頭410a指示運動圖像部分410的運動向量。
[0094]如圖12中所示，靜止插補單元19將靜止圖像部分420向下移動(在箭頭420a的方向上)。也就是說，靜止插補單元19將靜止圖像部分420在與運動向量相同的方向上移動。因此，靜止插補單元19產生靜止插補圖像F4a。在靜止插補圖像F4a中形成空白部分430。注意的是，因為由于靜止圖像部分420向下移動導致靜止插補圖像F4a被放大，所以靜止插補單元19對靜止圖像部分420執行縮小、剪輯等，以使靜止插補圖像F4a和輸入圖像F4的大小一致。
[0095]注意的是，靜止插補單元19可以基于靜止圖像部分420的性質，判定是執行縮小還是剪輯。例如，當靜止圖像部分420是單色(例如，黑色)的帶時，靜止插補單元19可以執行縮小處理或剪輯處理。同時，當在靜止圖像部分420上繪出某種圖案(字幕等)時，有利的是，靜止插補單元19執行縮小處理。這是因為，當執行剪輯處理時，有可能丟失靜止圖像部分420的一部分信息。
[0096]接下來，將描述當輸入圖像的靜止類型是“整個區域靜止”時執行的處理的例子。在這個例子中，圖13中示出的輸入圖像F5被輸入到圖像處理裝置10。輸入圖像F5包括運動圖像部分510和靜止圖像部分520。注意的是，運動圖像部分510也被暫時停止。
[0097]如圖13中所示，靜止插補單元19將輸入圖像F5在χ方向和y方向上(在箭頭500的方向上)放大，以產生靜止插補圖像F5a。因此，在這種情況下，顯示倍率的χ分量和y分量都大于I。因此，靜止圖像部分520放大以變成經放大靜止圖像部分520a，并且運動圖像部分510放大以變成經放大運動圖像部分510a。注意的是，經放大運動圖像部分510a中的外邊緣部分510b超出輸入圖像F5，因此這個部分不能在顯示器上顯示。因此，如下所述，運動插補單元20執行非線性縮放，使得不形成外邊緣部分510b。以下將描述細節。靜止插補單元19將靜止插補圖像輸出到合成單元22。
[0098]注意的是，在圖13中示出的例子中，靜止插補單元19放大輸入圖像F5。然而，如果方向等確定單元17提供的改變信息指示輸入圖像的縮小，則靜止插補單元19縮小輸入圖像F5。在這種情況下，靜止插補圖像變得比輸入圖像小。因此，運動插補單元20對運動圖像部分應用非線性縮放，以放大靜止插補圖像。以下將描述細節。
[0099]運動插補單元20從存儲器11獲取當前幀和先前幀和后續幀的輸入圖像，并且基于當前幀和先前幀和后續幀的輸入圖像和運動向量計算單元12和方向等確定單元17提供的信息，產生空白對應部分或經調節運動圖像部分。
[0100]將基于圖8和圖10至圖13描述由運動插補單元20進行的處理的具體例子。首先，將描述當輸入圖像是“運動圖像”時執行的處理的例子。在這個例子中，圖8中示出的輸入圖像F2 (η-1)至F2 (n+2)被輸入到圖像處理裝置10。另外，當前幀是第η幀。在這個例子中，由靜止插補單元19將圓形圖像210在與三角形圖像220的運動向量相同的方向上移動，并且形成空白部分210b。
[0101]這里，運動插補單元20從構成先前幀的輸入圖像的塊(特別是，從第一個塊)提取與空白部分210b對應的空白對應部分210c。具體地講，運動插補單元20基于先前幀的每個塊的運動向量，預測當前幀中每個塊的位置。運動插補單元20然后從先前幀中的各個塊之中，將被預測移動到當前幀中的空白部分210b的塊識別為空白對應部分210c。因此，運動插補單元20提取空白對應部分210c。
[0102]同時，當將靜止圖像部分在與運動向量相反的方向上移動時，運動插補單元20從構成后續幀的塊(具體地講，從第一個塊)中提取與空白部分對應的空白對應部分。具體地講，運動插補單元20替換后續幀的運動向量的符號以計算反向運動向量，并且估計后續幀的各個塊存在于當前幀中哪個位置。運動插補單元20然后將被估計存在于當前幀中的空白部分的那部分識別為空白對應部分。因此，運動插補單元20提取空白對應部分210c。
[0103]接下來，將描述當輸入圖像的靜止類型是“部分區域靜止”時執行的處理的例子。在這個例子中，圖11中示出的輸入圖像F3被輸入到圖像處理裝置10。輸入圖像F3包括運動圖像部分310和靜止圖像部分320。箭頭310a指示運動圖像部分310的運動向量。另外，由靜止插補單元19將靜止圖像部分320向上(在箭頭320a的方向上)移動，并且形成空白部分330。
[0104]在這種情況下，靜止圖像部分320的移動方向垂直于運動向量，并且因此，可以不執行基于運動向量的插補。這是因為，在先前幀和后續幀中不存在空白對應部分。因此，運動插補單元20基于靜止圖像部分320對空白部分330進行插補。具體地講，運動插補單元20放大靜止圖像部分320，以產生與空白部分330對應的空白對應部分330a (縮放處理)。另外，運動插補單元20可以將靜止圖像部分320中與空白部分330相鄰的那部分識別為空白對應部分330a (重復處理)。在這種情況下，靜止圖像部分320的一部分被重復顯示。
[0105]注意的是，運動插補單元20可以根據靜止圖像部分320的性質，確定執行哪個處理。例如，當靜止圖像部分320是單色(例如，黑色)的帶時，運動插補單元20可以執行縮放處理或重復處理。同時，當在靜止圖像部分320上繪出某種圖案(字幕等)時，有利的是，運動插補單元20執行縮放處理。這是因為，當執行重復處理時，靜止圖像部分320的圖案可能在空白對應部分330a中變成不連續的。另外，在這個例子中，因為靜止圖像部分320被疊加在運動圖像部分310的下端部分上，所以運動插補單元20可以對運動圖像部分310執行縮小、剪輯等。
[0106]接下來，將描述當輸入圖像的靜止類型是“部分區域靜止”時執行的處理的另一個例子。在這個例子中，圖12中示出的輸入圖像F4被輸入到圖像處理裝置10。輸入圖像F4包括運動圖像部分410和靜止圖像部分420。箭頭410a指示運動圖像部分410的運動向量。另外，由靜止插補單元19將靜止圖像部分420向下(在箭頭420a的方向上)移動，并且形成空白部分430。
[0107]在這個例子中，因為靜止圖像部分420的移動方向是與運動向量相同的方向，所以基于運動向量的插補變得可能。具體地講，與圖10中示出的例子類似的插補是可能的。因此，運動插補單元20從先前幀的輸入圖像提取空白對應部分。
[0108]接下來，將描述當輸入圖像的靜止類型是“整個區域靜止”時執行的處理的例子。在這個例子中，圖13中示出的輸入圖像F5被輸入到圖像處理裝置10。輸入圖像F5包括運動圖像部分510和靜止圖像部分520。然而，運動圖像部分510也被暫時停止。另外，由靜止插補單元19將輸入圖像F5在xy方向上放大，并且外邊緣部分510b超出輸入圖像F5。
[0109]因此，運動插補單元20將經放大運動圖像部分510a劃分成經放大靜止圖像部分520a的周邊區域510a-l和外側區域510a_2，并且縮小外側區域510a_2 (在箭頭501的方向上縮小)。因此，運動插補單元20產生經調節運動圖像部分510c。因此，運動插補單元20對運動圖像部分510執行非線性縮放。下述的合成單元22用運動圖像部分510c替代靜止插補圖像F5a的外側區域510a-2，以產生合成圖像。
[0110]注意的是，當靜止插補單元19已縮小輸入圖像F5時，運動插補單元20執行放大外側區域510a-2的處理，以產生經調節運動圖像部分510c。當存在多個靜止圖像部分時，運動插補單元20可以執行類似處理。也就是說，運動插補單元20可以只放大(或縮小)每個靜止圖像部分的外圍區域，并且縮小(或放大)除了外圍區域之外的區域，也就是說，運動圖像部分。
[0111]運動插補單元20將與所產生的空白對應部分或經調節運動圖像部分相關的運動圖像插補信息輸出到合成單元22。
[0112]縮放插補單元21對運動插補單元20還沒有進行插補的空白部分執行插補處理。也就是說，當所有像素的運動圖像部分的運動在運動圖像部分內是平均的時候，通過運動插補單元20進行的處理對空白部分進行插補。然而，在各個像素中，運動圖像部分的運動可以有所不同(可以無序化)。另外，運動圖像部分可以按不規則方式移動。也就是說，當運動圖像部分在某個時間在給定方向上移動時，運動圖像可以突然在特定幀改變運動。在這些情況下，只是運動插補單元20進行的處理可能沒有完全對空白部分進行插補。
[0113]另外，當運動圖像部分在改變其倍數的同時移動時(例如，當運動圖像部分在縮小的同時移動時)，空白對應部分的圖案和空白部分周圍的圖案可能不連接。
[0114]因此，首先，縮放插補單元21從存儲器11獲取當前幀的輸入圖像，并且進一步地，從靜止插補單元19和運動插補單元20獲取靜止插補圖像和空白對應部分。然后，縮放插補單元21將空白對應部分疊加在空白部分上，以產生合成圖像。然后，縮放插補單元21判定是否在空白部分中形成間隙。當形成間隙時，縮放插補單元21過濾和縮放空白對應部分以填充間隙。
[0115]另外，當空白對應部分的圖案和空白部分周圍的圖案不連接時，縮放插補單元21在空白對應部分和空白部分的周邊部分之間的邊界處執行過濾處理，以將邊界模糊化。然后，縮放插補單元21將經過上述處理調節的合成圖像(也就是說，經調節圖像)輸出到合成單元22。
[0116]合成單元22將靜止插補圖像、空白對應部分(或經調節運動圖像部分)和經調節圖像組合，以產生合成圖像。圖11示出靜止插補圖像F3a和空白對應部分330a的合成圖像F3b。另外，圖12示出靜止插補圖像F4a和空白對應部分410b的合成圖像F4b。另外，圖13示出靜止插補圖像F5a和經調節運動圖像部分510c的合成圖像F5b。如這些例子中示出的，在合成圖像中，靜止圖像部分改變并且靜止圖像部分的周邊區域經過某種方式的調節。合成單元22將合成圖像輸出到(例如)顯示器。顯示器顯示合成圖像。注意的是，因為顯示器不必改變合成圖像的顯示位置，所以顯示器的元件數量是與合成圖像的像素數量近似的程度。
[0117]<4.由圖像處理裝置進行的處理的過程〉
[0118]接下來，將參照圖7中示出的流程圖描述由圖像處理裝置10進行的處理的過程。注意的是，如上所述，在運動向量計算中，靜止圖像部分的周邊區域的塊變小，因此必須預先得知靜止圖像部分。
[0119]因此，首先，在步驟SI中，像素差計算單元13從存儲器11獲取當前幀的輸入圖像、先前幀的輸入圖像和后續幀的輸入圖像。然后，像素差計算單元13將構成當前幀的像素與構成后續幀和先前幀的像素進行比較，以針對每個像素提取靜止圖像部分。具體地講，像素差計算單元13基于上述表達式(I)計算每個像素P(x，y)的亮度差值APL。
[0120]像素差計算單元13產生與每個像素的亮度差值Λ PL相關的亮度差值信息，并且將該信息輸出到移動部分檢測單元14和靜止部分檢測單元15。
[0121]在步驟S2中，靜止部分檢測單元15判定是否存在場景變化，當存在場景變化時前進至步驟S3，并且當場景沒有變化時前進至步驟S4。注意的是，例如，可以由輸入圖像的輸出源的裝置告知是否存在場景變化。在步驟S3中，靜止部分檢測單元15刪除存儲器18中的靜止圖像信息。
[0122]在步驟S4中，靜止部分檢測單元15基于亮度差值信息從當前幀的輸入圖像中檢測靜止圖像部分(靜止部分)。具體地講，靜止部分檢測單元15確定其中亮度差值小于預定參考差值的像素是靜止圖像部分。靜止部分檢測單元15產生指示構成靜止圖像部分的像素的靜止圖像信息，并且將該信息輸出到運動向量計算單元12和靜止類型確定單元16。注意的是，靜止部分檢測單元15將靜止圖像信息存儲在存儲器18中。
[0123]在步驟S5中，運動向量計算單元12從存儲器11獲取當前幀的輸入圖像和先前幀的輸入圖像。另外，運動向量計算單元12從靜止部分檢測單元15獲取靜止圖像部分信息。
[0124]運動向量計算單元12然后基于該信息以塊為單位計算當前幀的輸入圖像的運動向量。也就是說，運動向量計算單元12從當前幀中排除靜止圖像部分，并且將除了靜止圖像部分之外的區域劃分成多個塊。這里，運動向量計算單元12將靜止圖像部分的周邊區域劃分成第一塊并且將除了周邊區域之外的區域劃分成第二塊。第一塊小于第二塊。也就是說，在詳細檢測靜止圖像部分的周邊區域的運動的同時，運動向量計算單元12粗略檢測與周邊區域相比是其它區域的運動。
[0125]運動向量計算單元12然后從存儲器11獲取先前幀的運動向量信息，并且執行塊匹配等，以計算當前幀的塊的運動向量。
[0126]運動向量計算單元12將與每個塊的運動向量相關的運動向量信息輸出到移動部分檢測單元14、靜止部分檢測單元15、靜止插補單元19和運動插補單元20。另外，運動向量計算單元12將運動向量信息存儲在存儲器11中。當計算下一幀的運動向量時，使用存儲器11中存儲的運動向量信息。
[0127]在步驟S6中，移動部分檢測單元14基于運動向量信息和亮度差值信息，從當前幀的輸入圖像中檢測運動圖像部分(移動部分)。具體地講，移動部分檢測單元14將其中亮度差值等于或大于預定參考差值的像素識別為運動圖像部分。另外，當運動向量的絕對值(大小)大于或等于預定參考向量的大小時，移動部分檢測單元14將具有運動向量的塊識別為運動圖像部分。移動部分檢測單元14然后產生指示用作運動圖像部分的塊的運動圖像部分信息，并且將該信息輸出到靜止類型確定單元16。
[0128]在步驟S8中，靜止類型確定單元16基于運動圖像部分信息和靜止圖像信息，確定輸入圖像的移動靜止類型。這里，在本實施方式中，靜止類型是“運動圖像”、“部分區域靜止”和“整個區域靜止”中的任一種。靜止類型確定單元16然后將與判斷結果相關的靜止類型信息輸出到方向等確定單元17。
[0129]方向等確定單元17基于靜止類型信息等，確定靜止圖像部分的改變方法、改變方向和改變量。
[0130]也就是說，在步驟S9中，當輸入圖像是“運動圖像”時，方向等確定單元17確定改變方法是“移動”。這是因為，如上所述，當靜止圖像部分移動時，形成空白部分，并且可以使用另一個幀的空白對應部分對空白部分進行插補。
[0131]同時，在步驟SlO中，當輸入圖像是“部分區域靜止”時，方向等確定單元17確定改變方法是“移動”。在這種靜止類型中，由于靜止圖像部分的移動也造成空白部分，并且可以通過另一個幀的空白對應部分或當前幀的靜止圖像部分對空白部分進行插補。
[0132]同時，在步驟Sll中，當輸入圖像是“整個區域靜止”時，方向等確定單元17確定改變方法是“改變顯示倍率”。當輸入圖像是“整個區域靜止”時，運動圖像部分也被暫時停止。因此，沒有精確計算運動圖像部分的運動向量。因此，圖像處理裝置10不能基于運動向量對由于靜止圖像部分的移動造成的空白部分進行插補。因此，當輸入圖像是“整個區域靜止”時，方向等確定單元17確定改變方法是“改變顯示倍率”。
[0133]在步驟S12中，方向等確定單元17確定靜止圖像部分的改變方向(移動方向)、改變量(移動量)和亮度。
[0134]具體地講，當輸入圖像是“運動圖像”時，方向等確定單元17基于改變方向的運動向量確定靜止圖像部分的改變方向。也就是說，方向等確定單元17提取構成靜止圖像部分的周邊區域的運動圖像部分的運動向量，并且計算運動向量的算術平均值。方向等確定單元17然后確定靜止圖像部分的改變方向(也就是說，移動方向)是與運動向量的算術平均值相同的方向或相反的方向。這里，方向等確定單元17從存儲器18獲取圖像劣化信息并且基于圖像劣化信息確定移動方向。
[0135]另外，方向等確定單元17基于運動圖像部分的運動向量，確定靜止圖像部分的改變量，即移動量。也就是說，方向等確定單元17提取構成靜止圖像部分的周邊區域的運動圖像部分的運動向量，并且計算運動向量的算術平均值。方向等確定單元17然后確定靜止圖像部分的移動量是與運動向量的算術平均值相同的值。
[0136]另外，當靜止圖像部分的亮度大于預定亮度時，方向等確定單元17可以確定亮度是小于或等于預定亮度的值。因此，可以可靠地減少烙印。可以不管輸入圖像的靜止類型而執行這個處理。
[0137]同時，當輸入圖像是“部分區域靜止”時，方向等確定單元17確定靜止圖像部分的改變方向(也就是說，移動方向)是X方向或y方向。具體地講，當靜止圖像部分在橫跨X方向上的兩端之間的長度上形成時，方向等確定單元17確定改變方向是I方向。同時，當靜止圖像部分在橫跨y方向上的兩端之間的長度上形成時，方向等確定單元17確定改變方向是X方向。這里，方向等確定單元17可以從存儲器18獲取圖像劣化信息并且基于圖像劣化信息確定移動方向。[0138]另外,方向等確定單元17基于運動圖像部分的運動向量,確定靜止圖像部分的改變量，即移動量。也就是說，方向等確定單元17提取構成靜止圖像部分的周邊區域的運動圖像部分的運動向量，并且計算運動向量的算術平均值。方向等確定單元17然后確定靜止圖像部分的移動量是與運動向量的算術平均值相同的值。
[0139]同時，當輸入圖像是“整個區域靜止”時，方向等確定單元17確定靜止圖像部分的改變方向和改變量，也就是說，顯示倍率的X分量和I分量。當X分量大于I時，靜止圖像部分在X方向上被放大，并且當X分量的值小于I時，靜止圖像部分在X方向上被縮小。對于I分量，同樣如此。這里，方向等確定單元17可以從存儲器18獲取圖像劣化信息并且基于圖像劣化信息確定顯示倍率的X分量和I分量。
[0140]方向等確定單元17將與改變方法、改變方向和改變量相關的改變信息輸出到靜止插補單元19、運動插補單元20和縮放插補單元21。
[0141]在步驟S14中，運動插補單元20從存儲器11獲取當前幀和先前幀和后續幀的輸入圖像。運動插補單元20然后基于當前幀和先前幀和后續幀的輸入圖像和從運動向量計算單元12和方向等確定單元17提供的信息，產生空白對應部分或經調節運動圖像部分。運動插補單元20然后將與空白對應部分或經調節運動圖像部分相關的運動圖像插補信息輸出到合成單元22。
[0142]同時，在步驟S15中，靜止插補單元19從存儲器11獲取當前幀的輸入圖像，并且基于當前幀的輸入圖像和從運動向量計算單元12和方向等確定單元17提供的信息，產生靜止插補圖像。靜止插補單元19將靜止插補圖像輸出到合成單元22。
[0143]同時，在步驟S16中，縮放插補單元21對運動插補單元20沒有進行插補的空白部分進行插補處理。也就是說，縮放插補單元21從存儲器11獲取當前幀的輸入圖像，并且進一步從靜止插補單元19和運動插補單元20獲取靜止插補圖像和空白對應部分。縮放插補單元21然后將空白對應部分疊加在空白部分上，以產生合成圖像。縮放插補單元21然后判定在空白部分中是否形成間隙，并且過濾和縮放空白對應部分以填充間隙。
[0144]另外，當空白對應部分的圖案和空白部分周圍的圖案不連接時，縮放插補單元21在空白對應部分和空白部分的周邊部分之間的邊界處執行過濾處理，以將邊界模糊化。縮放插補單元21然后將經過上述處理調節的合成圖像(也就是說，經調節圖像)輸出到合成單元22。
[0145]在步驟S17中，合成單元22將靜止插補圖像、空白對應部分(或經調節運動圖像部分)和經調節圖像組合，以產生合成圖像。合成單元22將合成圖像輸出到(例如)顯示器。顯示器顯示合成圖像。
[0146]如上所述，根據本實施方式，圖像處理裝置10可以通過只移動輸入圖像內的靜止圖像部分，保持整個輸入畫面的顯示位置固定。因此，用戶不太可能感到顯示位置已移動。例如，圖像處理裝置10可以只移動畫面角落處顯示的時鐘的符號。另外，因為與整個輸入圖像移動的情況相比，只有圖像處理裝置10的靜止圖像部分的一部分移動，所以用戶不太可能注意到靜止圖像部分的移動。因此，圖像處理裝置10可以增加靜止圖像部分的改變量，并且增加烙印的減少量。另外，因為圖像處理裝置10可以基于圖像劣化信息計算靜止圖像部分的改變方向和改變量，所以在整個畫面內元件的劣化可以是均一的，并且不平均性可以降低。[0147]更具體地講，圖像處理裝置10從輸入圖像提取靜止圖像部分，并且改變靜止圖像部分以產生合成圖像。圖像處理裝置10然后在顯示器上顯示合成圖像。因此，圖像處理裝置10可以在固定整個所顯示圖像的顯示位置之后改變靜止圖像部分。因此，用戶感到的煩惱和顯示器的烙印可以減少。另外，因為顯示器的像素數量可以是與所顯示圖像的像素數量近似的程度，所以圖像處理裝置10可以減少顯示器的像素數量。也就是說，在整個所顯示圖像在顯示器的顯示畫面內移動的技術中，必須在顯示器中準備供所顯示圖像移動用的空白空間(用于進行軌道處理的空白空間)。然而，在本實施方式中，準備這種空白空間不是必須的。
[0148]另外，因為圖像處理裝置10調節靜止圖像部分的周邊區域，所以靜止圖像部分的移動不容易被用戶注意到。另外，圖像處理裝置10可以產生減少用戶不適的合成圖像。
[0149]另外，因為圖像處理裝置10基于移動區域調節靜止圖像部分的周邊區域，所以靜止圖像部分的移動可以不太能夠被用戶注意到。另外，圖像處理裝置10可以產生減少用戶不適的合成圖像。
[0150]另外，因為圖像處理裝置10對由于靜止圖像部分改變造成的空白部分進行插補以調節靜止圖像部分的周邊區域，所以靜止圖像部分的移動更不容易被用戶注意到。另外，圖像處理裝置10可以產生減少用戶不適的合成圖像。
[0151]另外，圖像處理裝置10從輸入圖像提取運動圖像部分，并且基于運動圖像部分對空白部分進行插補，從而產生減少用戶不適的合成圖像。
[0152]另外，圖像處理裝置10基于運動圖像部分的運動向量對空白部分進行插補，從而產生減少用戶不適的合成圖像。
[0153]另外，圖像處理裝置10基于運動圖像部分的運動向量，從另一個幀提取與空白部分對應的空白對應部分，并且將空白對應部分疊加在空白部分上，以對空白部分進行插補。因此，圖像處理裝置10可以產生減少用戶不適的合成圖像。
[0154]另外，圖像處理裝置10在與運動圖像部分的運動向量相同的方向上改變靜止圖像部分，并且基于運動圖像部分的運動向量從先前幀提取空白對應部分。因此，圖像處理裝置10可以產生減少用戶不適的合成圖像。
[0155]另外，圖像處理裝置10在與運動圖像部分的運動向量相反的方向上改變靜止圖像部分，并且基于運動圖像部分的運動向量從后續幀提取空白對應部分。因此，圖像處理裝置10可以產生減少用戶不適的合成圖像。
[0156]另外，圖像處理裝置10在與運動圖像部分的運動向量相交的方向上改變靜止圖像部分，并且基于當前幀的靜止圖像部分對空白部分進行插補。因此，圖像處理裝置10可以產生減少用戶不適的合成圖像。
[0157]另外，圖像處理裝置10基于運動圖像部分的運動向量的大小設置靜止圖像部分的改變量，從而產生減少用戶不適的合成圖像。
[0158]另外，圖像處理裝置10對運動圖像部分應用非線性縮放以調節靜止圖像部分的周邊區域，從而產生減少用戶不適的合成圖像。
[0159]另外，圖像處理裝置10比較構成當前幀的像素和構成另一幀的像素以提取靜止圖像部分，從而更精確地提取靜止圖像部分。
[0160]另外，在以第一塊為單位從靜止圖像部分的周邊區域提取運動圖像部分的同時，圖像處理裝置10以比第一塊大的第二塊為單位從與靜止圖像部分分開的分開區域提取運動圖像部分。因此，圖像處理裝置10可以更精確地提取運動圖像部分，并且可以更精確地對空白部分進行插補。
[0161]另外，圖像處理裝置10基于輸入圖像(也就是說，顯示合成圖像的顯示元件的使用)改變靜止圖像部分，從而可靠地減少烙印。
[0162]如上所述，雖然已經參照附圖描述了本發明的有利實施方式，但本發明的技術范圍不受這些實施方式限制。本領域的技術人員應該理解，可以根據設計要求和其它因素，出現各種修改形式、組合形式、子組合形式和替代形式，使這些形式在所附權利要求書或其等同物的范圍內。
[0163]本發明包含與2012年8月17日在日本專利局提交的日本優先權專利申請JP2012-180833中公開的主題相關的主題，該專利申請的全部內容特此以引用方式并入。
[0164]例如，雖然在上述實施方式中已經通過示例性示出一些輸入圖像描述了本實施方式的處理，但輸入圖像不限于上述例子。
[0165]注意的是，以下的構造也屬于本發明的技術范圍。
[0166](I) 一種圖像處理裝置，包括:
[0167]控制單元，被構造為從輸入圖像提取靜止圖像部分，并且改變所述靜止圖像部分。
[0168](2)根據(I)所述的圖像處理裝置，其中所述控制單元調節所述靜止圖像部分的周邊區域。
[0169](3)根據(2)所述的圖像處理裝置，其中所述控制單元從所述輸入圖像提取運動圖像部分，并且基于所述運動圖像部分調節所述靜止圖像部分的周邊區域。
[0170](4)根據(3)所述的圖像處理裝置，其中所述控制單元基于所述運動圖像部分對由于所述靜止圖像部分改變造成的空白部分進行插補。
[0171](5)根據(4)所述的圖像處理裝置，其中所述控制單元基于所述運動圖像部分的運動向量對所述空白部分進行插補。
[0172](6)根據(5)所述的圖像處理裝置，其中所述控制單元基于所述運動圖像部分的運動向量從另一幀提取與所述空白部分對應的空白對應部分，并且將所述空白對應部分疊加在所述空白部分上，以對所述空白部分進行插補。
[0173](7)根據(6)所述的圖像處理裝置，其中所述控制單元在與所述運動圖像部分的運動向量相同的方向上改變所述靜止圖像部分，并且基于所述運動圖像部分的運動向量從先前幀提取所述空白對應部分。
[0174](8)根據(6)所述的圖像處理裝置，其中所述控制單元在與所述運動圖像部分的運動向量相反的方向上改變所述靜止圖像部分，并且基于所述運動圖像部分的運動向量從后續幀提取所述空白對應部分。
[0175](9)根據(5)所述的圖像處理裝置，其中所述控制單元在與所述運動圖像部分的運動向量相交的方向上改變所述靜止圖像部分，并且基于當前幀的靜止圖像部分對所述空白部分進行插補。
[0176](10)根據(3)至(9)中任一項所述的圖像處理裝置，其中所述控制單元基于所述運動圖像部分的運動向量的大小，設置所述靜止圖像部分的改變量。
[0177](11)根據(3)至(9)中任一項所述的圖像處理裝置，其中所述控制單元對所述運動圖像部分應用非線性縮放，以調節所述靜止圖像部分的周邊區域。
[0178](12)根據(3)至(11)中任一項所述的圖像處理裝置，其中所述控制單元以第一塊為單位從所述靜止圖像部分的周邊區域提取運動圖像部分，同時以第二塊為單位從與所述靜止圖像部分分開的分開區域提取所述運動圖像部分，所述第二塊比所述第一塊寬。
[0179](13)根據(I)至(12)中任一項所述的圖像處理裝置，其中所述控制單元比較構成當前幀的像素和構成另一幀的像素，以針對每個像素提取靜止圖像部分。
[0180](14)根據(I)至(13)中任一項所述的圖像處理裝置，其中所述控制單元基于顯示所述輸入圖像的元件的使用狀況，改變所述靜止圖像部分。
[0181](15) 一種圖像處理方法，包括:
[0182]從輸入圖像提取靜止圖像部分，以及
[0183]改變所述靜止圖像部分。
[0184](16) 一種致使計算機實現以下功能的程序:
[0185]控制功能，用于從輸入圖像提取靜止圖像部分并且改變所述靜止圖像部分。
[0186][參考標號列表]
[0187]10圖像處理裝置
[0188]11存儲器
[0189]12運動向量計算單元
[0190]13像素差計算單元
[0191]14移動部分檢測單元
[0192]15靜止部分檢測單元
[0193]16靜止類型確定單元
[0194]17方向等確定單元
[0195]18存儲器
[0196]19靜止插補單元
[0197]20運動插補單元
[0198]21縮放插補單元
[0199]22合成單元
【權利要求】
1.一種圖像處理裝置，包括:控制單元，被構造為從輸入圖像提取靜止圖像部分，并且改變所述靜止圖像部分。
2.根據權利要求1所述的圖像處理裝置，其中所述控制單元調節所述靜止圖像部分的周邊區域。
3.根據權利要求2所述的圖像處理裝置，其中所述控制單元從所述輸入圖像提取運動圖像部分，并且基于所述運動圖像部分調節所述靜止圖像部分的周邊區域。
4.根據權利要求3所述的圖像處理裝置，其中所述控制單元基于所述運動圖像部分對由于所述靜止圖像部分改變造成的空白部分進行插補。
5.根據權利要求4所述的圖像處理裝置，其中所述控制單元基于所述運動圖像部分的運動向量對所述空白部分進行插補。
6.根據權利要求5所述的圖像處理裝置，其中所述控制單元基于所述運動圖像部分的運動向量從另一幀提取與所述空白部分對應的空白對應部分，并且將所述空白對應部分疊加在所述空白部分上，以對所述空白部分進行插補。
7.根據權利要求6所述的圖像處理裝置，其中所述控制單元在與所述運動圖像部分的運動向量相同的方向上改變所述靜止圖像部分，并且基于所述運動圖像部分的運動向量從先前幀提取所述空白對應部分。
8.根據權利要求6所述的圖像處理裝置，其中所述控制單元在與所述運動圖像部分的運動向量相反的方向上改變所述靜止圖像部分，并且基于所述運動圖像部分的運動向量從后續幀提取所述空白對應部分。
9.根據權利要求5所述的圖像處理裝置，其中所述控制單元在與所述運動圖像部分的運動向量相交的方向上改變所述靜止圖像部分，并且基于當前幀的靜止圖像部分對所述空白部分進行插補。
10.根據權利要求3所述的圖像處理裝置，其中所述控制單元基于所述運動圖像部分的運動向量的大小，設置所述靜止圖像部分的改變量。
11.根據權利要求3所述的圖像處理裝置，其中所述控制單元對所述運動圖像部分應用非線性縮放，以調節所述靜止圖像部分的周邊區域。
12.根據權利要求3所述的圖像處理裝置，其中所述控制單元以第一塊為單位從所述靜止圖像部分的周邊區域提取運動圖像部分，同時以第二塊為單位從與所述靜止圖像部分分開的分開區域提取所述運動圖像部分，所述第二塊比所述第一塊寬。
13.根據權利要求1所述的圖像處理裝置，其中所述控制單元比較構成當前幀的像素和構成另一幀的像素，以針對每個像素提取靜止圖像部分。
14.根據權利要求1所述的圖像處理裝置，其中所述控制單元基于顯示所述輸入圖像的元件的使用狀況，改變所述靜止圖像部分。
15.—種圖像處理方法,包括:從輸入圖像提取靜止圖像部分，以及改變所述靜止圖像部分。
16.一種致使計算機實現以下功能的程序:控制功能，用于從輸入圖像提取靜止圖像部分并且改變所述靜止圖像部分。
【文檔編號】G09G5/20GK103595897SQ201310345047
【公開日】2014年2月19日 申請日期:2013年8月9日 優先權日:2012年8月17日
【發明者】須藤信幸 申請人:索尼公司