專利名稱：圖像處理裝置及其控制方法
技術領域：
本發明大體涉及圖像處理裝置及其控制方法。特別地，本發明涉及在顯示設備顯 示運動圖像時的圖像處理技術。
背景技術：
以電視機為代表的運動圖像顯示設備可以劃分為保持型顯示設備和脈沖型顯示 設備。保持型顯示設備在一個幀間隔(當幀速率為60Hz時為1/60秒)中持續顯示單個圖 像。作為保持型顯示設備，已知有使用TFT的液晶顯示設備和有機EL顯示器。另一方面， 脈沖型顯示設備僅在一個幀間隔的掃描間隔中顯示圖像，因此像素亮度在掃描之后立即開 始降低。作為脈沖型顯示設備，已知有CRT(陰極射線管，Cathode Ray Tube)和FED(場發 身寸型顯不器，FieId-Emission-type Display)。已知保持型顯示設備具有如下問題觀察者很容易感知到畫面上顯示的運動對象 的模糊(運動模糊)。為了克服模糊，保持型顯示設備提高其顯示的驅動頻率，以縮短保持 時間。例如，日本特開2006-184896號公報公開了如下技術(下文中稱為驅動分配)由一 個輸入幀生成兩個子幀(即，沒有高頻成分的子幀以及包含強調高頻成分的子幀)，并交替 顯示與各幀相對應生成的兩個子幀。另一方面，在運動圖像可視性方面，脈沖型顯示設備比保持型顯示設備具有更大 的優勢。然而，由于設備僅在各幀間隔(當幀速率為60Hz時為1/60秒)瞬間發光、并以 1/60秒的周期反復發光，因此會產生閃爍的問題。閃爍在較大的屏幕上更加明顯，因此尤其 在近來向具有較寬屏幕的顯示設備轉變的趨勢下，其逐漸成為嚴重的問題。脈沖型顯示設 備采用提高其顯示的驅動頻率的技術，作為應對閃爍的方法。然而，本發明人通過實驗發現當驅動分配提高幀速率時，分配的子幀的波形的總 和與人眼的綜合效果不總是相同。更具體地說，發現幀圖像的均勻亮度部分有時看起來好 像在驅動分配時改變了明度。

發明內容
本發明在顯示設備顯示運動圖像時為觀察者提供更高質量的顯示圖像。根據本發明的一方面，提供了一種圖像處理裝置，其包括輸入單元，其被配置為 輸入包含每單位時間m幀圖像的圖像數據；濾波單元，其被配置為由所輸入的圖像數據中 包含的各幀圖像生成高頻成分強調幀圖像以及低頻成分幀圖像；校正單元，其被配置為以 預定比率校正與各幀圖像相對應的所述低頻成分幀圖像的亮度，從而使所述圖像數據可以 被感知為與按照每單位時間m幀輸出的各個所述幀圖像相同的明度；以及輸出單元，其被 配置為交替輸出所述濾波單元生成的所述高頻成分強調幀圖像、以及已被所述校正單元校 正了亮度的所述低頻成分幀圖像，作為包含每單位時間an幀圖像的圖像數據。根據本發明的另一方面，提供了一種圖像處理裝置的控制方法，該控制方法包括 如下步驟輸入包含每單位時間m幀圖像的圖像數據；由所輸入的圖像數據中包含的各幀圖像生成高頻成分強調幀圖像以及低頻成分幀圖像；以預定比率校正與各幀圖像相對應的 所述低頻成分幀圖像的亮度，從而使所述圖像數據能被感知為明度與按照每單位時間m幀 輸出的各個所述幀圖像的明度相同；以及交替輸出在所述生成所述高頻成分強調幀圖像的 步驟中生成的所述高頻成分強調幀圖像、以及在所述校正所述亮度的步驟中校正了亮度的 所述低頻成分幀圖像，作為包含每單位時間an幀圖像的圖像數據。根據本發明，能夠在顯示設備顯示運動圖像時，為觀察者提供高質量的顯示圖像。通過以下參照附圖對示例性實施例的描述，本發明的其他特征將變得清楚。


包含在說明書中并構成說明書的一部分的附圖例示了本發明的實施例，并且與文 字說明一起用來解釋本發明的原理。圖1是根據第一實施例的圖像處理裝置的框圖；圖2是示出用戶根據驅動頻率感知的明度變化的評估結果的圖；圖3是示出在驅動分配中原始幀圖像與兩個子幀之間的關系的圖；圖4是示出當合成圖3所示的兩個子幀時用戶觀看它們的方式的圖；圖5是示出為了描述方便將子幀進一步分解為兩個子幀的狀態的圖；圖6是示出用戶觀看經過根據第一實施例的圖像處理裝置的亮度校正的子幀的 方式的圖；圖7示出了用于說明保持型顯示設備的顯示的動態特性、以及驅動分配時的動態 特性的圖；圖8示出了用于說明脈沖型顯示設備的顯示的動態特性、以及驅動分配時的動態 特性的圖；圖9是根據第二實施例的圖像處理裝置的框圖；以及圖10是示出用戶觀看經過根據第二實施例的圖像處理裝置的亮度校正的子幀的 方式的圖。
具體實施例方式下面將參照附圖詳細描述本發明的優選實施例。請注意，以下實施例并不意圖限 制本發明的范圍，而僅僅是示例。(第一實施例)下面將例示將圖像輸出到用作顯示設備的屏板模塊109的圖像處理裝置100，作 為根據本發明的圖像處理裝置的第一實施例。請注意，下面將說明如下示例從包含在每秒 60幀(60Hz)的運動圖像數據中的多個幀圖像中的各個生成兩個子幀(子幀圖像)，并輸出 每秒120幀(120Hz)的運動圖像。本發明還適用于任何其他的輸入幀速率或輸出幀速率。 請注意，在以下描述中，“幀頻率”表示在逐行掃描中每秒顯示的幀的數量、或者在隔行掃描 中每秒顯示的場(field)的數量。<技術前提>下面將更加詳細地描述“背景技術”中的上述保持型顯示設備和脈沖型顯示設備 的顯示特性。
保持型顯示設備圖7示出了用于說明保持型顯示設備的顯示的動態特性、以及驅動分配時的動態 特性的圖。在圖7中，橫坐標表示顯示屏上的位置(坐標)，縱坐標表示時間。圖7示出了 具有均勻亮度的圖像(例如，矩形或圓形)從屏幕的左側向右側移動的狀態。請注意，圖7 所示的矩形波表示各個時刻的圖像亮度分配。如圖7的左圖所示，在不進行驅動分配的情況下，從屏幕的左側向右側移動的圖 像在保持型顯示設備上引起模糊(運動模糊)。請注意，為了描述方便，圖7示出了 1/60秒 的各間隔中的四個矩形波。實際上，在1/60秒的各間隔中持續顯示圖像。當用戶的眼睛跟 蹤圖像的運動時，相對于眼睛跟蹤的運動，圖像停留在1/60秒的間隔中的相同的像素上， 從而產生對運動的相對延遲。如果保持時間長，則延遲寬度增加，并且用戶將其感知為屏幕 上的運動模糊。圖7中的波形1101概念性地表示在不進行驅動分配的情況下用戶跟蹤運 動的方式。波形1101的邊緣具有平緩的階梯形狀。結果，觀眾感覺到亮度變化存在一定寬 度這樣的模糊。圖7中的波形1102概念性地表示在進行驅動分配時用戶跟蹤運動的方式。 與波形1101相比較，波形1102具有更加清晰的垂直邊緣。也就是說，可以看出，降低了觀 察者感知的運動模糊。脈沖型顯示設備圖8示出了用于說明脈沖型顯示設備的顯示的動態特性、以及驅動分配時的動態 特性的圖。圖8中的橫坐標和縱坐標與圖7中相同。圖8示出了具有均勻亮度的圖像(例 如，矩形或圓形)從屏幕的左側向右側移動的狀態。請注意，圖8所示的矩形波表示各個時 刻的圖像亮度分配。如圖8的左圖所示，主要特征是即使在不進行驅動分配的情況下，也不會出現產 生余像的運動模糊。圖8中的波形1103概念性地表示在不進行驅動分配的情況下用戶跟蹤 運動的方式。波形1103的邊緣垂直豎立，表示觀眾沒有感覺到模糊。圖8中的波形1104概 念性地表示在進行驅動分配作為應對閃爍的方法時用戶跟蹤運動的方式。與波形1103相 比較，波形1104的邊緣被輕微地擾動。然而，可以看出，觀察者感知到非常小的運動模糊。 請注意，如果將相同幀簡單地顯示兩次而不進行驅動分配，則產生重像。然而，當使用驅動 分配方法時，高頻成分僅僅顯示一次。盡管低頻成分引起很小的模糊，但不會產生重像，并 抑制了視覺劣化。〈裝置的結構〉圖1是根據第一實施例的圖像處理裝置100的框圖。幀頻率轉換電路101將輸 入的原始圖像的幀頻率轉換為較高的頻率。如上所述，下面將描述如下示例，每秒60幀 (60Hz)的運動圖像被轉換為每秒120幀(120Hz)的運動圖像。最小值濾波器102用于將輸 入圖像的關注像素的值替換為在關注像素周圍的外圍像素中的最小像素值，并輸出圖像。 高斯濾波器103使用例如高斯函數來對輸入圖像執行軟化濾波處理。分配率電路104將各 子幀圖像與對應于分配率的增益相乘。定時調整電路105在考慮從最小值濾波器102到 分配率電路104的處理的延遲而調整的時刻，將從幀頻率轉換電路101輸出的圖像輸出到 稍后描述的減法處理電路106。減法處理電路106對兩個圖像逐位進行減法處理，并輸出 “第一子幀”。亮度校正電路107將分配率電路104的輸出與預定亮度校正系數相乘，并輸 出“第二子幀”。選擇器電路108選擇性地依次輸出第一子幀和第二子幀。請注意，屏板模塊109顯示從選擇器電路108輸出的圖像。請注意，從經由高斯濾波器103處理原始幀圖 像來獲得第二子幀的事實可知，第二子幀(低頻成分幀圖像)由原始幀圖像的低頻成分形 成。另一方面，從原始幀圖像與第二子幀的差來獲得第一子幀的事實可知，第一子幀(高頻 成分強調幀圖像)由原始幀圖像的高頻成分和低頻成分形成。〈裝置的操作〉·評估實驗本發明人使用圖1所示的電路結構進行關于人可感知的亮度對于顯示頻率的依 賴性的評估實驗。更具體地說，在屏板模塊109上顯示兩個色塊(patch)，即以60Hz顯示的 色塊(下文中稱為“60-Hz顯示”)和以120Hz顯示的色塊(下文中稱為“120-Hz顯示”)， 并針對四個對象評估亮度。請注意，在圖像處理裝置100中，最小值濾波器102用于向濾波器的整個輸入區域 (例如，5X5像素區域)輸入與關注像素的值相同的值。軟化濾波器(高斯濾波器)103使 用“ 1”作為關注像素的系數，使用“0”作為其他像素的系數。分配率電路104用于針對 60-Hz顯示的色塊，將第一子幀設置為100%，將第二子幀設置為0% ；針對120-Hz顯示的 色塊，將第一子幀設置為50%，將第二子幀設置為50%。亮度校正電路107不執行亮度校 正。圖2是示出通過四個對象、評估60-Hz顯示和120_Hz顯示的兩個色塊的結果的 圖。橫坐標表示通過測量儀器(亮度計)測定的亮度比的增加/減少。向右側(正向)， 60-Hz顯示的色塊比120-Hz顯示的色塊更亮。縱坐標表示對象感覺的明度。更具體地說， 在上側標記出60-Hz顯示的色塊看起來更亮的點(+1)。在中間標記出兩個色塊看起來具有 相同明度的點(0)。在下側標記出120-Hz顯示的色塊看起來更亮的點(-1)。參照圖2，用四個符號表示四個對象的結果，并用長短交替虛線表示四個對象的平 均值。很明顯，表示平均值的長短交替虛線在X = -4處穿過中心線。也就是說，當通過測 量儀器進行測定時，被變暗4%的60-Hz顯示的圖像看起來與120-Hz顯示的圖像的明度相 同。換句話說，亮度被分為通過測量儀器測定的“測定亮度”以及表示人眼感覺到的明度的 “感官亮度”，從實驗中可明顯看出，“感官亮度”根據頻率而改變。請注意，從圖2可以預測， 亮度比的偏移量因個體而改變，并假定個體差異引起的變化落在約0%至10%的范圍內。·在不進行亮度校正情況下的驅動分配圖3是示出在驅動分配中原始幀圖像與兩個子幀之間的關系的圖。圖3特別例 示了如下情況亮度校正電路107的亮度校正系數被設置為1. 0(也就是說，不執行亮度校 正)。橫坐標表示屏幕上的位置，縱坐標表示亮度。波形301表示原始幀圖像的亮度變化 (亮度圖案)。波形401表示第一子幀的亮度變化。波形402表示第二子幀的亮度變化。圖4是示出當在屏板模塊109上顯示如圖3所示經過驅動分配的兩個子幀時、由 測量儀器測定的亮度(物理量)以及感官亮度(心理量)的圖。橫坐標表示屏幕上的位置， 縱坐標表示亮度。更具體地說，波形403表示第一子幀的波形401與第二子幀的波形402 的簡單和。波形404表示人感覺到的亮度變化，該波形基于上述評估實驗獲得。也就是說，當交替顯示第一子幀(波形401)和第二子幀(波形40 時，期望將它 們感知為波形403。然而，實際上，如圖2所示，中間部分看起來暗，如波形404所示。這是 因為測定亮度(物理量)和感官亮度(心理量)根據顯示頻率而不同。
將參照圖5對此進行更加詳細的描述。圖5是示出子幀被進一步分解為兩個子幀 的狀態的圖。進行該分割，使得波形501具有與第二子幀的波形402相同的形狀，并通過波 形502表示其余部分(差)。由此，將第一子幀分割為在一個幀間隔(1/60秒)中包括的 兩個子幀間隔中僅顯示一次的成分、以及顯示兩次的成分。也就是說，波形501與表示第二 子幀的亮度變化的波形402相同，因此可以被視為顯示兩次的成分。另一方面，可以將波形 502的亮度成分視為僅顯示一次的成分。如參照圖2所述，120-Hz顯示(對應于兩次顯示)看起來比60_Hz顯示(對應于 一次顯示)暗0%至10%。因此，包含波形501和402的波形的中間部分的亮度成分看起 來暗。因此，中間部分看起來暗，如波形404所示。·在進行亮度校正情況下的驅動分配假定亮度校正電路107進行亮度校正(感官亮度校正)以補償亮度。這里將描述 如下示例亮度校正電路107執行將對應于“第二子幀”的子幀的亮度與1. 04相乘的+4% 的亮度校正(亮度校正系數為1. 04)。圖6是示出用戶觀看經過根據第一實施例的圖像處理裝置的亮度校正的子幀的 方式的圖。波形401表示第一子幀的亮度變化。波形602表示第二子幀的亮度變化。波形 603表示第一和第二子幀的亮度變化的和。波形604表示人感知的亮度。請注意，亮度校正電路107使波形602的亮度略微高于(+4% )通過虛線表示的波 形402的亮度。如波形603所示，通過合成波形401和波形602而獲得作為測定亮度(物 理量)的亮度在中間部分較高。然而，表示為感官亮度(心理量)的波形604由于上述亮 度變化的影響而導致在中間部分看起來微暗。為此，經過亮度校正的部分與感官亮度的影 響相互抵消，從而可以獲得具有如原始幀圖像的均勻明度的波形。如上所述，根據第一實施例，可以在通過驅動分配提高運動圖像在顯示單元上的 顯示質量的同時，補償在驅動分配時引起的圖像亮度的降低。這就使得能夠為用戶顯示高 質量的運動圖像。請注意，在保持型顯示設備和脈沖型顯示設備二者中均可能發生上述根據顯示頻 率的感官亮度的變化。因此，上述圖像處理裝置能夠獲得針對保持型顯示設備和脈沖型顯 示設備二者相同的效果。請注意，盡管以上描述了簡單校正“亮度”，但是可以針對由YCbCr成分表現的圖 像的亮度(Y)成分、或RGB圖像的RGB顏色中的各個的像素值(各顏色的亮度值)執行處理。(第二實施例)圖9是根據第二實施例的圖像處理裝置200的框圖。請注意，與圖1中相同的附 圖標記在圖9中表示相同的或類似的功能單元，因此將不重復其詳細描述。在第一實施例 中，描述了如下示例針對第二子幀執行用于提高亮度的校正。在第二實施例中，將描述如 下示例針對第一子幀執行用于降低亮度的校正。亮度校正電路2101對減法處理電路106的輸出執行亮度校正。假定亮度校正電 路2101執行亮度校正(感官亮度校正)以補償亮度。這里將描述如下示例亮度校正電路 2101執行將對應于“第一子幀”的子幀的亮度與0. 96相乘的-4%的亮度校正(亮度校正 系數為0. 96)。
圖10是示出用戶觀看經過根據第二實施例的圖像處理裝置的亮度校正的子幀的 方式的圖。波形2201表示第一子幀的亮度變化。波形402表示第二子幀的亮度變化。波 形2203表示第一和第二子幀的亮度變化的和。波形2204表示人感知的亮度。請注意，亮度校正電路2101使波形2201的亮度略微低于(_4% )通過虛線表示的 波形401的亮度。通過合成波形2201和波形402而獲得作為測定亮度(物理量)的亮度 在中間部分較高，如波形2203所示。然而，感官亮度(心理量)由于上述亮度變化的影響 而導致在中間部分看起來微暗。為此，經過亮度校正的部分與感官亮度的影響相互抵消，從 而可以獲得具有如原始幀圖像的均勻明度的波形2204。如上所述，根據第二實施例，可以在通過驅動分配提高運動圖像在顯示單元上的 顯示質量的同時，補償在驅動分配時引起的圖像亮度的降低。這就使得能夠為用戶顯示更 高質量的運動圖像。(變型例)
請注意，可以結合上述第一和第二實施例。更具體地說，可以針對第一子幀和第二 子幀兩者提供兩個亮度校正電路，來執行亮度校正。例如，假定被變暗4%的60-Hz顯示的 圖像看起來與120-Hz顯示的圖像的明度相同。在這種情況下，針對第一子幀的亮度校正系 數被設置為0. 98，針對第二子幀的亮度校正系數被設置為1. 02。(其他實施例)本發明的各方面還可以通過讀出并執行記錄在存儲設備上的用于執行上述實施 例的功能的程序的系統或裝置的計算機(或諸如CPU或MPU的設備)來實現，以及通過由 系統或裝置的計算機通過例如讀出并執行記錄在存儲設備上的用于執行上述實施例的功 能的程序來執行各步驟的方法來實現。鑒于此，例如經由網絡或者從用作存儲設備的各種 類型的記錄介質(例如計算機可讀介質)向計算機提供程序。雖然參照示例性實施例對本發明進行了描述，但是應當理解，本發明并不限于所 公開的示例性實施例。應當對所附權利要求的范圍給予最寬的解釋，以使其涵蓋所有這些 變型例以及等同的結構和功能。
權利要求
1.一種圖像處理裝置，其包括輸入單元，其被配置為輸入包含每單位時間m幀圖像的圖像數據； 濾波單元，其被配置為由所輸入的圖像數據中包含的各幀圖像生成高頻成分強調幀圖 像以及低頻成分幀圖像；校正單元，其被配置為以預定比率校正與各幀圖像相對應的所述低頻成分幀圖像的亮 度，從而使所述圖像數據能被感知為明度與按照每單位時間m幀輸出的各個所述幀圖像的 明度相同；以及輸出單元，其被配置為交替輸出所述濾波單元生成的所述高頻成分強調幀圖像、以及 已被所述校正單元校正了亮度的所述低頻成分幀圖像，作為包含每單位時間an幀圖像的 圖像數據。
2.根據權利要求1所述的圖像處理裝置，其中，所述校正單元執行使所述低頻成分幀 圖像的亮度增加的(0 < a < 10)的亮度校正。
3.根據權利要求1所述的圖像處理裝置，所述圖像處理裝置還包括最小值濾波單元，其被配置為將所輸入的圖像數據中包含的各像素的像素值替換為在 關注像素周圍的外圍像素的像素值中的最小像素值，其中，所述濾波單元由所述最小值濾波單元處理的所述圖像數據中包含的各幀圖像生 成所述高頻成分強調幀圖像以及所述低頻成分幀圖像。
4.一種圖像處理裝置的控制方法，該控制方法包括如下步驟 輸入包含每單位時間m幀圖像的圖像數據；由所輸入的圖像數據中包含的各幀圖像生成高頻成分強調幀圖像以及低頻成分幀圖像；以預定比率校正與各幀圖像相對應的所述低頻成分幀圖像的亮度，從而使所述圖像數 據能被感知為明度與按照每單位時間m幀輸出的各個所述幀圖像的明度相同；以及交替輸出在生成所述高頻成分強調幀圖像的步驟中生成的所述高頻成分強調幀圖像、 以及在所述校正亮度的步驟中校正了亮度的所述低頻成分幀圖像，作為包含每單位時間an 幀圖像的圖像數據。
全文摘要
本發明提供一種圖像處理裝置及其控制方法。該圖像處理裝置包括輸入單元，其被配置為輸入包含每單位時間m幀圖像的圖像數據；濾波單元，其被配置為由各幀圖像生成高頻成分強調幀圖像以及低頻成分幀圖像；校正單元，其被配置為以預定比率校正與各幀圖像相對應的所述低頻成分幀圖像的亮度，從而使所述圖像數據能被感知為明度與按照每單位時間m幀輸出的各個所述幀圖像的明度相同；以及輸出單元，其被配置為交替輸出所述濾波單元生成的所述高頻成分強調幀圖像、以及已被所述校正單元校正了亮度的所述低頻成分幀圖像，作為包含每單位時間2m幀圖像的圖像數據。
文檔編號G09G3/20GK102044209SQ20101051149
公開日2011年5月4日 申請日期2010年10月19日 優先權日2009年10月22日
發明者巽榮作 申請人:佳能株式會社