專利名稱：對內插幀的抖動的使用的制作方法
技術領域：
本發明涉及一種圖像處理方法和圖像處理系統。本發明還涉及一種計算機程序和計算機可讀非暫時性介質。
背景技術：
在數字圖像處理(尤其是視頻圖像處理)領域中，應用所謂的抖動(dithering)方法，從而例如用有限的調色板來創建圖像中顏色深度的幻象。例如，一種常見抖動應用是更精確地顯示圖形，該圖形包括比硬件能夠示出的更大范圍的顏色。抖動利用人眼睛的趨向以混合兩種彼此接近的顏色。例如，通過大體在LCD面板顏色空間中的兩種近似顏色之間交替改變LED顯示器中每個像素的顏色值，本身支持特定顏色深度的顯示器面板能表示更高的顏色深度。相同原理也可用于IXD顯示器中更精確的亮度，其中，每個像素僅“認識”開啟或關閉狀態且沒有中間值。通過使用抖動，用戶能獲得O (關閉)與I (開啟)之間的中間亮度值的印象。抖動經常用于電視機，特別也是具有高幀速率處理單元的電視機，高幀速率處理單元向觀眾提供具有例如200/240HZ的高速率的圖像幀。在該系統中，抖動被施加于具有例如50/60HZ的低幀速率的視頻圖像幀。這種系統的一個問題在于抖動在高幀速率處理單元中將是可見的。

發明內容
本發明的一個目的在于提供一種克服上述問題的圖像處理方法。本發明的另一目的在于提供一種圖像處理系統以及用于實施本發明方法的計算機程序和計算機可讀非暫時性介質。根據本發明的一個方面，提供了一種圖像處理方法，包括:提供具有第一幀速率的視頻圖像幀，上變換所述幀速率以提供具有第二幀速率的視頻圖像幀，以及向具有所述第二幀速率的所述視頻圖像幀施加抖動。換句話說，抖動不僅被施加于具有第一幀速率的原始視頻圖像幀，而且還施加于所有中間視頻圖像幀。該優勢在于由于視頻圖像幀的高幀速率，所施加的抖動對用戶眼睛是不可見的。該方法能改善視頻圖像幀的顯示或信號性能。根據本發明的另一方面，提供了一種圖像處理系統，包括圖像幀上變換單元，其適用于接收具有第一幀速率的視頻圖像幀，并輸出具有比所述第一幀速率更高的第二幀速率的視頻圖像幀；以及抖動單元，其適用于向由所述圖像幀上變換單元輸出的所述圖像幀施加抖動。根據又一方面，提供了一種包括程序方法的計算機程序，當所述計算機程序在控制器上被執行時，該程序方法用于使控制器(尤其是圖像控制器)執行根據本發明的方法的步驟；以及一種具有存儲其上的指令的計算機可讀非暫時性介質，該指令當在控制器上被執行時，使控制器執行根據本發明的方法的步驟。本發明的優選實施方式在從屬權利要求中限定。應當理解，所要求權利的系統、所要求權利的計算機程序和所要求權利的計算機可讀介質具有與所要求權利的方法相似和/或相同的優選實施方式，且如從屬權利要求中所限定。本發明基于對上變換視頻圖像幀施加抖動，并因此也將抖動施加于在兩個原始視頻圖像巾貞之間顯示的任何內插巾貞(interpolated frame)。應當理解，上述提及的和以下說明的特征在不背離本發明的范圍的情況下，不僅可用于所指示的相應組合，而且也可用于其他組合或獨立體。


參照下文所述實施方式，根據以下更詳細說明，本發明的這些和其他方面將是顯而易見的。在以下附圖中，圖1以非常普通的方式示出了根據本發明的圖像處理系統的框圖；圖2示出了根據第一實施方式的抖動單元的示意性框圖；圖3示出了根據第二實施方式的抖動單元的示意性框圖；以及圖4示出了用于說明本發明的視頻圖像幀，其上半部分涉及原始輸入幀，其下半部分涉及原始幀上的矢量誤差和像素誤差。
具體實施例方式如本領域已知，等離子體顯示器的數字等離子體像素僅具有用于顯示信息的兩種狀態，開啟或關閉。為了還實現中間強度，已采用脈沖寬度調制技術(PWM)，使得單個像素可以顯示出現的其他中間強度。PWM包括以使人眼合成(integrate)兩種強度以感知為單一強度的這一速率在兩種不同狀態之間來回調制像素。與此相反，目前的IXD顯示器使用能夠呈現多個亮度級別(例如6位、8位或甚至10位級別)的IXD像素。為達到足夠質量，最小亮度級別應至少為10位。現今的快速IXD顯示器能實現6位或8位，然而，具有10位亮度級別的IXD顯示器成本昂貴，且因此未被廣泛使用。因此，使用了用于實現中間強度的其他技術，如PWM。在類似方式中，將通常被稱為“抖動”的方法用于顯示由單個視頻圖像幀PWM無法獲得的強度。作為一個實例，被稱為“時間抖動(temporaldithering)”的具體類型的抖動被用于顯示作為通過PWM可獲得的強度級別之間的強度級別。時間抖動類似于PWM來工作，除了時間抖動調制通過PWM獲得的值之外。換句話說，PWM強度通過調制單個視頻圖像幀的時間片(time slices)之間的0%和100%的強度來獲得，而時間抖動強度通過在幾個數據幀上調制這些PWM強度來獲得。例如，為在單個像素上顯示中間像素值127.25，從PWM獲得值127，并在每四幀中的三幀內顯示該值，同時值128 (也從PWM獲得)在每四幀中的一幀內顯示。因此，可實現比由PWM方案定義的更大數目的強度級別。用于組合或作為替代的另一抖動方法通常被稱為“空間抖動(spatialdithering)”。空間抖動包括合成多個像素的同步輸出以獲得中間強度級別。例如，若三個像素用值128示出且另一像素用值127示出，則一組四像素將顯示為具有統一值127.75。類似地，若兩個像素用值127示出且另兩個像素用值128示出，則一組四像素將顯示為具有一致的強度值127.5。在本技術領域中，有幾種設計為執行抖動的算法。最早且仍為最流行之一的一種是弗洛伊德-斯坦伯格(Floyd Steinberg)算法。這種算法的一個優勢在于它通過誤差分散(61'1'01-(11打118；[011)處理來最小化視覺假象。弗洛伊德-斯坦伯格算法根據預定分布，通過將像素的量化誤差分散到其相鄰像素來實現抖動。類似地，弗洛伊德-斯坦伯格抖動僅分散誤差到相鄰像素。圖1中，示意性示出了圖像處理系統的部件，并用附圖標記10來指代。圖像處理系統10包括提供具有第一幀速率(例如50Hz)的視頻圖像幀的視頻輸入12。該系統還包括圖像處理器14和顯示器16，該顯示器16優選為最好是電視機的IXD顯示器17。這里應當注意，顯示器16也可以是用于顯示視頻圖像的投影儀(beamer)或任何其他裝置。圖像處理器14從視頻輸入12接收圖像幀，并將幀速率上變換為更高值，例如200Hz。上變換幀速率的方法在本技術領域中已知，且因此這里將不再詳細描述。一般地，巾貞速率的上變換使用運動估計(motion estimation)算法來確定運動矢量(motionvector)，該運動矢量描述了從一個維度圖像到另一維度圖像的變換，在本情況下為從觀看者輸入的相鄰幀。運動矢量可與整個圖像(全局運動估計)或具體部分(諸如矩形框、任意形狀的補丁或甚至像素)有關。運動矢量可利用平移模型或許多其他模型來表示，這些模型可接近于真實視頻攝像機的運動，諸如在所有三個維度上旋轉和平移以及縮放。在幀速率的上變換中，所確定的運動矢量被用于內插在來自視頻輸入的兩個“原始”巾貞之間顯示的中間巾貞(inter-frame)。圖像處理器14隨后對具有高幀速率的視頻圖像幀，即對原始圖像幀和內插圖像幀施加抖動。經過抖動處理的具有高幀速率的圖像幀隨后被提供給顯示器16。顯示器16隨后顯示該圖像幀。如本技術領域已知，有幾種用于施加抖動的方法。如之前已提及，它們中的一種方法是屬于誤差分散算法類別的弗洛伊德-斯坦伯格抖動算法。另一抖動方法是隨機抖動(藍噪聲抖動)，其中，圖像幀的每個像素值與隨機閾值相比較。圖2中示出了使用隨機抖動的抖動元件的框圖。二進制值由噪聲發生器(優選為藍噪聲發生器)20提供。噪聲發生器20的二進制值與上變換的圖像幀(即內插圖像幀)的二進制像素值相加。當兩個值相加時，必須確保沒有溢出。因此，信號必須限幅(clip，鉗位)在相應范圍內，例如，若二進制像素值為8位長,則所允許的范圍為從O到255。所加噪聲有1/2位的幅度，且因此產生具有量化的抖動。作為一個實例:若二進制像素值從8位量化至6位，則1/2位的幅度是指丟失的信號的1/2，即I位(8位-6位=2位且2位X 1/2=1位)。在本情況下，二進制像素值未被量化，但它被視為量化值。因此，必須估計1/2位幅度是多少。例如，若二進制像素值是8位值(被視為量化至8位)，且假設“原始”值為例如10位，則1/2位幅度是I位。此外，若假定“原始”值為12位，則1/2位幅度是2位(12位-8位=4位且4位X 1/2=2位)。應當注意，增加噪聲水平將會掩蓋量化從而使圖像“平滑”，但這也將使圖像有噪聲。因此，存在對于假設量化的限制。例如，8位二進制值和假設的16位原始值將不會產生
合理結果。總之，向內插幀施加與原始輸入幀不相關的隨機抖動。如圖3所示，存在向內插幀施加抖動的另一可能性，即具有與原始幀的相關性的中貞間相關(inter-frame-dependent)抖動。在圖3中，示出了兩個后續視頻圖像幀被提供給運動補償誤差估計單元24，該運動補償誤差估計單元24進而提供信號給誤差分散單元26。運動補償誤差估計單元24基于通過用于內插幀的運動估計處理獲得的數據來對原始幀估計矢量誤差和像素誤差。如圖4示意性所示，內插幀中內插的像素位置導致原始幀上的矢量誤差。關于矢量誤差:內插的整數像素位置導致原始幀上的矢量誤差。它將被用于對內插幀施加抖動。關于像素誤差:時間像素差導致誤差。它將被用于對內插幀施加空間或時間抖動。該矢量誤差可被用于對內插巾貞施加抖動。此外，還有由兩個后續原始幀的時間像素差導致的像素誤差。該像素誤差將用于對內插幀施加空間或時間抖動。在本實施方式中，使用弗洛伊德-斯坦伯格抖動算法。結果是具有與原始幀的相關性的幀間相關抖動具有幀間噪聲被掩蓋的結果。總之，本實施方式提供了一種抖動方法，該方法也使用在幀速率上變換(尤其是運動估計處理)期間確定的運動矢量。在附圖和之前描述中已示出并詳細描述了本發明，但這種示出和描述將被視為是說明性或示例性的且并非限制性的。本發明不限于所公開的實施方式。本領域技術人員可通過對附圖、本公開和所附權利要求的學習，在實踐要求權利的本發明中理解和實現對所公開實施方式的其他變形。在權利要求中，詞語“包括”不排除其他元件或步驟，且不定冠詞“一”或“一個”不排除多個。單個元件或其他單元可實現權利要求中闡述的幾個項目的功能。在相互不同的從屬權利要求中闡述了特定措施的這一事實并不表示這些措施的組合不能有利使用。計算機程序可存儲/分布在合適的非暫時性介質上，諸如與其他硬件一起或作為其一部分提供的光學存儲介質或固態介質，但也可以其他形式分布，諸如經由因特網或其他有線或無線通信系統。權利要求中的任何引用符號不應被解釋為限定范圍。
權利要求
1.一種圖像處理方法，包括: 提供具有第一幀速率的視頻圖像幀， 上變換所述幀速率以提供具有第二幀速率的視頻圖像幀，以及 向具有所述第二幀速率的所述視頻圖像幀施加抖動。
2.根據權利要求1所述的方法，其中，具有所述第二幀速率的所述視頻圖像幀包括內插圖像巾貞，且所述施加抖動包括向內插視頻圖像巾貞施加隨機抖動。
3.根據權利要求1所述的方法，其中，具有所述第二幀速率的所述視頻圖像幀包括內插圖像巾貞，且所述施加抖動包括施加與視頻圖像巾貞相關的巾貞間相關抖動。
4.根據權利要求1所述的方法，其中，所述抖動基于誤差分散算法。
5.根據權利要求4所述的方法，其中，所述誤差分散算法是弗洛伊德-斯坦伯格算法。
6.根據權利要求1至5中任一項所述的方法，其中，所述抖動是在幾個后續幀上施加的時間抖動。
7.根據權利要求1至6中任一項所述的方法，其中，所述抖動是在一個幀中施加的空間抖動。
8.根據權利要求1至7中任一項所述的方法，包括: 執行用于內插圖像幀的運動估計，以及 將由所述運動估計獲得的信息用于所述抖動。
9.一種圖像處理系統,包括: 圖像幀上變換單元，其適用于接收具有第一幀速率的視頻圖像幀，并輸出具有比所述第一幀速率更高的第二幀速率的視頻圖像幀；以及 抖動單元，其接收具有所述第二幀速率的所述圖像幀，且適用于向所述圖像幀施加抖動。
10.根據權利要求9所述的系統，其中，所述抖動單元包括適用于在所述圖像幀的像素的最低有效位上應用隨機值的噪聲發生器。
11.根據權利要求10所述的系統，其中，所述噪聲發生器是藍噪聲發生器。
12.根據權利要求9所述的系統，其中，所述抖動單元包括誤差分散元件。
13.根據權利要求12所述的系統，其中，所述誤差分散元件是適用于執行弗洛伊德-斯坦伯格算法的弗洛伊德-斯坦伯格誤差分散元件。
14.根據權利要求9至13中任一項所述的系統，其中，所述圖像幀上變換單元包括用于內插圖像幀的運動估計單元。
15.一種包括程序代碼手段的計算機程序，當所述計算機程序在圖像控制器上被執行時，所述程序代碼手段用于使圖像控制器執行根據權利要求1至8中任一項所述的方法的步驟。
16.一種存儲有指令的計算機可讀非暫時性介質，所述指令當在圖像控制器上被執行時，使所述圖像控制器執行根據權利要求1至8中任一項所述的方法的步驟。
全文摘要
本發明公開了對內插幀的抖動的使用，具體涉及一種圖像處理方法，包括提供具有第一幀速率的視頻圖像幀，上變換所述幀速率以提供具有第二幀速率的視頻圖像幀，以及向具有所述第二幀速率的所述視頻圖像幀施加抖動。
文檔編號G09G3/36GK103167259SQ201210555680
公開日2013年6月19日 申請日期2012年12月19日 優先權日2011年12月19日
發明者邁克爾·埃嫩克爾, 皮爾喬治·薩托 申請人:索尼公司