專利名稱：內插幀生成方法和內插幀生成設備的制作方法
技術領域：
本發明的 一個實施例涉及生成和在形成運動圖像的幀圖像之間
4悉入內才翁幀的4支術，以及以流暢和自然的運動方式顯示只于象(object)
背景技術：
當在液晶顯示器(LCD)上顯示運動圖^f象時，LCD以(例如) 60幀/秒的速率顯示幀圖像(下文中簡稱"幀，，)。幀是通過處理60 場/秒的隔行信號獲得的連續掃描圖像。特別地，LCD持續1/60秒 顯示一幀。
當7見看LCD上顯示的這種圖 <象時，前一幀的圖1象在7見看者眼睛 的一見覺持續(persistence)時停留(leave )。因此，存在圖4象中的運 動對象出現模糊的情況，或者對象出現不自然的運動。在大屏幕中 這種現象出現得更明顯。
為了防止運動圖像的這種模糊，存在一種通過在兩個連續幀之 間插入內插幀來顯示運動圖^象的已知方法(參考第2005-6275號日 本專利申請KOKAI公開出版物)。在參考的方法中，在包括在前幀 和在后幀的兩個輸入幀或更多輸入幀之間執行形成幀的圖像塊的匹 配，從而檢測每個塊的運動矢量(對象運動的方向和距離)。通過利 用每個塊的運動矢量生成位于輸入幀之間的新內插幀。在兩個輸入 幀之間插入內插幀，從而利用增加數目的幀顯示運動圖像。 上述塊匹配是檢測在后幀中的哪個圖像塊與預定尺寸的圖像塊 匹配的方法。計算在前幀中的一個圖<象塊的<象素與在后幀中的4壬意
一個圖像塊的相應像素之間的差分(difference ),并且具有差分的最 小累積值(絕對差分的總和[SAD])的在后幀的圖像塊被檢測作為 最類似、于在前幀的圖傳-塊的圖傳-塊。在前幀與在后幀的最類以的塊:
之間的位置的差分被檢測作為運動矢量。
當基于利用SAD的塊匹配估計對象的運動時，如果在iir入幀中 存在周期圖案，則不能在周期圖案中的圖像塊中估計出準確的運動 矢量。第2005-56410號日本專利申請KOKAI公開出版物公開了一 種技術，在該技術中，如果所觀察的圖像是周期圖案，則利用周圍 圖像塊的運動矢量校正圖像塊的運動矢量。進一步地，第 2006-208792號日本專利申諱-才是交了 (于2006年7月31日4是交) 一種利用兩個尺寸(two sizes)的塊來4全測運動矢量的沖支術。
通過利用塊匹配檢測運動矢量的準確性不是很好，并且檢測有 時以失敗告終。 一全測運動矢量的失敗對圖<象處理有4艮大影響，并會 引起圖像損壞。因此，需要在4企測圖像矢量時采取防止失敗的方法。

發明內容
本發明的目的是提供一種不管運動矢量的檢測準確性如何均能 夠防止圖像損壞(breakdown )的內插幀生成設備和內插幀生成方法。
根據本發明的一個方面，提出了一種通過利用多個輸入幀圖像 生成在連續幀之間插入的新的內插幀的內插幀生成方法，包4舌通 過在輸入幀圖像之間的塊匹配處理來檢測幀圖像中的對象的運動矢 量；判別一全測過程中所檢測的運動矢量的確定性，并基于該判別的 結果判別確定運動矢量和不確定運動矢量；以及通過利用^r測過程 中所檢測的運動矢量生成內插幀，其中，該生成過程是通過將在判
別過程中被判別為不確定運動矢量的運動矢量的值設置為零，來生 成內插幀。
才艮據上述方法，在生成內插幀的過程中不^f吏用不確定運動矢量。 因此，有可能防止運動檢測中的失敗所引起的圖像損壞。
根據本發明，可以提供一種不管運動矢量的檢測準確性如何均 能夠防止圖像損壞的內插幀生成設備和內插幀生成方法。
本發明的其它目的和優點將在以下的描述中^合出，并且部分地 將從描述變得明顯，或者可以通過實施本發明來獲得。通過下文中 特別指出的裝置及其結合可以實現和獲得本發明的多個目的和優點。


附圖結合并構成說明書的一部分，示出了本發明的實施例，并 與上述概括描述和以下實施例的詳細描述一起用于解釋本發明的原理。
圖1是示出了才艮據本發明的內插幀生成i殳備的實施例的框圖2是用于解釋塊匹配處理的實例的示意圖3是示出了判別運動矢量的確定性的方法的實例的示意圖4是示出了根據圖3所示的方法4丸4亍的內插幀生成設備10 的處理過考呈的流禾呈圖5是示出了判別運動矢量的確定性的方法的另一個實例的示 意圖；以及
圖6是示出了才艮據圖5所示的方法執行的內插幀生成設備10 的處理過程的流程圖。
具體實施例方式
下文中將參考附圖詳細描述根據本發明的多個實施例?？偟膩?講，根據本發明的一個實施例，提出了一種通過利用多個輸入幀圖 像生成在連續幀之間插入的新的內插幀的內插幀生成方法，包括 通過輸入幀圖像之間的塊匹配處理來檢測幀圖像中的對象的運動矢 量；判別(determining) ^r測過程中所才企測出的運動矢量的確定性， 并基于該判別的結果判別確定運動矢量和不確定運動矢量；以及通 過利用才企測過程中所4企測出的運動矢量生成內4翁幀，其中，該生成
值i殳置為零，來生成內插幀。
圖1是示出了根據本發明的內插幀生成設備(幀號改變設備) 的實施例的框圖。圖1的內插幀生成設備10包括幀存儲部11、運 動矢量4全測部12、內插幀生成部13、以及判別部14。運動矢量才全 測部12例如通過塊匹配處理從輸入圖像信號中的兩個連續幀檢測 運動矢量。特別地，運動矢量才企測部12計算兩個輸入幀圖像中的圖 像塊的對應像素的值之間的絕對差分值，并選擇對應于絕對差分值 的SAD的最小值的運動矢量作為勢運動矢量(potential motion vector )。 llT入圖 <象4言號的幀率例3口是60幀/秒。
內插圖^f象生成部13基于運動矢量4企測部12的才企測結果生成內 插幀，并在兩個幀之間插入內插幀。其中插入有內插幀的輸出圖像 信號的幀率是例如60幀/秒。
判別部14判別由運動矢量4全測部12 一全測出的運動矢量的確定 性。具體地，判別部14判別由運動矢量才企測部12才企測出的運動矢
量的確定'f生，并基于4企測結果分辨確定運動矢量和不確定運動矢量。 特別地，判別部14將具有等于或大于特定閾值的大小的矢量判別為
不確定運動矢量。作為另 一 個實例，判別部14將與對應于該矢量(待 判別的運動矢量)的l象素周圍的^象素的運動矢量的匹配比率不超過 特定閾值的矢量判別為不確定矢量。
具體地，判別部14為每個像素判別檢測出的運動矢量是否正 確。然后，判別部14通過利用檢測出的運動矢量判別是否生成內插 幀，以通過利用周圍塊的運動矢量生成內插幀，或者通過利用為零 的運動矢量生成內插幀。其后，判別部14向內插圖像生成部13提 供判別的結果。內插圖像生成部13基于判別部14的判別結果生成 內插圖像。
內插圖像生成部13通過利用由運動矢量檢測部12 4全測出的運 動矢量生成內插幀。當生成內插幀時，內插圖像生成部13將被判別 部14判別為不確定運動矢量的運動矢量作為零矢量。作為另 一種生 成方法，內插圖像生成部13通過結合(混合)基于^皮判別部14判 別為確定運動矢量的運動矢量生成的圖像和通過利用被判別為不確 定運動矢量的運動矢量作為零矢量生成的圖像，生成內插幀。
可以將運動矢量判別部12、內插圖像生成部13、以及判別部 14形成為利用離散電子電^各(discrete electronic circuits )的石更4牛或 由CPU執行的軟件(未示出)。
圖2是用于解釋塊匹配處理的實例的示意圖。如圖2所示，才是 出了 一種通過關于點對稱的圖像塊之間的塊匹配處理確定運動矢量 的方法。具體地，在圖2的方法中，通過對在前幀(prior frame ) 20 詳口在后頓(subsequent frame ) 22 (它^f門之間有內4悉巾貞21 )上的圖^f象 塊進行一個Y象素沖妾著一個〗象素的(pixel by pixel)比4交來計算SAD。 圖像塊關于內插幀21中的內插圖像塊41的插入位置上的點是對稱
的。從兩個尺寸中選出該處理中所使用的圖像塊的尺寸。將連接最
類似的圖像塊(即，具有最小的SAD)的矢量判別為運動矢量。在 在前幀20中的預定4叟索范圍40和在后幀22中^j"應于4叟索范圍40 的預定搜索范圍42中進行該比較。
假設圖像塊43和圖像塊44形成一對最類似的圖像塊，從圖像 塊43到圖像塊44的矢量被判別為內插圖像塊41的運動矢量。基于 該運動矢量和彼此最類似的圖像塊43和44的數據生成內插幀21 中的內插圖^f象塊41。
在圖2所示的方法中，預定尺寸的塊在關于內插幀圖像的插入 位置上的點對稱的兩個幀(它們之間有內插幀)上平行移動。然后， 為該塊中的每個^f象素計算位于這兩個幀上的相應位置上的像素的^f象 素值之間的差分值，并判別差分值的累積總和的值。將SAD具有最 小值的方向判別為該塊的運動矢量。
圖3是示出了判別運動矢量的確定性的方法的實例的示意圖。 圖4是示出了根據圖3的方法4丸行的內插幀生成i殳備10的處理過程 的流程圖。在圖3中，假設檢測出的運動矢量被判別為(2Xa， 2Ya) (圖4的4醫Sl )。然后，判別部14通過利用以下方壽呈式(1 )來對 內插圖像Pa [X, Y]的運動矢量的確定性(該矢量是否是正確的矢 量)進行判別(框S2)。
|PO[X-Xa， Y-Ya]-Pl[X + Xa， Y + Ya] |<Thl…(1 )
在方程式(1)中，右邊的Thl是特定閾值。左邊表示差分矢 量的絕對值。當將方程式(1 )用于檢測出的運動矢量時，判別部 14判別4企測出的運動矢量是正確的，并通過利用該運動矢量生成內 插幀(框S3)。當方程式(1)不適用時，判別部14通知內插圖1象
生成部13。 一旦接收到通知，內插圖像生成部13就通過利用零運 動矢量生成內插幀(才匡S4)。
如上所述，才艮據上述實施例，將內插幀的在前幀和在后幀之間 的差分矢量的絕對值與特定閾值Thl進行比較，并將差分矢量的絕 對值小于閾值Thl的運動矢量判別為確定運動矢量。將上述條件不 適用的矢量判別為不確定運動矢量。然后，通過利用^皮判別為不確 定運動矢量的運動矢量生成內插幀。進一步地，當將運動矢量判別 為不確定運動矢量時，通過利用零運動矢量生成內插幀。才艮據上述 結構，在內插幀的生成過程中能夠消除不確定運動矢量。因此，可 以提供一種不管運動矢量的檢測準確性如何均能夠防止圖像損壞的 內 一翁幀生成方法和內4#幀生成i殳備。
本發明不局限于上述實施例。圖5是示出了判別運動矢量的確 定性的方法的另一個實例的示意圖。圖6是示出了根據圖5的方法 的內插幀生成設備IO的處理過程的流程圖。在圖5中，假設待判別 的沖企測出的運動矢量為(2Xa， 2Ya)(圖6的才匡SIO)。然后判別部 14判別內插圖像Pa [X, Y]的運動矢量的確定性。具體地，判別部 14通過檢測圖像Pa [X, Y]的像素的左邊和右邊的n個像素Pa [X，， Y，]是否匹配來判別內插圖像Pa [X， Y]的運動矢量的確定性。在該 處理中，利用以下的方禾呈式(2)(才匡S20)。
|P0[X'-Xa,Y'-Ya]-Pl[X'+Xa,Y'+Ya]|<Th2 ... ( 2 )
在方程式(2)中，右邊的Th2是特定閾值。左邊表示差分矢 量的絕對值。內插圖像生成部13判別方程式(2)所適用的周圍像 素的凄t目Ct，并計算該凄史目的比率M (0《M< 1 )(斗匡S20)。然后， 內插圖像生成部13根據該比率(匹配程度)M生成內插圖像(框 30)。具體地，內插圖像生成部13通過將利用檢測出的運動矢量生 成的圖像和利用零運動矢量生成的圖像進行混合來生成內插幀。具
體地，內插圖像生成部13基于以下方程式(3 )生成內插幀，其中， 通過利用檢測出的運動矢量生成的內插圖像是Pv [X， Y],通過利 用零運動矢量生成的內插圖像是PvO [X, Y]。<formula>formula see original document page 12</formula>(3)
M不4又:帔用作匹配凄t目的比率，而且更大的一又重可以一皮分配結、 與對象像素直接相鄰的像素，并且在待才企測的像素離開對象像素時，
該權重會逐漸下降。進一步地，盡管僅關于圖5中的水平方向(X-軸)判別匹配程度，但是，也可以利用關于垂直方向(Y-軸)判別 的匹配禾呈度。進一步i也，可以關于整個塊判別匹配禾呈度。
對于本領域的技術人員來說，將很容易發現其它優點和改進方 案。因此，本發明具有其更寬的范圍，而并不局限于在此描述并示 出的特定細節和各個實施例。因此，在不背離由所附;f又利要求及其 等價物所限定的總體發明思想的精神和范圍的情況下，可以進行多
種改進。
權利要求
1.一種內插幀生成方法，通過利用多個輸入幀圖像生成插在連續幀之間的新的內插幀，其特征在于，包括通過在所述輸入幀圖像之間的塊匹配處理來檢測幀圖像中的對象的運動矢量(S1)；判別所述檢測過程中所檢測到的所述運動矢量的確定性，并基于所述判別的結果來判別確定運動矢量和不確定運動矢量(S2)；以及通過利用所述檢測過程中所檢測到的所述運動矢量生成所述內插幀(S3，S4)，其中，所述生成過程(S3，S4)是通過將在所述判別過程中被判別為不確定運動矢量的運動矢量的值設置為零來生成所述內插幀。
2. 才艮據^L利要求1所述的內插幀生成方法，其特4正在于，所述生成過程(S3, S4)是通過將基于在所述判別過程 中被判別為確定運動矢量的運動矢量生成的圖像與基于在所 述判別過程中#皮判別為不確定運動矢量且其值^皮設置為零的 運動矢量生成的圖^^結合，來生成所述內插幀。
3. 根據權利要求1所述的內插幀生成方法，其特征在于，所述判別過程(S2 )是將具有等于或大于特定閾值的值的 矢量判別為所述不確定運動矢量。
4. 4艮據權利要求1所述的內插幀生成方法，其特征在于，所述判別過程(S2 )是將待判別的運動矢量判別為所述不 確定運動矢量，其中，所述待判別的運動矢量與對應于所述待 判別的運動矢量的像素周圍的多個像素的運動矢量的匹配比 率等于或小于特定閾值。
5. —種內插幀生成設備，通過利用多個輸入幀圖像生成插在連續 幀之間的新的內插幀，其特征在于，包括才企測部(12),用于通過在所述輸入幀圖像之間的塊匹配 處理來才企測幀圖^象中的對象的運動矢量；判別部(14 ),用于判別在所述纟企測部中所4全測到的運動 矢量的確定性，并基于所述判別的結果判別確定運動矢量和不 確定運動矢量；以及生成部(13)，用于通過利用所述才企測過禾呈中所4全測到的 運動矢量生成所述內插幀，其中，所述生成部(13 )通過將在所述判別過程中被判別為不確 定運動矢量的運動矢量的值設置為零來生成所述內插幀。
6. 根據權利要求5所述的內插幀生成設備，其特征在于，所述生成部(13 )通過將基于在所述判別過程中被判別為 確定運動矢量的運動矢量生成的圖^象與基于在所述判別過程 中一皮判別為不確定運動矢量且其值一皮i殳置為零的運動矢量生 成的圖像結合，來生成所述內插幀。
7. 根據權利要求5所述的內插幀生成設備，其特征在于，所述判別部(14)將具有等于或大于特定閾值的值的矢量 判別為所述不確定運動矢量。
8. 根據權利要求5所述的內插幀生成設備，其特征在于，所述判別部(14 )將4寺判別的運動矢量判別為所述不確定 運動矢量，其中，所述待判別的運動矢量與對應于所述待判別 的運動矢量的〗象素周圍的多個4象素的運動矢量的匹配比率等 于或小于特定闊值。
全文摘要
根據一個實施例，通過利用多個輸入幀圖像生成插在連續幀之間的新的內插幀的內插幀生成方法包括通過在輸入幀圖像之間的塊匹配處理來檢測幀圖像中的對象的運動矢量(S1)；判別檢測過程中所檢測到的運動矢量的確定性，并基于判別結果判別確定運動矢量和不確定運動矢量(S2)；以及通過利用檢測過程中所檢測到的運動矢量生成內插幀(S3，S4)。生成過程(S3，S4)是通過將在判別過程中被判別為不確定運動矢量的運動矢量的值設置為零來生成內插幀。
文檔編號H04N5/14GK101193201SQ200710187110
公開日2008年6月4日 申請日期2007年11月14日 優先權日2006年11月28日
發明者佐藤考, 吉村博, 小川佳彥, 山崎雅也, 平山桂子, 莊野溫夫, 濱川洋平, 道庭賢一 申請人:株式會社東芝