專利名稱：動畫顫動補償的制作方法
技術領域：
本發明涉及一種用于由圖形圖像信號和再成(further)圖像信號給出圖像場的合成流的圖像信號處理方法。本發明還涉及用于圖像信號處理的對應圖像信號處理設備和裝置、計算機程序產品以及計算和/或存儲設備。
在諸如電影之類的膠片資料中，圖像信號通常是以24個圖像幀每秒的刷新率提供的。表面看來，應該可以將這樣的膠片或電影圖像信號以同樣的刷新率轉換成視頻圖像信號或者類似的或另一種稱為再成圖像信號的圖像信號。不過，為了達到象PAL視頻(25幀每秒)或NTSC(29.97幀每秒)或SMPTB(30幀每秒)這樣的公知視頻標準的標準刷新率，必須提高原來的膠片刷新率。這樣的屏幕的例子是隔行高清晰度或標準清晰度TV屏幕。而且大多數現代計算機監視器或其它屏幕是非隔行的并且具有頻率高于24幀每秒的刷新率。因此，通常會出現刷新率不匹配的問題，即，通常該問題是在更新率高于膠片或視頻的初始刷新率的屏幕上給出較高質量的輸出。
背景技術：
在現有技術中，已經知道有幾種解決方案用來將膠片或電影的圖像信號轉換成視頻圖像信號并且由此克服前面提到的刷新率不匹配的問題。作為這些解決方案的一部分，通常將幀轉換成兩個場。場指的是可以由膠片的原始幀的原樣、副本或內插結果構成的圖像信號的多個畫面或圖像中的各個畫面或圖像。
從膠片掃描系統(比如US5260787中公開的用于將膠片幀圖像轉換成視頻場圖像以及相反過程的幀轉換器之一)中可以獲知現行的轉換方案。這樣的轉換處理會固有地產生稱為“顫動(judder)”的時域偽像，這種偽像與在第一種場或幀頻下采樣圖像并且將其轉換成第二種不同的場或幀頻(例如，顯示器的更新率)時的運動圖像有關。結果，顯示器中的運動向量可能以連續變化的速度出現。當幀或場刷新率轉換是通過簡單刪除或重復選定的幀或場來進行的時候，顫動偽像的主觀效果會變得更加明顯。
GB2249907致力于解決顫動補償的問題，它公開了專門將24幀每秒逐行掃描格式的數字視頻信號的輸入轉換成30幀每秒逐行掃描格式的數字視頻信號的輸出的方法。輸出幀是這樣由輸入幀形成的每五個輸出幀中的至少四個是通過輸入幀的連續對之間的運動補償內插產生的。所公開種類的幀轉換器中的內插方案或者幀轉換器中的其它預測算法能夠使得顫動偽像明顯程度降低，但是并不能可靠地防止偽像的出現。
EP1215900公開了一種稱為電視電影顯示方法的轉換方法，包括2:3(或3:2)下拉處理和應用于電視電影數字視頻信號的交織逐行處理。2:3下拉處理與基于原始畫面刷新率的第一定時信號同步。其它處理與基于電視電影數字視頻信號的第二定時信號同步。這里呈遞給PDP(等離子顯示屏)的視頻信號要維持膠片資料的原始畫面圖像的刷新率。這樣的同步處理有助于減少，但是不能在任何情況下防止顫動偽像出現。
這種情況對于象消費者和信息電子技術、數字消費器材、音頻/視頻信息和娛樂產品這樣的技術領域中的現行多媒體應用和多媒體系統以及所有種類的音頻和視頻前端(例如，MP4-net、Softworks、Crypto或STB)來說尤為嚴重。這是因為，通常不同種類的圖像信號，尤其是圖形圖像信號和再成圖像信號要結合為一個組合流。最好，將單獨一個線性多路復用流安裝在例如光學存儲設備或光學播放設備上。
圖形圖像信號可以包括動畫，要將動畫理解為任何種類的可移動圖形對象，大多數具有壓縮位圖形式，比如移動到屏幕上的圖片或菜單或子菜單。將圖形圖像信號(比如運動動畫)加到再成圖像信號(比如視頻信號)上會得到圖形圖像信號和再成圖像信號的組合流，這種組合流會面臨新的問題，稱為“動畫顫動”。動畫顫動發生在以再成刷新率提供再成圖像信號而以圖形刷新率提供圖形圖像信號并且必須將這些信號組合到刷新率較高的圖像場的流中的時候。
將前面提到的現有技術手段(例如2:3下拉處理或幀之間的運動補償內插(可以是任何種類的用于消除顫動偽像的內插算法))應用于已經組合在一起的不同種類的圖像場的轉換處理。這對消除動畫顫動的問題作用不大。相反，顫動偽像通常會明顯增大，因為存在至少兩條不同質量的處理路線，一條圖形處理路線和一條再成處理路線。首先，原始膠片或初始視頻素材中的運動拖影常常已經在一定程度上隱藏了顫動偽像。不過，在經過3:2下拉或自然運動補償幀內插處理的圖形圖像信號(例如位圖)的圖像場中，在源素材中沒有運動拖影來部分隱藏顫動偽像。其次，在前面介紹的現有技術中，使運動補償幀內插或3:2下拉或等效處理與視頻圖像信號相協調，這樣就忽略了圖形圖像信號的具體要求。圖形和再成圖像信號的并行處理或動畫顫動的問題既沒有得到關注也沒有得到解決。
希望有這樣一種概念顫動偽像得到可靠補償，即使在組合在一起的圖形圖像信號和再成圖像信號的情況下也是如此，從而在更新率高于圖形和/或圖像信號的刷新率的顯示器上實現高質量的輸出。

發明內容
這就是本發明要發揮作用的地方，本發明的目的是提供用于給出來自圖形圖像信號和再成圖像信號(例如視頻圖像信號)的圖像場的組合流的一種圖像信號處理方法和一種圖像信號處理設備以及相應的裝置、計算機程序產品和計算機和/或存儲設備，它們有效且可靠地防止顫動偽像，尤其是防止動畫顫動偽像。
就方法而言，本發明的目的是借助一種給出來自圖形圖像信號和再成圖像信號的圖像場的組合流的圖像信號處理方法，該方法包括步驟-在至少一條圖形處理線路中以圖形刷新率提供圖形圖像信號的圖像場；-在至少一條再成處理線路中以再成刷新率提供再成圖像信號的圖像場；-通過在圖形圖像信號的圖像場之間進行內插，將圖形刷新率提升到參考刷新率；-將再成圖像信號和圖形圖像信號組合到圖像場的組合流中。
上面定義的處理方法也可以稱為動畫顫動補償圖形和再成圖像信號處理方法。使用至少一條圖形處理線路和至少一條再成處理線路。再成圖像信號可以包括任何種類的視頻或音頻/視頻圖像信號，比較膠片和電影。圖形圖像信號可以包括任何種類的圖形對象、動畫圖形、菜單或子菜單。這些信號最好是以數字信號的形式提供的，例如，來自性質上為數字的源的信號，比如mpeg-2視頻解碼器。組合步驟可以包括多路復用步驟，其中組合流是以單獨一個來自視頻和圖形圖像信號的圖像場的多路復用流的形式提供的。內插一般來說可以看作在曲線上的兩個或多個已知點之間的任何種類的缺失點填充。原理上講，在圖形內容中，內插可以是一個像素一個像素地進行的，但是本情況下，內插最好是一個對象一個對象地在圖形圖像信號的圖像場之間進行的。可以對圖形圖像信號應用任何種類的可取的或簡單的內插方法。
按照本發明的主要概念，首先在組合步驟前就已經將圖形刷新率提升到了參考刷新率，該參考刷新率最好是顯示裝置的預定更新率。這意味著組合步驟是對具有以下圖形刷新率的圖形圖像信號進行的，所述圖形刷新率是比輸入圖像信號的刷新率更高的參考刷新率。其次，將圖形刷新率提升到參考刷新率是通過在圖形圖像信號的圖像場之間進行內插來實現的。所以內插是在已經處理的圖形部分中進行的，此后可以在組合步驟之前根據得到提升的參考刷新率對圖形圖像信號的圖像場進行進一步處理。
這種易于應用的概念的主要的令人驚嘆的優點是，與相當復雜的現有系統相比，實現了顯著更為良好的顫動補償，尤其是動畫顫動補償，在現有系統中，針對顫動補償的措施僅僅應用于視頻圖像信號或最終的圖像場流(象例如GB2249907中那樣)。由這一主要概念實現了各種各樣的其它優點，這些優點從本發明的導出結構可以直接明顯看出并且在從屬方法權利要求中進行了進一步概括。
在本發明的尤其優選的導出結構中，將圖像信號處理方法設計成用來給出來自視頻圖像信號和再成圖像信號的圖像場的組合流，該方法包括步驟-在至少一條圖形處理線路中以圖形刷新率提供圖形圖像信號的圖像場；-在至少一條視頻處理線路中以視頻刷新率提供視頻圖像信號的圖像場；-通過在圖形圖像信號的圖像場之間進行內插，在組合步驟之前將圖形刷新率提升到參考刷新率；-將視頻圖像信號和圖形圖像信號組合到具有高于圖形圖像信號和/或視頻圖像信號的輸入刷新率的預定參考刷新率的圖像場的組合流中。
這樣，本發明的概念很好地適用于給出來自視頻圖像和圖形圖像信號的圖像場的組合流，其中再成信號由視頻圖像信號構成，再成刷新率由視頻刷新率構成，并且再成處理線路由視頻處理線路形成。
該處理方法可以具體應用于包括一條視頻處理線路和兩條圖形處理線路的任何種類的視頻和/或圖形信號。
圖像信號處理方法及其導出結構可以由包括任何優選種類的數字電路的設備來實現，從而可以獲得與數字電路相關的優點。信號處理器或其它單元或模塊可以完成權利要求中列舉的或說明書中概括的或附圖中示出的數個裝置的功能。就設備而言，本發明還得出了一種用于給出來自圖形圖像信號和再成圖像信號的圖像場的組合流的圖像信號處理設備，該設備包括-至少一條圖形處理線路，用于以圖形刷新率提供圖形圖像信號的圖像場；-至少一條再成處理線路，用于以再成刷新率提供再成圖像信號的圖像場；-組合模塊，用于將再成圖像信號和圖形圖像信號組合到圖像場的組合流中，和-處于至少一條圖形處理線路中的制圖模塊，該制圖模塊包括內插裝置，該內插裝置用于在圖形圖像信號的圖像場之間進行內插，以將圖形刷新率在所述組合模塊的上游提升到參考刷新率。
本發明的概念還可以按照圖像信號處理設備的導出結構加以靈活地修改，這些導出結構在從屬設備權利要求中被進一步列出。
本發明還得出一種用于圖像信號處理的裝置，包括前面介紹的圖像信號處理設備、圖像存儲設備和/或顯示裝置。
本發明還得出一種計算機程序產品，該計算機程序產品可存儲在可由計算設備讀取的介質上，該計算機程序產品包括當在所述計算設備上執行該產品時促使所述計算設備執行前面介紹的方法的軟件代碼段。
本發明還得出一種計算和/或存儲設備，尤其是光學存儲或光學系統，用于執行和/或存儲所述計算機程序產品。
本發明的這些和其它方面將會從下文中的優選實施方式中明顯看出并且將參照這些優選實施方式對本發明的這些和其它方面加以介紹。當然，不可能在本發明的說明書中介紹每種能夠想到的組成部分的結構或方法，但是本領域技術人員將會認識到，本發明的很多其它的組合和置換都是可行的。具體來說，前面介紹的技術用于對新一代圖形和再成圖像信號格式進行動畫顫動補償。而本發明對新一代電影和圖形格式(例如，藍光格式)尤其實用并且將會與新一代電影和圖形格式相關聯地介紹本發明，應當理解，本發明的概念也可利用電影、圖形或視頻格式的其它形式來輸出來自圖形和再成圖像信號的圖像場的組合(尤其是多路復用)流。例如，本發明的概念從原理上可以應用于所有現有的使用動畫的音頻/視頻再現系統，象DVD、MHP、DVB-ST或DVB對白或稱為Java圖形或SMIL或Flash的應用程序。


為了更加完整地理解本發明，應當對附圖進行介紹，其中附圖1是用于利用一條視頻處理線路和兩條圖形處理線路給出圖像場的組合流的圖像信號處理方法或設備的優選實施方式的流程圖；附圖2是展示優選實施方式的電影圖形系統中的動畫圖形的示意圖；附圖3是表示優選實施方式中針對在盤上為24幀每秒的逐行視頻而輸出端為60fps隔行屏幕的情況進行的內插步驟的表格；附圖4是附圖1的圖像信號處理設備的優選實施方式中的用于在組合步驟之前將圖形刷新率提升到參考刷新率的制圖模塊及其操作原理的示意圖；附圖5是展示附圖1的圖像信號處理設備的優選實施方式中用于在組合步驟之前將視頻刷新率提升到參考刷新率的3:2下拉處理模塊及其操作原理的示意圖；附圖6是展示優選實施方式中的組合步驟中的阿耳發混合(alpha-blending)的方法的圖像序列；
附圖7是按照新一代電影圖形系統標準的圖像信號處理方法或設備的規程(prescription)的流程圖；附圖8是實現附圖7的新一代電影圖形系統標準的規程的圖像信號處理方法或設備的實現形式的流程圖。
具體實施例方式
新一代電影圖形系統的介紹首先參照附圖7給出示范性新一代電影圖形系統標準的簡要介紹，下面將把這種系統稱為新一代系統。
示范性新一代電影圖形系統比其它現有的使用動畫的音頻/視頻再現系統(比如DVD(數字視頻盤)、MHP或DVB-ST圖形系統)更加精細。這是因為新一代系統能夠更好地支持具有比較平滑運動的圖形圖像信號，尤其是動畫。新一代系統規定了給出來自圖形圖像信號和再成圖像信號(在本實施方式中為視頻圖像信號)的圖像場的組合流的特定圖像信號處理方法100。
按照新一代系統，該方法100包括步驟-在至少一個圖形處理路線109中以圖形刷新率給出圖形圖像信號107的圖像場；-在至少一個視頻處理路線105中以視頻刷新率給出再成(這里是視頻)圖像信號103的圖像場；-將視頻圖像信號103和圖形圖像信號107組合成圖像場的組合流111。
視頻圖像信號103和圖形圖像信號107通常是從源113(例如，存儲設備)取得的。按照新一代電影圖形系統的特殊技術要求，提供了一條視頻處理線路105和兩條圖形處理線路109。將視頻圖像信號103提供給視頻解碼器(V-Dec)115，該視頻解碼器還處理視頻圖像信號103并且通過視頻處理線路將視頻圖像信號提供給視頻平面(V-P1)117。圖形圖像信號107由制圖模塊119(Gfx1，Gfx2)做進一步處理，該制圖模塊將圖形圖像信號107通過圖形處理線路109提供給圖形平面(G-P11，G-P12)121。
組合模塊123用于將視頻圖像信號103和圖形圖像信號107組合成圖像場的組合流111。將圖像場的組合流111作為輸出被提供給輸出設備，例如，該輸出設備在形式上為顯示裝置125。
新一代電影圖形系統標準本身并沒有為視頻圖像信號103、圖形圖像信號107或流111中的任何一種規定單一的固定圖像場刷新率。新一代系統也沒有規定輸入信號的刷新率與通過處理鏈路產生的輸出信號的刷新率之間的關系。存儲在源113上的內容的作者可以規定輸入速率。輸出速率可以按照所連接的輸出設備的能力預先確定。有利地，源113上的視頻圖像信號103是24場每秒(fps)的逐行視頻素材。此外，圖形圖像信號107并且尤其是動畫也是以24fps的最大刷新率提供的。在附圖8中表示出了新一代電影圖形系統標準的具有特定輸入和輸出的實現方式中的各刷新率。附圖8表示新一代系統中的圖像信號處理方法或設備200的實現方式的流程圖，其中對組合步驟之后的組合流運用3:2下拉處理(PD)和/或運動補償幀內插(FI)處理。在附圖8中用相同的附圖標記指代與附圖7中的特征的功能和含義相同的特征。給出了逐行視頻圖像信號103和圖形圖像信號107的具體實例來圖解說明針對源113上的刷新率為24fps而顯示裝置125(例如，隔行高清晰度或標準清晰度TV屏幕)上的更新率為60fps(30幀每秒)的情況的動畫顫動問題。為了將圖像場流111的24fps的刷新率提升到顯示裝置125的60fps的更新率，在組合模塊123之后、顯示裝置125之前，在輸出線路129中實施了3:2下拉(PD)和/或運動補償幀內插(FI)處理模塊127。
可以從EP1215900A2中得到3:2 PD處理的舉例詳細介紹。對于本申請并且尤其是新一代系統和本發明思想而言，要將3:2 PD處理理解為將連續電影幀輸出為三個或兩個相繼隔行場的操作，這將參照附圖5進行進一步論述。從這種意義上說，要將一個場理解為幀的一半，其中場具有奇數或偶數掃描行。
可以從GB2249907A中得到作用于已經組合起來的圖像場流111的內插方案的舉例詳細介紹。對于本申請并且尤其是新一代系統和本發明思想而言，要將應用于圖像場流的任何種類的像素內插算法理解為是運動補償幀內插(FI)處理。具體來說，FI處理計算運動畫面元素的運動軌跡。可以將高水平的噪聲降低、平滑運動再現和得到提高的銳度和細節結合到FI處理中，以提供高質量的無閃爍畫面。按照附圖8中的示范性新一代電影圖形系統的實現方式，實現顫動補償的第一嘗試是通過將組合模塊的24fps輸出饋送到3:2 PD&FI處理模塊127中來給出的。使組合視頻圖像信號和圖形圖像信號的流111的刷新率提升到顯示裝置125的60fps的更新率。在輸出線路129上將經過轉換的流131提供給顯示裝置125。
盡管在模塊127中進行了數字3:2 PD&FI或等效的處理，按照新一代系統的實現方式200的顯示在具有顯示裝置125形式的輸出端上的動畫的顫動偽像明顯大于原先的視頻圖像信號103的顫動偽像。首先，這是因為運動拖影通常會隱藏視頻圖像信號中的一部分顫動，而圖形圖像信號的動畫位圖中沒有運動拖影。其次，模塊127的數字FI或等效處理算法被調諧到視頻圖像信號，而非調諧到位圖動畫內容。由于圖像場的流111是由視頻圖像信號103和圖形圖像信號107組合而成的，因此新一代系統100的實現方式200不能有效地防止動畫顫動出現。
本發明已經認識到，動畫顫動的問題對于新一代組合圖形和再成圖像信號格式而言特別重要。動畫顫動發生在這種或類似的將組合圖形和再成圖像信號轉換成預定參考刷新率(高于輸入圖像信號的刷新率)的情況下。
優選發明實施方式的介紹附圖1表示用于提供來自視頻圖像和圖形圖像信號的圖像場的組合流的圖像信號處理方法10的優選實施方式。附圖1也可以用于解釋說明用于給出圖像場的組合流11的圖像信號處理設備10。要介紹的優選實施方式10是具體針對參照附圖7和附圖8介紹的、具有單獨一條視頻處理線路5和兩條圖形處理線路9A和9B的示范性新一代電影圖形格式100和200而給出的。不過，將會理解，本發明并不局限于此，并且可以很容易地使其適合于也在其它電影圖形格式中起作用，尤其是與附圖1中所示的處理線路相比，具有更多或其它處理線路的電影圖形格式。本領域技術人員將會理解，可以使用任何其它數量的處理線路(例如兩條、三條或更多條視頻處理線路和/或一條、兩條、三條、四條或更多條圖形處理線路)，而不會超出本發明概念的思想。
由此，該方法的優選實施方式包括步驟-在至少一條圖形處理路線9A、9B中以圖形刷新率提供圖形圖像信號7A、7B的圖像場；-在至少一條視頻處理路線5中以視頻刷新率提供視頻圖像信號3的圖像場；-將視頻圖像信號3和圖形圖像信號7A、7B組合成圖像場的組合流。
圖形刷新率是圖形處理線路9A、9B中的圖形圖像信號7A、7B的刷新率。視頻刷新率是視頻處理線路5中的視頻圖像信號3的刷新率。
在附圖1的特定優選實施方式中，圖像信號3、7A、7B是以24fps的輸入刷新率從源13中取得的。將源13實現為光學存儲設備，例如光學存儲盤。按照本發明的概念并且與附圖7和附圖8中所示的實施方式100和200相對照，組合步驟是以已經比輸入圖像信號3、7A、7B的初始刷新率24fps高的預定參考刷新率進行的。在附圖1的例子中，預定參考刷新率是60fps，相當于處于輸出線路29末端的顯示裝置25的更新率。組合步驟是由組合模塊23執行的。
作為本發明概念的關鍵問題并且與附圖7和附圖8的實施方式100和200相對照，在組合步驟之前就將圖形刷新率提升到了參考刷新率，即，通過圖形圖像信號7A、7B的圖像場之間的內插將圖形刷新率提升到了參考刷新率。為此，圖像信號處理設備10包括處于所述至少一條圖形處理線路9A、9B中的制圖(drawing)模塊19A、19B，用于在組合模塊23之前將24fps的圖形刷新率提升到60fps的參考刷新率。制圖模塊19A、19B分別形成為圖形繪畫器Gfx1和Gfx2。制圖模塊19A、19B包括內插裝置18A、18B，用于在圖形圖像信號9A、9B的圖像場之間進行內插。
在附圖1的優選實施方式中，提升步驟是由至少一條圖形處理線路9A、9B中的初始制圖步驟來執行的，所以制圖模塊19A、19B是處理線路9A、9B中的初始模塊，該初始模塊接收輸入刷新率的初始輸入圖形信號7A、7B。制圖模塊19A、19B這樣進行內插使得圖形圖像信號7A、7B以提升后的60fps的圖形刷新率輸出，這個圖形刷新率已經對應于60fps的參考刷新率并且也對應于顯示裝置25的60fps的更新率。
沿著兩條圖形處理線路9A、9B對圖形圖像信號7A、7B進行進一步處理并且將這些信號分別提供給圖形平面21A、21B(G-P11，G-P12)。這意味著，圖形圖像信號7A、7B已經是以60fps的刷新率傳遞給圖形平面21A、21B，并且進而將它們以60fps的刷新率提供給組合模塊23。
相對照而言，視頻刷新率是輸入圖像信號3的初始輸入刷新率24fps。輸入圖像信號3是由至少一條視頻處理線路5中的初始視頻解碼步驟給出的。為此，在視頻處理線路5中安排了視頻解碼器15。隨后由視頻解碼器15將視頻圖像信號3通過視頻處理線路5以同樣的24fps刷新率提供給視頻平面(V-P1)17。由此，視頻圖像信號3是以24fps的刷新率提供給視頻平面17的，而圖形圖像信號7A、7B是以60fps刷新率提供給圖形平面21A、21B的，其刷新率已經對應于顯示裝置25的更新率并且超過了相應的視頻刷新率。
為了在視頻處理線路5中處理視頻圖像信號3，隨后同樣要在組合步驟之前，通過3:2下拉(PD)處理和/或運動補償幀內插(FI)處理將視頻刷新率提升到參考刷新率。也可以采用其它種類的視頻圖像信號場的自然運動(NM)處理。3:2 PD&FI處理是由安排在視頻處理線路5中的幀轉換器27執行的。
在幀轉換器27之后，將視頻圖像信號3的刷新率提升到了60fps(對應于顯示裝置25的更新率)。這樣，視頻圖像信號3和圖形圖像信號7A、7B在這個處理階段都是以同樣的預定參考刷新率60fps提供給組合模塊23的。在組合模塊23中以對應于顯示裝置25的更新率的預定參考刷新率執行組合步驟。來自視頻圖像信號3和圖形圖像信號7A、7B的圖像場的流11也是以預定參考刷新率輸出的。因此，流11很容易適合于通過輸出線路29提供給顯示器25，而不用進行進一步處理。
總地來說，參照附圖1介紹的圖像信號處理方法和圖像信號處理設備10能夠借助前面提出的手段遠比其它系統更加有效地補償顫動，尤其是動畫顫動。制圖模塊19A、19B用內插模塊18A、18B進行了擴充，使得它們以預定的刷新率(尤其是以對應于顯示裝置25的更新率的刷新率)繪制圖形圖像(尤其是諸如運動對象之類的動畫)。在附圖1的例子中，這個刷新率是60fps。將視頻圖像信號3和圖形圖像信號7A、7B組合成來自視頻3和圖形圖像信號7A、7B的圖像場的組合流11的處理是在處理的稍后階段在組合模塊23中進行的。
附圖2中示出了附圖1的圖形平面21A、21B的例子。現在將參照附圖2介紹按照本發明概念的示范性新一代電影圖形系統的優選實施方式的基本方面。附圖2表示參照附圖1介紹的圖形平面21A、21B中的圖形動畫35的圖畫33。屏幕上的動畫35的運動對象37在本領域中也稱為“子圖形(sprite)”。該示范性新一代電影圖形系統在兩個圖形平面21A、21B中預見要在組合模塊23中組合到視頻圖像信號3的視頻圖像中的圖形圖像(尤其是動畫35)的可能結果。各個平面21A、21B上的動畫35是由從源13中讀取的圖形數據段控制的并且可以臨時緩存在播放器RAM存儲器中。通常將圖形數據段與視頻圖像信號3的音頻/視頻數據一起組合在單獨一個線性多路復用流11中。這樣的多路復用流11可以存儲在盤上或者在輸出線路29中提供給輸出端，例如參照附圖1解釋過的顯示裝置25。
一般來說，可以區分兩種類型的數據段。首先，對象定義數據段(象附圖標記37所對應的數據段)可以包含壓縮位圖，例如，汽車的位圖。將這些位圖解壓縮并且存儲在播放器RAM內的位圖緩沖器中。其次，構圖數據段用于控制圖畫33，象箭頭39所象征的運動。單獨一個數據段描述某一時間碼上屏幕上的單獨一個靜態圖像。附圖2中描繪了這種情形。靜態圖像由對象37代表。可以使用一連串數據段(同時它們的時間碼具有較短間隔)來創建象運動汽車這樣的動畫效果。例如，一張盤可以包含下列構圖數據段39(以簡化方式表達)-構圖數據段#1在時間碼10上將對象37顯示在(X，Y)位置(0，100)上-構圖數據段#2在時間碼20上將對象37顯示在(X，Y)位置(10，100)上-構圖數據段#3在時間碼30上將對象37顯示在(X，Y)位置(20，100)上
-構圖數據段#4在時間碼40上將對象37顯示在(X，Y)位置(30，100)上在這個例子中按照動畫37移動具有汽車位圖形式的對象37。它開始于圖形平面21A、21B或顯示裝置25的左側并且移動到右側。
按照新一代系統，數據段的時間碼要與視頻場時序對齊。各個時間碼需要與視頻圖像信號3中的場的確切呈現時間碼相一致，所述視頻圖像信號作為視頻平面17上的圖像場的視頻流而呈現出來。視頻中的各個場并非必須需要構圖數據段，如果沒有新的數據段，則繼續顯示最近的數據段。一般來說要為各個場規定新的構圖數據段，以便獲得平滑動畫。
附圖3表示用于在圖形圖像信號7A、7B的圖像場之間進行內插的內插措施的例子。在本例中，通過對輸入刷新率為24fps的圖形圖像信號7A、7B的圖像場中的已知對象位置進行內插來將圖形刷新率提升到具有顯示裝置25的更新率的形式的參考刷新率。在附圖3的第一行中給出的是視頻圖像信號3的輸入形式3′。以60fps的預定參考刷新率提供內插圖形圖像信號7A、7B的圖像場中的內插對象位置。這是圖形處理線路9A、9B中制圖模塊19A、19B后面的情形。在附圖3的第二行中給出視頻圖像信號3的內插形式3″。附圖3的最后一行表示時間碼。
本領域技術人員將會認識到，本領域中公知很多內插方法，即，在行經已知點的曲線上填補缺失點。取決于應用，可以使用象線性內插、多項式內插或者樣條內插之類的內插方案來在圖形圖像信號的圖像場之間進行內插。
將參照附圖4介紹附圖1的內插裝置18A、18B的一種具體的優選改良改造形態。附圖4是制圖模塊19A、19B中用來將圖形刷新率提升到參考刷新率的內插裝置18A、18B的實現形式。提升步驟的要素由附圖標記41表示。內插裝置18A、18B包括再成模塊43、45、47、49，用于內插步驟的再成修剪。制圖模塊19A、19B對由箭頭流程線表示的圖形數據段51產生作用。在圖形上標出，數據段51包括對象定義數據段53、構圖數據段55和顏色查詢表數據段57，下文中將對這些數據段進行介紹。內插步驟41具體影響圖形對象的位置，從而為圖形平面21A、21B提供60fps刷新率的圖形圖像信號。
在優選實施方式的導出改造形態中，圖像信號處理方法的特征還在于-圖形圖像信號7A、7B的動畫圖形至少基于一個或多個對象定義數據段53和/或一個或多個構圖數據段55和/或一個或多個顏色查詢表控制數據段57；其中-內插步驟包括對動畫圖形35的對象37進行運動內插。
按照剪裁措施43來表征對象37的運動39，基于此輸出是否應用象例如附圖3中所示的那樣的運動內插的判決。換句話說，用于內插的裝置包括用于判斷是否應當在某些數據段之間使用運動補償的表征和/或判決模塊43。該判斷可以是一個對象一個對象地做出的。這一表征和/或判決模塊43的原因在于，對于附圖3中所示的各個相繼場，一般來說并非必須具有構圖數據段55。在某些情況下，新一代電影圖形系統標準甚至強迫忽略某些其它情況下希望有的數據段，因為引入這些數據段會造成圖形繪制工作量超出由該標準規定的參考制圖引擎的資源。用于內插的手段因此必須采用某些措施跨越大于一個場或幀的距離進行內插。另一方面，如果兩個構圖數據段之間的距離非常大，盤制作者可能想要的是對象的“跳躍”運動而不是平滑運動。為了區分后一種情形和前一種情形，判決模塊包括用于表征運動和用于判斷(尤其是一個對象一個對象地判斷)是否應當在某些數據段之間使用運動內插的某種裝置。
該優選實施方式的另一種導出的改造形態的特征在于，內插步驟包括從由下列措施構成的組中選取的一個或多個措施45-調整對象37的軌跡39，以防止與另一個對象發生重疊；-停用對象37與另一個對象重疊的部分；-禁止對象37與另一個對象重疊，透明像素除外。
剪裁手段認可在新一代系統中可以有不止一個對象37同時在屏幕上移動。不過，不允許對象重疊，因為按照這種措施，可以將計算時間有利地保持得較低。在具體的例子中，所有對象具有矩形位圖(對于非矩形對象來說，某些像素是透明的)，并且對象的矩形位圖在由構圖數據段55規定的制圖指令中必須永不重疊。這條規則使得制圖操作更易于實現并且對資源的要求較低。可能發生這樣的情況，當在構圖數據段55之間完成內插時，某些位圖還是發生了重疊，這對于制圖模塊19A、19B中給出的制圖處理一般來說應該是一個問題。在優選實施方式的導出改造形態中，在永不重疊模塊45中提供上面的措施并且這些措施用于檢測和/或修復對象37的重疊。
在優選實施方式的再另一種導出改造形態中，內插步驟包括從下列措施組成的組中選取的一個或多個措施47-檢測具有彼此相當靠近的對象位置的相繼構圖數據段55的對象，-檢測大小和/或非透明像素數量相當的對象，-檢測包括多個匹配順序對象的構圖數據段55。
這些措施最好是在額外模塊47中提供的，該額外模塊47專門適用于檢測同一措施的和多次循環出現的同一對象。為了給出這一進一步剪裁措施的詳細解釋說明，附圖2中的對象包含汽車的位圖并且在圖形平面21A、21B上運動(參見39)。更加復雜的例子是制作例如包含人在圖形平面21A、21B上行走這樣的運動的動畫。在后一種情形下，要循環顯示多個對象，比如腿或胳膊，各個對象都具有顯示處于不同位置上的人腿或胳膊的位圖。這意味著會對內插造成額外的困難，因為對于不同的數據段53、55，對象數量可能會發生改變。例如-構圖數據段#151在時間碼110上將對象3顯示在(X，Y)位置(0，100)上-構圖數據段#152在時間碼120上將對象3顯示在(X，Y)位置(10，100)上-構圖數據段#153在時間碼130上將對象4顯示在(X，Y)位置(20，100)上-構圖數據段#154在時間碼140上將對象4顯示在(X，Y)位置(30，100)上-構圖數據段#155在時間碼150上將對象5顯示在(X，Y)位置(40，100)上-構圖數據段#156在時間碼160上將對象5顯示在(X，Y)位置(50，100)上因此，循環對象定義模塊47包含某些用于處理前面列出的方法步驟的有益算法，并且將該對象定義模塊47設置在內插裝置18A、18B中，用來判定例如前面標出的對象編號3和4實際上是相同的元對象，從而可以進行例如數據段編號#152和#153之間的內插。
進一步剪裁措施49考慮了新一代電影圖形系統標準可以允許使用顏色查詢表(CLUT)作為它的圖形子系統的一部分。內容作者在這種情況下通過將顏色查詢表控制數據段57加到所制作的多路復用流中可以具有快速(例如，在圖形幀頻下，每幀一次)改變顏色查詢表的內容的能力。在這種情況下，作者可以使用所謂的“顏色循環(colorcycling)”技術來實現運動效果。顏色循環是這樣一種技術將對CLUT的快速改變與屏幕上專門剪裁出的位形內容結合起來。顏色循環是快速改變對象的顏色以實現平滑運動的錯覺的處理。這種技術通常用在游戲中，用來以循環方式制作瀑布動畫、熔巖動畫或者火把動畫。顏色循環的優點是，通過改變邏輯調色板中的顏色，就可以簡單地實現運動的感覺。一旦畫出了對象本身，就不再修改包含在該對象中的像素，除了它們的顏色之外。使用顏色循環，內容作者可以實現這樣的效果對象37從視覺上以相對較高的幀頻運動(典型地是以圖形幀頻)，而底層的位圖畫面僅僅以相對較低的幀頻運動(典型地是圖形幀頻的1/2或1/3)。如果格式約束了位圖運動可采用的速度，則顏色循環就會很有吸引力了。這對于較大的位圖尤其有利。使用顏色循環為所提議的發明概念提出了特別首要的額外問題，因為本發明的概念取決于位圖位置之間的內插。如果使用了顏色循環，則可以據此改變為了將圖形幀頻提升到參考幀頻而執行的位圖運動內插處理，以將顏色循環造成的額外運動效果考慮進來。
在優選實施方式的再另一種導出的改造形態中，內插步驟包括從下列措施組成的組中選取的一個或多個措施49-檢測顏色查詢表操縱策略；具體來說，這包括檢測是否作者在多路復用流中使用了顏色循環技術，最好是通過檢測是否存在一個或多個(尤其是很多)顏色查詢表(CLUT)控制數據段57和/或通過分析這些數據段57的內容來完成。
-分析顏色查詢表(CLUT)控制數據段57和/或對象定義數據段53；這具體來說是通過進行一個或多個顏色查詢表(CLUT)控制數據段57并且尤其是一個或多個對象定義數據段53中的位圖的交叉分析來完成的。從而確定出內容作者正在對哪個對象37使用顏色循環技術。
-停用或改造用于對動畫圖形(35)中的一個或多個對象37的運動39進行運動內插的內插裝置18A、18B。結果，在檢測到顏色循環時，至少可以對內插處理進行有利改造。
由此，最好將這些措施設置在額外CLUT檢測模塊49中，該模塊特別適用于在檢測到某種CLUT操縱策略時抑制內插。模塊49包含某些用來處理前面列出的方法步驟的有用算法并且該模塊49設置在內插裝置18A、18B中。
在優選實施方式的第一種細化方案中，可以加入一個開關，該開關可以切換使用附圖1中所示的圖像信號處理方法/設備10和附圖8中所示的圖像信號處理方法/設備200。這樣的開關最好是可以按照預期的圖形制圖工作量動態調節的。如果工作量高得無法由附圖1的方法/設備10來實現，則可以使用附圖8的低質量的方法/設備200。圖形工作量的預期最好基于對未來構圖數據段的超前展望。這種細化方案基于這樣的認識附圖1的方法/設備10提供刷新率為60fps的來自視頻和圖形圖像信號的組合圖像場的流。這種種類的處理因此會消耗比實施附圖8的方法/設備200多的系統資源。在60fps刷新率處理造成工作量很關鍵的情形下，最好使用附圖8的現有實現方式。
在第二種細化方案中，可以使用特殊的處理算法來為圖形對象(比如附圖2中所示的對象37)添加運動拖影。運動拖影在視頻圖像信號中是自然存在的，但是在圖形圖像信號中卻沒有。可以在圖形圖像信號中逐步地提供運動拖影來隱藏動畫顫動，這樣就給出了另一種使得動畫顫動補償更加有效的工具。
現在參照附圖5介紹附圖1的幀轉換器27的導出改造形態。附圖5表示膠片60和數個膠片幀61、62、63，各個幀顯示相應的數字1、2、3。原始膠片或電影的場通常稱為幀。在附圖5的簡化方案中展示了從例如EP1215900A2獲知的3:2下拉處理。在本申請的環境內，要將3:2下拉處理理解為這樣的操作將連續電影幀61、62、63輸出為三個或兩個相繼隔行場61’、62’、63’，形成隔行視頻場的流64。這樣的流64一般包含在附圖1的視頻圖像信號3中。將涉及同一幀的隔行視頻場(例如，幀61和隔行場61’，或者幀62和隔行場62’，或者幀63和隔行場63’)分為奇和偶場。前面介紹過的簡單3:2下拉處理將視頻流64的刷新率提升到膠片60的刷新率并且有助于減小(OK？)顫動偽像，但是不能可靠防止顫動偽像。尤其是，當幀頻轉換是通過簡單刪除和重復選定幀和場來進行的時候，顫動偽像的影響會變得更加明顯。當通過使用預測算法產生出內插幀或場的時候，顫動偽像會變得不太明顯。可以將這些和其它種類的措施被包含在附圖1的幀轉換器27中。
現在參照附圖6介紹附圖1的組合模塊23的特別優選的導出改造形式。附圖6展示了優選種類的組合步驟處理，該處理在這里稱為阿耳發混合(alpha-blending)。參照附圖1介紹過的組合模塊23最好形成為阿耳發混合模塊。在計算機圖形中使用阿耳發混合來創建透明效果。這是通過將透明前景與背景顏色組合起來以創造介于中間的混合結果而實現的。對于動畫和其它種類的圖形圖像信號而言，并且也對于將視頻圖像信號和圖形圖像信號組合起來而言，將阿耳發混合應用于本申請的技術方案，用來創造半透明重疊的外觀(例如，在播放視頻頂部上的半透明按鈕)并且還用來從一個圖像71逐漸漸入到另一個圖像72。
在使用阿耳發混合的計算機圖形中，圖像傳統上使用四個通道來定義它的顏色。這四個通道中的三個是原色通道-紅、綠和藍。第四個通道(稱為阿耳發通道)傳達與圖像的透明度有關的信息。它規定了在將前景和背景彼此重疊起來時，應當如何將前景顏色與背景中顏色融合起來。按照簡化的形式，阿耳發混合中的等式為[r，g，b]混合＝α[r，g，b]前景+(1-α)[r，g，b]背景；其中“[r，g，b]”代表紅色、綠色和藍色通道，而“α”代表加權系數。加權系數可以取從0到1的任何值。當將其設置為0時，前景為完全透明，如附圖6的部分73所示。當將α系數設置為1時，它變得不透明并且完全遮蓋了背景，在附圖6中的部分75中示出了這種情況。任何中間值都會造成兩個圖像的混合結果，例如，如附圖6的部分74中所示，此時α系數為0.5。
總地來說，信號處理的傳統概念并沒有特別適合于來自圖形和再成圖像信號的場的組合流的顫動補償，并且因此會表現出動畫顫動偽像。顫動補償目前僅僅適用于象視頻信號這樣的再成圖像信號，并且視頻圖像信號中的運動拖影通常會隱藏顫動偽像。不過，對于象位圖這樣的圖形對象情況并非如此。本發明的概念以得到增加的參考刷新率(60fps)給出了再成3和圖形7A、7B圖像信號(尤其是包括動畫35)的場的組合流11。早在創建圖形圖像信號7A、7B期間就進行了的圖形圖像信號7A、7B的圖像場之間的內插18A、18B，在組合步驟23之前就已經將圖形圖像信號7A、7B的輸入刷新率(24fps)提升到了參考刷新率(60fps)。相當簡單的內插方法及其導出結構在顯示器25上實現了優于精密復雜的現有系統的高質量輸出。
附圖標記3視頻圖像信號5單獨一條處理視頻處理線路7A，7B圖形圖像信號9A，9B圖形處理線路10圖像信號處理方法/設備13源15視頻解碼器18A，18B內插裝置19A，19B制圖模塊21A，21B圖形平面23組合模塊25顯示裝置27幀轉換器33制圖35動畫圖形37對象39運動41提升步驟43表征和判決模塊/裝置45永不重疊模塊/裝置47循環對象定義模塊/裝置49CLUT檢測模塊/手段51數據段
53對象定義數據段55構圖數據段(composition segment)57CLUT控制數據段60膠片61，62，63幀61’，62’，63’隔行場64場的流71，72圖像73，74，75部分100新一代電影圖形系統標準103視頻圖像信號105視頻處理線路107圖形圖像信號109圖形處理線路111流113源115視頻解碼器117視頻平面119制圖模塊121圖形平面123組合模塊125顯示裝置127處理模塊129輸出線路131轉換后的流200新一代電影圖形系統的實現形式Gfx1，Gfx2初始圖形圖像制圖步驟FI幀內插處理PD下拉處理
權利要求
1.一種提供來自圖形圖像信號和再成圖像信號的圖像場的組合流(11)的圖像信號處理方法，該方法包括步驟-在至少一條圖形處理線路(9A，9B)中以圖形刷新率提供圖形圖像信號(7A，7B)的圖像場；-在至少一條再成處理線路(5)中以再成刷新率提供再成圖像信號(3)的圖像場；-通過在圖形圖像信號(7A，7B)的圖像場之間進行內插，將圖形刷新率提升(41)到參考刷新率；-將再成圖像信號(3)和圖形圖像信號(7A，7B)組合(23)到圖像場的組合流(11)中。
2.按照權利要求1所述的方法，其特征在于，組合步驟(23)是以高于圖形圖像信號(7A，7B)和/或再成圖像信號(3)的輸入刷新率的參考刷新率進行的。
3.按照權利要求1所述的方法，其特征在于，提升步驟(41)是借助用于對圖形圖像信號(7A，7B)的原始圖像幀進行內插的初始圖形圖像繪制步驟(Gfx1，Gfx2)來進行的。
4.按照權利要求3所述的方法，其特征在于，至少一條圖形處理線路(9A，9B)中的圖形刷新率高于至少一條再成處理線路(5)中的再成刷新率。
5.按照權利要求4所述的方法，其特征在于，再成刷新率等于由至少一條再成處理線路(5)中的初始視頻解碼步驟(V-Dec)提供的再成圖像信號(3)的輸入刷新率。
6.按照權利要求1所述的方法，其特征在于，再成刷新率是借助再成圖像信號場的3:2下拉處理(PD)和/或幀內插處理(FI)而得以提升到參考刷新率的。
7.按照權利要求1所述的方法，其特征在于，參考刷新率是按照顯示裝置(25)的更新率預先確定的并且等于該顯示裝置的更新率。
8.按照權利要求1所述的方法，其特征在于，來自再成圖像信號(3)和圖形圖像信號(7A，7B)的圖像場的流是基于光學存儲格式提供的。
9.按照權利要求1所述的方法，其特征在于，再成圖像信號是由視頻圖像信號(3)構成的，再成刷新率是由視頻刷新率構成的，并且再成處理線路是由視頻處理線路(5)構成的。
10.按照權利要求1所述的方法，其特征在于，-圖形圖像信號(7A，7B)包括具有對象(37)和運動(39)的動畫圖形(35)，并且該動畫圖形至少基于一個或多個對象定義數據段(53)和/或一個或多個構圖數據段(55)和/或一個或多個顏色查詢表控制數據段(57)，其中-提升步驟(41)包括用于對動畫圖形(35)中的對象(37)的運動(39)進行運動內插的內插裝置(18A，18B)。
11.按照權利要求10所述的方法，其特征在于，內插裝置(18A，18B)包括(43)對象(37)的運動(39)，基于此輸出是否要運用運動內插的判決結果。
12.按照權利要求10所述的方法，其特征在于，內插裝置(18A，18B)包括從由下列措施組成的組中選取的一個或多個措施(45)-調整對象(37)的運動(39)，以防止與另一個對象發生重疊；-停用對象(37)與另一個對象重疊的部分；-禁止對象(37)與另一個對象重疊，透明像素除外。
13.按照權利要求10所述的方法，其特征在于，內插裝置(18A，18B)包括從由下列措施組成的組中選取的一個或多個措施(47)-檢測具有彼此相當靠近的對象位置的相繼構圖數據段(55)的對象；-檢測大小和/或非透明像素數量相當的對象；-檢測包括按照匹配順序列出的多個對象的構圖數據段(55)。
14.按照權利要求10所述的方法，其特征在于，內插裝置(18A，18B)包括從由下列措施組成的組中選取的一個或多個措施(49)-檢測顏色查詢表操縱；-分析顏色查詢表控制數據段(57)和/或對象定義數據段(53)；-停用或改造用于對動畫圖形(35)中的一個或多個對象(37)的運動(39)進行運動內插的內插裝置(18A，18B)。
15.一種用于提供來自圖形圖像信號和再成圖像信號的圖像場的組合流(11)的圖像信號處理設備(10)，該設備包括-至少一條圖形處理線路(9A，9B)，用于以圖形刷新率提供圖形圖像信號(7A，7B)的圖像場；-至少一條再成處理線路(5)，用于以再成刷新率提供再成圖像信號(3)的圖像場；-組合模塊(23)，用于將再成圖像信號(3)和圖形圖像信號(7A，7B)組合(23)到圖像場的組合流(11)中，和-處于至少一條圖形處理線路(9A，9B)中的制圖模塊(19A，19B)，該制圖模塊包括內插裝置(18A，18B)，該內插裝置用于在圖形圖像信號(7A，7B)的圖像場之間進行內插，以將圖形刷新率在所述組合模塊(23)的上游提升到參考刷新率。
16.按照權利要求15所述的設備，其中，參考刷新率高于圖形圖像信號(7A，7B)和/或再成圖像信號(3)的輸入刷新率。
17.按照權利要求15所述的設備，此外還包括-處于所述至少一條再成處理線路(5)中的解碼器(15)，用于以等于再成圖像信號(3)的輸入刷新率的再成刷新率提供再成圖像信號(3)。
18.按照權利要求15所述的設備，此外還包括-處于所述至少一條視頻處理線路(5)中的幀轉換器(27)，用于借助3:2下拉處理模塊和/或幀內插處理模塊(3:2PD&FI)在組合模塊(23)的上游將再成刷新率提升到參考刷新率。
19.按照權利要求15所述的設備，其中組合模塊(23)是由阿耳發混合模塊構成的。
20.按照權利要求15所述的設備，具有光學播放設備的形式。
21.一種用于圖像信號處理的裝置，包括權利要求15所述的圖像信號處理設備、圖像存儲設備(13)和/或顯示裝置(25)。
22.按照權利要求21所述的裝置，其特征在于，圖像存儲設備(13)是由光學存儲設備構成的，具體來說具有光學存儲盤的形式。
23.按照權利要求21所述的裝置，其特征在于，顯示裝置(25)是從下列顯示裝置組成的組中選取的陰極射線管(CRT)、液晶顯示器(LCD)和等離子顯示屏(PDP)。
24.一種包括圖像信號處理設備的裝置，其中該圖像信號處理設備適用于執行權利要求1所述的方法。
25.一種計算機程序產品，該計算機程序產品可存儲在可由計算設備讀取的介質上，該計算機程序產品包括當在所述計算設備上執行該產品時促使所述計算設備執行權利要求1所述的方法的軟件代碼段。
26.一種計算和/或存儲設備，用于執行和/或存儲權利要求25所述的計算機程序產品。
全文摘要
信號處理的傳統概念并沒有特別適合于來自圖形和再成圖像信號的場的組合流的顫動補償，并且因此會表現出動畫顫動偽像。顫動補償目前僅僅適用于象視頻信號這樣的再成圖像信號，并且視頻圖像信號中的運動拖影通常會隱藏顫動偽像。不過，對于象位圖這樣的圖形對象情況并非如此。本發明的概念以得到增加的參考刷新率(60fps)給出了再成(3)和圖形(7A，7B)圖像信號(尤其是包括動畫(35))的場的組合流11。早在創建圖形圖像信號7A、7B期間就進行了的圖形圖像信號7A、7B的圖像場之間的內插18A、18B，在組合步驟23之前就已經將圖形圖像信號7A、7B的輸入刷新率(24fps)提升到了參考刷新率(60fps)。相當簡單的內插方法及其導出結構在顯示器(25)上實現了優于精密復雜的現有系統的高質量輸出。
文檔編號H04N7/01GK101044755SQ200580035777
公開日2007年9月26日 申請日期2005年10月11日 優先權日2004年10月19日
發明者K·J·G·霍爾特曼 申請人:皇家飛利浦電子股份有限公司