專利名稱：一種會(huì)議電視系統(tǒng)中的多畫面合成方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及會(huì)議電視，具體的說，涉及一種會(huì)議電視系統(tǒng)中的多畫面合成方法及
裝置。
背景技術(shù)：
會(huì)議電視作為一種先進(jìn)的通信手段，已經(jīng)在政府會(huì)議，遠(yuǎn)程教學(xué)，遠(yuǎn)程診斷和跨地 區(qū)遠(yuǎn)程會(huì)議等領(lǐng)域得到了廣泛的應(yīng)用。 現(xiàn)有會(huì)議電視多畫面的實(shí)現(xiàn)方法是在MCU(多點(diǎn)控制單元)側(cè)，MCU側(cè)的DSP(數(shù) 字信號(hào)處理器)首先是對(duì)多個(gè)終端傳過來的碼流進(jìn)行解碼，再將解碼后的數(shù)據(jù)根據(jù)MCU側(cè) 中的主控MP(多點(diǎn)處理器)下發(fā)的多畫面布局信息進(jìn)行多畫面合成，最后將合成后的圖像 進(jìn)行編碼后輸出。 現(xiàn)有技術(shù)中，如果要實(shí)現(xiàn)暫時(shí)將多畫面中的一個(gè)畫面放大觀看，隨即恢復(fù)原來的 圖像很麻煩，其需要切換多畫面布局，將現(xiàn)有的多畫面布局A改為多畫面布局B (布局B中， 所需查看的畫面比較大)，看完后再恢復(fù)到多畫面布局A。 在MCU處理中，多畫面布局A變?yōu)槎喈嬅娌季諦，需要主控MP將布局B下發(fā)給DSP， DSP計(jì)算出布局B的多畫面相關(guān)信息(多畫面中每個(gè)畫面的起始坐標(biāo)、寬度、高度等)并進(jìn) 行相應(yīng)多畫面合成，然后編碼輸出；恢復(fù)布局A的時(shí)候，需要主控MP將布局A重新下發(fā)給 DSP， DSP再次計(jì)算布局A的多畫面信息并進(jìn)行相應(yīng)的多畫面合成。 以上操作的問題在于一、MCU內(nèi)部處理復(fù)雜，存在多次重復(fù)計(jì)算；二、需要放大的 圖像不能夠靈活顯示，只能根據(jù)目前有的布局進(jìn)行選擇。

發(fā)明內(nèi)容
有鑒于上述背景，本發(fā)明提供了一種會(huì)議電視系統(tǒng)中的多畫面合成方法及裝置，
能夠靈活、簡(jiǎn)便地實(shí)現(xiàn)會(huì)議電視系統(tǒng)中的多畫面合成。 為了解決上述技術(shù)問題，本發(fā)明采用了如下技術(shù)方案 —種會(huì)議電視系統(tǒng)中的多畫面合成方法，包括 A、會(huì)議電視系統(tǒng)控制端根據(jù)預(yù)設(shè)多畫面布局將多個(gè)畫面合成為多畫面圖像底 層； B、會(huì)議電視系統(tǒng)控制端在所述多畫面圖像底層之上，創(chuàng)建至少一層圖像層，在每 一圖像層，創(chuàng)建至少一個(gè)圖像框，并按每一圖像框輸出特性調(diào)整該圖像框?qū)?yīng)的預(yù)輸出畫 面，將所述預(yù)輸出畫面輸出到對(duì)應(yīng)圖像框中。 在上述方法的一種實(shí)施例中，所述圖像框輸出特性包括圖像框位置、圖像框尺寸。
在上述方法的一種實(shí)施例中，所述圖像框通過鼠標(biāo)信號(hào)在web頁面中創(chuàng)建。
在上述方法的一種實(shí)施例中，還包括通過鼠標(biāo)信號(hào)在web頁面中關(guān)閉所述圖像 框。
在上述方法的一種實(shí)施例中，還包括對(duì)所述多畫面圖像底層之上的各層的各個(gè)圖像框進(jìn)行層級(jí)和/或輸出特性調(diào)整。 在上述方法的一種實(shí)施例中，所述預(yù)輸出畫面為所述多畫面圖像底層中的畫面， 或者為其他送顯畫面。 本發(fā)明還公開了一種會(huì)議電視系統(tǒng)中的多畫面合成裝置，包括設(shè)置于會(huì)議電視系 統(tǒng)控制端的圖像底層合成模塊以及圖像框合成模塊，其中 所述圖像底層合成模塊，用于根據(jù)預(yù)設(shè)多畫面布局將多個(gè)畫面合成為多畫面圖像 底層； 圖像框合成模塊，用于在所述多畫面圖像底層之上，創(chuàng)建至少一層圖像層，在每一 圖像層，創(chuàng)建至少一個(gè)圖像框，并按每一圖像框輸出特性調(diào)整該圖像框?qū)?yīng)的預(yù)輸出畫面， 將所述預(yù)輸出畫面輸出到對(duì)應(yīng)圖像框中。 本發(fā)明通過將會(huì)議電視系統(tǒng)的多畫面進(jìn)行分層合成，將初始的多畫面布局合成為 圖像底層，而后在圖像底層之上創(chuàng)建上層圖像框，將需要暫時(shí)觀看的畫面輸出到上層圖像 框，因而不需要改變會(huì)議電視系統(tǒng)的原有多畫面布局，MCU內(nèi)部無需復(fù)雜的處理計(jì)算，上層 圖像框中的畫面可以根據(jù)圖像框的輸出特性靈活調(diào)整。因而靈活、簡(jiǎn)便地實(shí)現(xiàn)了會(huì)議電視 系統(tǒng)的多畫面合成。


圖1是本發(fā)明實(shí)施例的MCU側(cè)系統(tǒng)框圖； 圖2是本發(fā)明實(shí)施例的MCU側(cè)MP的處理流程圖； 圖3是本發(fā)明實(shí)施例的MCU側(cè)DSP的處理流程圖； 圖4是本發(fā)明實(shí)施例的MCU側(cè)DSP的處理中的多畫面二次合成的詳細(xì)處理流程 圖； 圖5是本發(fā)明實(shí)施例的二次合成前的16畫面布局； 圖6是本發(fā)明實(shí)施例的二次合成后，將0號(hào)畫面放大后的布局。
具體實(shí)施例方式
下面對(duì)照附圖并結(jié)合具體實(shí)施方式
對(duì)本發(fā)明做詳細(xì)說明。 本發(fā)明應(yīng)用于會(huì)議電視系統(tǒng)，其主要涉及到會(huì)議電視系統(tǒng)的MCU側(cè)，也即會(huì)議電 視系統(tǒng)控制端的處理。 如圖1所示，終端或者WEB頁面處理模塊發(fā)出的消息流到達(dá)MCU側(cè)，MCU側(cè)包括主 控MP和DSP，主控MP首先對(duì)消息流進(jìn)行處理，發(fā)送給DSP的消息處理模塊，其中包含多畫面 布局等信息，DSP同時(shí)接收媒體流，根據(jù)消息指示，由DSP解碼模塊、DSP多畫面合成模塊、 DSP編碼模塊依次進(jìn)行媒體流的碼流解碼、多畫面合成、合成后的圖像編碼輸出。
參見圖5，假設(shè)主控MP下發(fā)給DSP的多畫面布局為圖5所示的16畫面布局，畫面按 從左到右、從上到下順序依次編號(hào)為0-15。 一般的，16畫面中的各個(gè)畫面來自于不同的終 端，由DSP對(duì)這些畫面按圖5所示的多畫面布局進(jìn)行合成輸出，形成一個(gè)720P (1280x720) 16 畫面的圖像。本文中，將該圖像稱為多畫面圖像底層。 當(dāng)用戶在看圖5所示的圖像時(shí)，如果想把畫面號(hào)為0的畫面放大觀看，則在多畫面 圖像底層之上，創(chuàng)建一個(gè)圖像層，在該圖像層中創(chuàng)建一個(gè)圖像框，將畫面號(hào)0的畫面的圖像數(shù)據(jù)依據(jù)圖像框的輸出特性進(jìn)行調(diào)整，輸出到圖像框中進(jìn)行顯示。 圖像框的輸出特性主要包括圖像框尺寸和位置，圖像框一般定義為矩形，因此，圖 像框尺寸由圖像框的寬度和高度定義。圖像框位置一般由圖像框起始坐標(biāo)定義，圖像框起 始坐標(biāo)通常是圖像框的某一頂點(diǎn)坐標(biāo)。 可以創(chuàng)建多個(gè)圖像層，每一圖像層中，可以創(chuàng)建多個(gè)圖像框。并且，各個(gè)圖像框可 以進(jìn)行層級(jí)(從一個(gè)圖像層調(diào)整到另一個(gè)圖像層)、輸出特性等的調(diào)整。當(dāng)用戶通過WEB頁 面觀看多畫面合成圖像底層時(shí)，可以在WEB頁面中通過鼠標(biāo)信號(hào)創(chuàng)建圖像框并輸出圖像。 例如，如圖6所示，只需用鼠標(biāo)在多畫面圖像底層之上，拖出一個(gè)大的矩形框，然后將16畫 面中0號(hào)畫面拖進(jìn)矩形框，就可以實(shí)現(xiàn)將0號(hào)畫面放大觀看。 圖像框中的預(yù)輸出畫面，可以是多畫面合成圖像底層當(dāng)中的某一畫面，也可以是 其他送顯畫面，例如用戶送顯的某一開會(huì)時(shí)的圖片的YUV數(shù)據(jù)。 為簡(jiǎn)略起見，下文中以一個(gè)圖像框?yàn)槔⒁詧D像框?yàn)榫匦慰蜻M(jìn)行說明。可以理 解，在多層、多個(gè)圖像框時(shí)，其流程是類似的。為了區(qū)分，將多畫面圖像底層的多畫面合成稱 為一次畫面合成，將圖像框的創(chuàng)建和圖像輸出稱為二次畫面合成。 參照?qǐng)D1，終端或者WEB頁面處理模塊向MP發(fā)送消息，通知MP用戶要進(jìn)行二次畫 面合成，二次畫面合成消息包括矩形框起始坐標(biāo)(210， 40)，矩形框?qū)挾?50，高度450，需 要將16畫面中0號(hào)放入矩形框。 MP得到以上消息，除了將需要進(jìn)行16畫面多畫面合成的消息( 一次畫面合成消 息，其包括需要進(jìn)行多畫面合成，合成的多畫面數(shù)，多畫面布局)下發(fā)給DSP，還要將需要 進(jìn)行二次畫面合成的消息(包括需要進(jìn)行二次畫面合成，矩形框起始坐標(biāo)和寬度高度，需 要放入矩形框的畫面號(hào))下發(fā)給DSP。 DSP端，首先是DSP解碼模塊依次接收16個(gè)終端發(fā)過來的壓縮碼流，循環(huán)對(duì)每個(gè)碼 流進(jìn)行解碼，并將解碼后的YUV數(shù)據(jù)發(fā)送給DSP多畫面合成模塊。 DSP多畫面合成模塊，首先判斷出當(dāng)前需要進(jìn)行多畫面合成，之后按照MP下發(fā)的 多畫面數(shù)和多畫面布局得到每個(gè)畫面的起始坐標(biāo)和寬度高度，然后對(duì)每一路YUV數(shù)據(jù)進(jìn)行 縮放和合成，完成16畫面的多畫面合成。 —次多畫面合成后，DSP多畫面合成模塊判斷出還要進(jìn)行二次畫面合成，按照MP 下發(fā)的矩形框起始坐標(biāo)(210， 40)，矩形框?qū)挾?50，高度450和所需送顯的畫面號(hào)0號(hào)畫面 進(jìn)行處理。假設(shè)所需送顯的畫面號(hào)0號(hào)的寬度為320，高度為180，由于矩形框?qū)挾葹?50， 高度為450，所以需要進(jìn)行畫面縮放，將0號(hào)畫面縮放為750x450 (注意縮放需要使用送顯畫 面號(hào)的原始YUV數(shù)據(jù))，之后將縮放后的圖像按照矩形框起始坐標(biāo)位置進(jìn)行二次畫面合成。
DSP編碼模塊接收到多畫面合成后的碼流，按照相應(yīng)的格式碼率進(jìn)行編碼，編碼后 就可以得到用戶需要看到的圖像(也即圖6展示的圖像，16畫面在底層，O號(hào)畫面顯示在上 層的矩形框中)。 觀看完畢后，用戶在WEB頁面中關(guān)閉矩形框。則WEB頁面處理模塊通知MP，用戶要 停止二次畫面合成。 MP得到以上消息后，除了將需要進(jìn)行16畫面多畫面合成的消息下發(fā)給DSP，還要 將需要停止二次合成的消息下發(fā)給DSP。 DSP端，首先是DSP解碼模塊依次接收16個(gè)終端發(fā)過來的壓縮碼流，循環(huán)對(duì)每個(gè)碼流進(jìn)行解碼，并將解碼后的YUV數(shù)據(jù)發(fā)送給DSP多畫面合成模塊。 DSP多畫面合成模塊，判斷出當(dāng)前需要進(jìn)行一次畫面合成，之后按照MP下發(fā)的多 畫面數(shù)和多畫面布局得到每個(gè)畫面的起始坐標(biāo)和寬度高度，然后對(duì)每一路YUV數(shù)據(jù)進(jìn)行縮 放和合成，完成16畫面的多畫面合成。 多畫面合成后，DSP多畫面合成模塊判斷出不需要進(jìn)行二次畫面合成，直接跳到下
__Lt少。 DSP編碼模塊接收到多畫面合成后的碼流，按照相應(yīng)的格式碼率進(jìn)行編碼，編碼后 就恢復(fù)了用戶需要的看到的圖像(也即圖5展示的圖像)。
綜上，本發(fā)明實(shí)施例的多畫面合成控制的主要過程包括
A、 MP下發(fā)多畫面合成消息，DSP處理此消息。
B、 DSP將多個(gè)終端傳過來的碼流進(jìn)行多路解碼。 C、將解碼后的數(shù)據(jù)根據(jù)主控MP下發(fā)的多畫面布局進(jìn)行多畫面合成。
D、將合成后的圖像進(jìn)行編碼后輸出。 E、 MP下發(fā)開始多畫面二次合成消息，或者下發(fā)停止多畫面二次合成消息，DSP處 理此消息。 F、當(dāng)開始多畫面二次合成時(shí)，DSP在進(jìn)行多畫面合成后，將所需送顯的圖像根據(jù)矩 形框尺寸進(jìn)行縮放，然后二次合成到多畫面上，或者不進(jìn)行二次合成。
如果按照消息以及數(shù)據(jù)處理，流程進(jìn)行順序?yàn)锳— > E— > B-D。驟4。束。
續(xù)解碼

如圖2所示，MP處理二次合成時(shí)的消息處理包括
1、 WEB頁面是否設(shè)置開始多畫面二次合成，如是，進(jìn)行下一步；
2、 MP得到多畫面二次合成指令。
3、 MP從多畫面二次合成指令中得到矩形框?qū)挾取⒏叨取⑺鑸D
4、 WEB頁面是否設(shè)置停止多畫面二次合成，如是，進(jìn)行下一步；
5、 MP得到停止多畫面二次合成指令。
6、 MP下發(fā)相關(guān)消息給DSP。
7、 流程結(jié)束。
如圖3所示，DSP的消息處理主要包括
1) 對(duì)MP下發(fā)的消息進(jìn)行處理。
2) 進(jìn)行多路視頻壓縮碼流的解碼，如果解碼到最后-
> C— > F— >
否則，進(jìn)行步
否則流程結(jié)
-路，則進(jìn)行下一步，否則，繼
3) 進(jìn)行多畫面合成。
4) 是否需要多畫面二次合成，如是，進(jìn)行多畫面二次合成后再進(jìn)行下一步；否則，
直接進(jìn)行下一步。 5)合成圖像(在有多畫面二次合成時(shí)，是含有底層的多畫面和上層的矩形框的合 成圖像；沒有多畫面二次合成時(shí)，就是底層的多畫面)的編碼輸出。
6)流程結(jié)束。
6
如圖4所示，本發(fā)明實(shí)施例的二次畫面合成主要包括 —、是否需要多畫面二次合成，是則進(jìn)行下一步；否則流程結(jié)束。 二、根據(jù)多畫面二次合成信息得到矩形框起始坐標(biāo)、寬度、高度等信息。 三、得到疊加圖像(也即輸出到矩形框中的預(yù)輸出畫面)的相關(guān)信息，例如，如是
底層的多畫面的一個(gè)畫面，則得到該畫面的畫面號(hào)。 四、矩形框和疊加圖像的尺寸是否匹配，即矩形框和疊加圖像的寬度、高度是否相 等，如是，進(jìn)行下一步；否則，進(jìn)行步驟六。
五、疊加圖像縮放。
六、完成多畫面二次合成。 本發(fā)明實(shí)施例的一種會(huì)議電視系統(tǒng)中的多畫面合成裝置，包括設(shè)置于會(huì)議電視系 統(tǒng)控制端的圖像底層合成模塊以及圖像框合成模塊，其中 所述圖像底層合成模塊，用于根據(jù)預(yù)設(shè)多畫面布局將多個(gè)畫面合成為多畫面圖像 底層； 圖像框合成模塊，用于在所述多畫面圖像底層之上，創(chuàng)建至少一層圖像層，在每一 圖像層，創(chuàng)建至少一個(gè)圖像框，并按每一圖像框輸出特性調(diào)整該圖像框?qū)?yīng)的預(yù)輸出畫面， 將所述預(yù)輸出畫面輸出到對(duì)應(yīng)圖像框中。 本發(fā)明克服了現(xiàn)有的多畫面合成技術(shù)中，MCU內(nèi)部處理復(fù)雜性高、多畫面顯示靈活 性差的問題和缺陷，簡(jiǎn)便、靈活地實(shí)現(xiàn)了會(huì)議電視系統(tǒng)的多畫面合成。在例如需要暫時(shí)將多 畫面中的一個(gè)畫面放大觀看時(shí)，只需在WEB頁面中通過鼠標(biāo)拖出 一個(gè)任意大小的矩形框， 然后將所需圖像拖到矩形框中，看完后，直接關(guān)閉矩形框就可以了。 對(duì)于MCU內(nèi)部處理，不需要改變多畫面布局A，只需要在多畫面布局A下，MP下發(fā) 給DSP兩條關(guān)于多畫面二次合成的消息，即開始多畫面二次合成消息(包括WEB頁面設(shè)置 的矩形框起始坐標(biāo)以及寬度、高度和需要輸出到矩形框的圖像)，以及停止多畫面二次合成 消息。如果是終端WEB頁面設(shè)置，需要終端將上述二次合成消息傳給MCU的MP ;如果是MCU 端WEB頁面，則直接由MP從WEB頁面得到此消息。DSP在根據(jù)布局A完成多畫面合成后，根 據(jù)MP下發(fā)的開始多畫面二次合成消息對(duì)所需送顯的圖像根據(jù)矩形框大小進(jìn)行縮放，然后 根據(jù)矩形框的起始地址將該畫面二次合成到布局A的多畫面圖像上。 本發(fā)明，減少了 MCU內(nèi)部處理的復(fù)雜性，多畫面圖像的顯示調(diào)整更加靈活、方便、 是一種高效的會(huì)議系統(tǒng)多畫面合成方法。 以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說明，但這只是 為便于理解而舉的實(shí)例，不應(yīng)認(rèn)為本發(fā)明的具體實(shí)施只局限于這些說明。對(duì)于本發(fā)明所屬 技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，可以做出各種可能的等同 改變或替換，這些改變或替換都應(yīng)屬于本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種會(huì)議電視系統(tǒng)中的多畫面合成方法，其特征在于，包括A、會(huì)議電視系統(tǒng)控制端根據(jù)預(yù)設(shè)多畫面布局將多個(gè)畫面合成為多畫面圖像底層；B、會(huì)議電視系統(tǒng)控制端在所述多畫面圖像底層之上，創(chuàng)建至少一層圖像層，在每一圖像層，創(chuàng)建至少一個(gè)圖像框，并按每一圖像框輸出特性調(diào)整該圖像框?qū)?yīng)的預(yù)輸出畫面，將所述預(yù)輸出畫面輸出到對(duì)應(yīng)圖像框中。
2. 如權(quán)利要求1所述的方法，其特征在于，所述圖像框輸出特性包括圖像框位置、圖像框尺寸。
3. 如權(quán)利要求l所述的方法，其特征在于，所述圖像框通過鼠標(biāo)信號(hào)在web頁面中創(chuàng)建。
4. 如權(quán)利要求3所述的方法，其特征在于，還包括通過鼠標(biāo)信號(hào)在web頁面中關(guān)閉所述圖像框。
5. 如權(quán)利要求l-4任一所述的方法，其特征在于，還包括對(duì)所述多畫面圖像底層之上的各層的各個(gè)圖像框進(jìn)行層級(jí)和/或輸出特性調(diào)整。
6. 如權(quán)利要求l-4任一所述的方法，其特征在于，所述預(yù)輸出畫面為所述多畫面圖像底層中的畫面，或者為其他送顯畫面。
7. —種會(huì)議電視系統(tǒng)中的多畫面合成裝置，其特征在于，包括設(shè)置于會(huì)議電視系統(tǒng)控制端的圖像底層合成模塊以及圖像框合成模塊，其中所述圖像底層合成模塊，用于根據(jù)預(yù)設(shè)多畫面布局將多個(gè)畫面合成為多畫面圖像底層；圖像框合成模塊，用于在所述多畫面圖像底層之上，創(chuàng)建至少一層圖像層，在每一圖像層，創(chuàng)建至少一個(gè)圖像框，并按每一圖像框輸出特性調(diào)整該圖像框?qū)?yīng)的預(yù)輸出畫面，將所述預(yù)輸出畫面輸出到對(duì)應(yīng)圖像框中。
8. 如權(quán)利要求7所述的裝置，其特征在于，所述圖像框輸出特性包括圖像框位置、圖像框尺寸。
9. 如權(quán)利要求7或8所述的裝置，其特征在于，還包括圖像框調(diào)整模塊，用于對(duì)所述多畫面圖像底層之上的各層的各個(gè)圖像框進(jìn)行層級(jí)和/或輸出特性調(diào)整。
10. 如權(quán)利要求7或8所述的裝置，其特征在于，所述預(yù)輸出畫面為所述多畫面圖像底層中的畫面，或者為其他送顯畫面。
全文摘要
本發(fā)明公開了一種會(huì)議電視系統(tǒng)中的多畫面合成方法，所述方法包括會(huì)議電視系統(tǒng)控制端根據(jù)預(yù)設(shè)多畫面布局將多個(gè)畫面合成為多畫面圖像底層；會(huì)議電視系統(tǒng)控制端在所述多畫面圖像底層之上，創(chuàng)建至少一層圖像層，在每一圖像層，創(chuàng)建至少一個(gè)圖像框，并按每一圖像框輸出特性調(diào)整該圖像框?qū)?yīng)的預(yù)輸出畫面，將所述預(yù)輸出畫面輸出到對(duì)應(yīng)圖像框中。所述裝置包括設(shè)置于會(huì)議電視系統(tǒng)控制端的圖像底層合成模塊以及圖像框合成模塊。本發(fā)明靈活、簡(jiǎn)便地實(shí)現(xiàn)了會(huì)議電視系統(tǒng)的多畫面合成。
文檔編號(hào)H04N5/262GK101742221SQ200910110040
公開日2010年6月16日 申請(qǐng)日期2009年11月9日 優(yōu)先權(quán)日2009年11月9日
發(fā)明者劉軍莉, 管輝, 陳軍 申請(qǐng)人:中興通訊股份有限公司