專利名稱：一種輸出多畫面的方法、裝置及設備的制作方法
技術領域：
本發明涉 及圖像處理領域，尤其是涉及一種輸出多畫面的方法、裝置及設備。
背景技術：
在使用攝像機進行拍攝時，被攝場景中有時會包含多個需要關注的點。例如課堂上的學生(參見圖I所示)、會議中的與會人員、運動場上的運動員等等，都可以是需要關注的點。本文中將這種需要關注的點稱為焦點。現有技術中存在的問題是，由于每個焦點一般都只占整個場景的很小部分，因此在觀看拍攝的畫面時，容易產生焦點不突出、不易觀察的問題，例如會出現人物表情動作等細節難以辨認或者找不到發言人等情況。現有技術中解決上述問題的一種方案是通過人工或者攝像機云臺來控制拍攝的方位角度，每次使一個焦點位于拍攝畫面的中心位置，從而使該焦點得到突出。當需要切換焦點時，則再通過攝像機的轉動，使得另一處焦點位于拍攝畫面的中心位置。發明人在實現本發明的過程中，發現該方案每次只能突出一個焦點，難以處理需要同時突出多個焦點的場景。

發明內容
本發明實施例的目的是提供一種輸出多畫面的方法、裝置及設備，以使多個焦點可以同時得到突出顯示。本發明實施提供了一種輸出多畫面的方法，所述方法包括從攝像設備獲取的圖像中提取拍攝的一個或多個焦點，以組成焦點集合；獲取待輸出的畫面窗口并將所述畫面窗口劃分為若干子畫面；執行指定次數的填充操作，所述填充操作包括在所述焦點集合中選取一個未選取的焦點，在所述若干子畫面中選取一個未填充的子畫面，在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊，并將所述子圖像塊填充至所選子畫面中；輸出由所述若干子畫面組成的多畫面。本發明實施例還提供了一種輸出多畫面的裝置，所述裝置包括焦點獲取單元，用于從攝像設備獲取的圖像中提取拍攝的一個或多個焦點，以組成焦點集合；多畫面設置單兀，用于獲取待輸出的畫面窗口并將所述畫面窗口劃分為若干子畫面；焦點選取單元,用于在所述焦點集合中選取一個未選取的焦點；子畫面選取單元，用于在所述若干子畫面中選取一個未填充的子畫面；子圖像塊提取單元，用于在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊；子畫面填充單元，用于將所述子圖像塊填充至所選子畫面中；
填充控制單元，用于 對所述焦點選取單元、所述子畫面選取單元、所述子圖像塊提取單元和所述子畫面填充單元進行指定次數的調用；多畫面輸出單元，用于輸出由所述若干子畫面組成的多畫面。本發明實施例還提供了一種圖像處理設備，用于輸出多畫面，包括處理器用于從攝像設備獲取的圖像中提取拍攝的一個或多個焦點，以組成焦點集合；獲取待輸出的畫面窗口并將所述畫面窗口劃分為若干子畫面；執行指定次數的填充操作，所述填充操作包括在所述焦點集合中選取一個未選取的焦點，在所述若干子畫面中選取一個未填充的子畫面，在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊，并將所述子圖像塊填充至所選子畫面中；輸出由所述若干子畫面組成的多畫面；存儲器用于存儲所述焦點集合。本發明實施例的方法、裝置及設備，可以將攝像機待輸出的畫面窗口劃分為多畫面的形式，并在攝像機獲取的圖像中自動搜索焦點，然后提取焦點所在的部分圖像并輸出到多畫面的各子畫面中以供觀看，從而使得場景中的各焦點同時得到突出顯示、易于觀察。此外該多畫面還可根據各焦點的變化而進行自動調整。


為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖I是攝像機拍攝教室場景時的示意圖；圖2是本發明一實施例方法的流程圖；圖3是本發明一實施例中多畫面的一種布局樣式示意圖；圖4是本發明一實施例中根據三種算法獲得的焦點對子畫面進行填充的示意圖；圖5是本發明另一實施例方法的流程圖；圖6是本發明又一實施例裝置的示意圖；圖7是本發明再一實施例設備的示意圖。
具體實施例方式下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。圖2是本發明一實施例方法的流程圖。在本發明實施例中，所述方法用于攝像設備，攝像設備指的是攝像機。可以理解的是，在本發明其他實施例中攝像設備還可以是相機、手機、攝像頭等各類具有攝像功能的儀器設備。此外，在本發明其他實施例中，所述方法還可以用于非攝像設備，如圖像處理設備，所述非攝像設備與攝像設備相連并接收所述攝像設備獲取的圖像。對于所述方法所用于的設備，本發明實施例不做限制。此外在使用本發明實施例方法之前還需要做一些基本的準備工作，例如通過點擊攝像機上的按鈕或者在圖形用戶界面中進行選擇，以開啟多畫面輸出模式或從普通輸出模式切換到多畫面輸出模式。本發明實施例的方法包括以下幾個步驟S201 : 從攝像設備獲取的圖像中提取拍攝的一個或多個焦點，以組成焦點集合。一幀(或者稱為一幅)圖像從攝入攝像機到最終向外界輸出，在攝像機內部處理過程中，在各個環節可能會以相應的中間(或稱臨時)圖像處理結果的形式存在(當然有的可能只能算是一組信號而不能稱為圖像)。可以在這些中間圖像及最后輸出的圖像中選擇一幅作為獲取焦點的圖像。在本發明實施例中具體是對攝像機內部AD/DA(模數轉換/數模轉換)模塊輸出環節的圖像進行焦點獲取的。以下將所述攝像設備獲取的圖像稱為原始圖像或所述圖像。在得到了原始圖像后，可以根據任何一種現有技術或算法從原始圖像中識別出焦點。優選的可以根據聲向定位的算法、運動檢測的算法和/或人臉識別的算法獲取一個或多個焦點，以組成焦點集合。例如聲向定位算法是通過攝像機內置的或與攝像機相連的多個指向拍攝區域的MIC (Microphone,麥克風)來收集現場的聲音,根據所收集的聲音的大小、頻率及各MIC的指向角度可計算出原始畫面中的聲源數并記錄各聲源在原始畫面上的位置坐標(Xl，yi)、(x2,y2)...。可以根據這三種算法中的一種來獲取焦點以組成焦點集合，也可以同時使用其中的多種來獲取焦點以組成焦點集合。所述焦點集合中可能有多個焦點，也可能只有一個焦點。當然，優選的還應該在焦點集合中剔除各種算法得到的重復的焦點。另外，本發明實施例主要是描述了自動識別焦點的情形，可以理解的是，在本發明其他實施例中，焦點還可以通過手動的方式獲得，例如在觸摸屏上點擊原始圖像中的某點，然后將該點作為一個人工指定的焦點加入到焦點集合中，對此，本發明實施例不做限制。S202 :獲取待輸出的畫面窗口并將所述畫面窗口劃分為若干子畫面，以使所述畫面窗口變為多畫面。在本發明實施例中，設攝像機原始圖像的分辨率為wXh，同時設輸出信號的分辨率為WXH,為了便于理解及描述,本文將這個分辨率為WXH的輸出信號稱為待輸出的畫面窗口，故待輸出的畫面窗口分辨率即WXH，而將該輸出信號中的數據進行重排的處理就相當于對待輸出畫面窗口進行切分。對待輸出的畫面窗口進行劃分(或稱切分)以獲得多個子畫面從而組成多畫面的切分方法可以包括兩種一種是人工方式，即根據用戶指定的布局來劃分，另一種是自動方式，即根據獲得的焦點個數來自動劃分。在本發明實施例中，優先按用戶指定的布局來劃分，當用戶未指定時，啟用自動方式來劃分。當通過人工方式劃分時，S202的具體步驟可以是獲取指定的布局樣式，根據所述布局樣式將所述畫面窗口劃分為若干子畫面。例如可以在攝像機UI界面中讓用戶輸入子畫面個數，根據子畫面的個數將待輸出的畫面窗口進行均分；也可以讓用戶從預先配置的多畫面布局樣式中選擇一個，然后將待輸出的畫面窗口劃分為用戶選擇的布局樣式；甚至還可以讓用戶在一塊模擬的待輸出畫面窗口中通過添加拆分線的形式來任意指定布局樣式，對此，本發明實施例不做限制。其中一種布局樣式可參見圖3所示，圖3中CP1、CP2...等編號各代表一個待輸出畫面窗口中的子畫面，其大小(以像素為單位)分別為WcplXHcpl, Wcp2XHcp2. · ·，且 WcplXUWcp2XHcp2+. · · = WXH。當然，在本發明其他實施例中，CPU CP2等也可以不是恰好填滿畫面窗口的情況，即Wc51XUWct2XHct2+...可以小于WXH，此時將畫面窗口中的空余位置填黑即可。子畫面的編號原則可以是(I)畫面中占用幅面大越大的編號越小；(2)畫面中越接近中心位置的編號越小。當通過自動方式劃分時，S202的具體步驟可以是根據所述焦點集合中的焦點數目獲取一指定整數；根據所述指定整數對所述畫面窗口進行均分處理，以獲得若干子畫面。優選的，所述指定整數具體為 大于等于所述焦點集合中焦點的數目、且能開平方的最小整數可以從I開始循環，步長為+1，每次乘方一次，將得到的整數C與焦點數η進行比較，如果該整數c小于焦點數η則繼續循環，如果該整數c大于等于焦點數η則退出循環，且c即
為所述指定整數，此時各子畫面都將是同一大小Wc5XHct，即+>< j。假設焦點為7個，那
么可算得c為9，即將待輸出的畫面窗口均分為3 X 3塊，然后將7個焦點分別填入7個子畫面，空余的2個子畫面填黑即可。另外，所述指定整數還可以是一個大于等于焦點數目的最小的非質數整數，此時將該整數分解為兩個最接近的整數的乘積，再按這兩個最接近的整數對所述畫面窗口進行均分即可。例如焦點數目為11，則找到一整數12，12可分解為3X4，所以可將所述畫面窗口均分為3X4個子畫面。需要注意的是，若選擇自動劃分的實現方式，則S202需要在S201之后，但如果若選擇人工劃分的實現方式，則S202可以在S201之前或之后。S203 :執行指定次數的填充操作，所述填充操作包括在所述焦點集合中選取一個未選取的焦點，在所述若干子畫面中選取一個未填充的子畫面，在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊，并將所述子圖像塊填充至所選子畫面中。優選的，所述指定次數具體可根據以下幾種數值中的一種確定所述若干子畫面中的子畫面數量、所述焦點集合中的焦點數目、指定的數值。換句話說，因為子畫面或焦點一般會有多個，所有以上填充操作會進行多次，直到所有子畫面都填完，或焦點集合中的焦點都選完，或達到其他規定的次數，或達到用戶指定的次數而停止。優選的，S203中在所述若干子畫面中選取一個未填充的子畫面時，可以按照如下順序選取按照占用幅面越大的子畫面優先級越高的規則，或按照越接近中心位置的子畫面的優先級越高的規則，為各個子畫面設置優先級；然后按照子畫面優先級從高到低的順序在所述若干子畫面中選取一個未填充的子畫面。優選的，S203中在所述焦點集合中選取一個未選取的焦點時，可以按照如下順序選取先將焦點集合中按不同算法獲取的焦點歸在不同的隊列中，如將通過聲向定位算法獲取的焦點放在聲向定位焦點隊列中，然后按照聲向定位 > 運動檢測> 人臉識別的大順序選取焦點序列，在每個焦點隊列中再按獲得的時間先后或焦點與原始圖像中心距離大小等小順序遍歷該焦點隊列，在遍歷時判斷所選焦點是否已經在多畫面中，如果不在則將焦點填入所選的子畫面，如果在則取下一個焦點，如果隊列已經到達隊尾，則選擇下一隊列繼續進行遍歷，直到取到一個未在多畫面中的焦點。另外，也可以按如下方式確定焦點的選取順序在多個時間點多次獲取焦點集合，然后進行統計，得到焦點的活躍程度，將活躍程度大的焦點的優先級定為高，然后按優先級從高到低選取焦點。以上選擇焦點的順序和/或選擇子畫面的順序的相關配置信息可預先存儲在攝像機的內存中，供用戶使用。 當然也可以由用戶自己定義選擇焦點的順序和/或選擇子畫面的順序。另外，在本發明其他實施例中，焦點的選取和/或子畫面的選取也可以是沒有順序的，例如可以隨機選取一個未選取的焦點和一個未填充的子畫面，然后將所選焦點處的子圖像塊填入所選子畫面中。若所有焦點都依次填入到多畫面后，還有剩余未填充的子畫面，則可將剩余子畫面進行填黑處理。若所有子畫面都被填充后，焦點集合中還有剩余焦點未填入，則可以將剩余焦點忽略。此外，在本發明實施例中，是先按優先級順序選擇一個空的子畫面、然后再通過遍歷的方式選擇一個未包含在多畫面中的焦點去填充的，簡言之即先選子畫面再選焦點。在本發明其他實施例中，還可以是先選焦點再選子畫面，二者的先后順序是不唯一的，對此，本發明實施例不做限制。優選的，S203中在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊的步驟具體可以包括S2031 :根據指定的縮放比例系數對所選子畫面的尺寸進行縮小處理，以獲得待截取尺寸。S2032 :根據所述待截取尺寸在所述圖像中圍繞所選焦點截取部分圖像。S2033 :根據所述指定的縮放比例系數對所述部分圖像進行放大處理，以得到子圖像塊。設待填充的子畫面的大小為WepXHep,以下分別就根據三種焦點獲取算法得到的焦點進行填充的方法進行一下具體敘述若被選擇的焦點是通過運動檢測算法找到的焦點，則可以首先確定一個縮放比例系數L，L可以為經驗值，也可以由用戶指定，以使未來截取的部分圖像的寬高分別放大L倍后可以獲得比較好的觀察效果。也正是因為需要將截取的部分圖像的寬高分別放大L
倍后進行填充，故據此算得截取的部分圖像的寬高應該分別為￥和>。以焦點即檢測到的有運動位移處的位置的坐標(xb，yb)為中心，以ff)作為左上角坐標、以
(Xi ++&)作為右下角坐標，在原始圖像中截取一寬高分別為■^和 > 的部分圖
像(為矩形)。然后再通過插值放大算法，將所述截取的部分圖像的寬高等比放大L倍，得到一個子圖像塊，正好可以填入WctXHc5的子畫面中。若被選擇的焦點是通過聲向定位算法找到的焦點，則截取子圖像塊的步驟與運動檢測類似，即先確定一個縮放比例系數M，然后以焦點即檢測到的確定聲源的位置的坐標
U。，yc)為中心，以(X,&)作為左上角坐標、以(X, + ^-,Jc + &)作為右下角
坐標，在原始圖像中截取一寬高分別為%和$的部分圖像，然后再通過插值放大算法，
M M
將所述截取的部分圖像的寬高等比放大M倍，正好可以填入WepXHep的子畫面中。若被選擇的焦點是通過人臉識別算法找到的焦點，則截取子圖像塊的步驟可以與聲響定位及運動檢測算法類似，即以焦點坐標為中心、按所選子畫面的寬高等比截取一子圖像塊，然后再放大填充。但也可以根據人臉的特性做一些優化處理因為檢
測到的人臉焦點經常是一個人臉矩形塊，所以可以優先按人臉矩形塊的比例截取子圖
像塊，然后再通過橫向或縱向補償的方式將子圖像塊的寬高變為與所選子畫面的寬高
等比，最后將子圖像塊等比放大后填入所選子畫面中。設選定的縮放比例系數為K，則
待截取的部分圖像的寬高應分別
權利要求
1.一種輸出多畫面的方法，其特征在于，所述方法包括 從攝像設備獲取的圖像中提取拍攝的一個或多個焦點，以組成焦點集合； 獲取待輸出的畫面窗口并將所述畫面窗口劃分為若干子畫面； 執行指定次數的填充操作，所述填充操作包括在所述焦點集合中選取一個未選取的焦點，在所述若干子畫面中選取一個未填充的子畫面，在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊，并將所述子圖像塊填充至所選子畫面中； 輸出由所述若干子畫面組成的多畫面。
2.根據權利要求I所述的方法，其特征在于，在所述若干子畫面中選取一個未填充的子畫面的步驟，具體包括 按照占用幅面越大的子畫面優先級越高的規則，或按照越接近中心位置的子畫面的優先級越高的規則，為各個子畫面設置優先級； 按照子畫面優先級從高到低的順序在所述若干子畫面中選取一個未填充的子畫面。
3.根據權利要求I所述的方法，其特征在于，在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊的步驟具體包括 根據指定的縮放比例系數對所選子畫面的尺寸進行縮小處理，以獲得待截取尺寸； 根據所述待截取尺寸在所述圖像中圍繞所選焦點截取部分圖像； 根據所述指定的縮放比例系數對所述部分圖像進行放大處理，以得到子圖像塊。
4.根據權利要求I所述的方法，其特征在于，在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊的步驟具體包括 讀取預置的或輸入的待截取尺寸； 根據所述待截取尺寸在所述圖像中圍繞所選焦點截取部分圖像； 根據所選子畫面的尺寸對所述部分圖像進行放大處理，以得到子圖像塊。
5.根據權利要求I所述的方法，其特征在于，所述指定次數具體可根據以下幾種數值中的一種確定所述若干子畫面中的子畫面數量、所述焦點集合中的焦點數目、指定的數值。
6.根據權利要求I所述的方法，其特征在于，將所述畫面窗口劃分為若干子畫面的步驟，具體包括 根據所述焦點集合中的焦點數目確定一指定整數； 根據所述指定整數對所述畫面窗口進行均分處理，以獲得若干子畫面。
7.根據權利要求I所述的方法，其特征在于，將所述畫面窗口劃分為若干子畫面的步驟，具體包括 獲取指定的布局樣式，根據所述布局樣式將所述畫面窗口劃分為若干子畫面。
8.根據權利要求I至7任一項所述的方法，其特征在于，輸出由所述若干子畫面組成的多畫面的步驟之后還包括 根據所述攝像設備獲取的新的圖像，更新所述焦點集合，并根據更新后的焦點集合，對所述多畫面中各子畫面所填充的子圖像塊進行更新。
9.根據權利要求8所述的方法，其特征在于，若所述更新后的焦點集合中焦點的數目發生變化，則還包括根據所述更新后的焦點集合中焦點數目的變化對所述多畫面中子畫面的布局樣式進行調整。
10.一種輸出多畫面的裝置，其特征在于，所述裝置包括 焦點獲取單元，用于從攝像設備獲取的圖像中提取拍攝的一個或多個焦點，以組成焦點集合； 多畫面設置單元，用于獲取待輸出的畫面窗口并將所述畫面窗口劃分為若干子畫面； 焦點選取單元，用于在所述焦點集合中選取一個未選取的焦點； 子畫面選取單元，用于在所述若干子畫面中選取一個未填充的子畫面； 子圖像塊提取單元，用于在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊； 子畫面填充單元，用于將所述子圖像塊填充至所選子畫面中； 填充控制單元，用于對所述焦點選取單元、所述子畫面選取單元、所述子圖像塊提取單元和所述子畫面填充單元進行指定次數的調用； 多畫面輸出單元，用于輸出由所述若干子畫面組成的多畫面。
11.根據權利要求10所述的裝置，其特征在于，所述子圖像塊提取單元具體包括 尺寸縮小子單元，用于根據指定的縮放比例系數對所選子畫面的尺寸進行縮小處理，以獲得待截取尺寸； 圖像截取子單元，用于根據所述待截取尺寸在所述圖像中圍繞所選焦點截取部分圖像； 圖像放大子單元，用于根據所述指定的縮放比例系數對所述部分圖像進行放大處理，以得到子圖像塊。
12.根據權利要求10所述的裝置，其特征在于，所述子圖像塊提取單元具體包括 尺寸獲取子單元，用于讀取預置的或輸入的待截取尺寸； 圖像截取子單元，用于根據所述待截取尺寸在所述圖像中圍繞所選焦點截取部分圖像； 圖像放大子單元，用于根據所選子畫面的尺寸對所述部分圖像進行放大處理，以得到子圖像塊。
13.根據權利要求10所述的裝置，其特征在于，所述多畫面設置單元具體包括 子畫面數獲取子單元，用于根據所述焦點集合中的焦點數目確定一指定整數； 畫面窗口切分子單元，用于獲取待輸出的畫面窗口并根據所述指定整數對所述畫面窗口進行均分處理，以使所述畫面窗口變為多畫面。
14.根據權利要求10所述的裝置，其特征在于，所述多畫面設置單元具體包括 布局樣式獲取子單元，用于獲取指定的布局樣式； 畫面窗口切分子單元，用于獲取待輸出的畫面窗口并根據所述布局樣式將所述畫面窗口劃分為若干子畫面，以使所述畫面窗口變為多畫面。
15.根據權利要求10至14任一項所述的裝置，其特征在于，所述裝置還包括 更新單元，用于根據所述攝像設備獲取的新的圖像通知所述焦點獲取單元對所述焦點集合進行更新，并根據更新后的焦點集合通知所述填充控制單元對所述多畫面中各子畫面所填充的子圖像塊進行更新。
16.根據權利要求15所述的裝置，其特征在于，所述更新單元還用于根據所述更新后的焦點集合中焦點數目的變化通知所述多畫面設置單元對所述畫面窗口的劃分進行調整。
17.一種圖像處理設備，其特征在于，用于輸出多畫面，包括 處理器用于從攝像設備獲取的圖像中提取拍攝的一個或多個焦點，以組成焦點集合；獲取待輸出的畫面窗口并將所述畫面窗口劃分為若干子畫面；執行指定次數的填充操作，所述填充操作包括在所述焦點集合中選取一個未選取的焦點，在所述若干子畫面中選取一個未填充的子畫面，在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊，并將所述子圖像塊填充至所選子畫面中；輸出由所述若干子畫面組成的多畫面； 存儲器用于存儲所述焦點集合。
全文摘要
本發明實施例公開了一種輸出多畫面的方法、裝置及設備。所述方法包括從攝像設備獲取的圖像中提取拍攝的一個或多個焦點，以組成焦點集合；獲取待輸出的畫面窗口并將所述畫面窗口劃分為若干子畫面；執行指定次數的填充操作，所述填充操作包括在焦點集合中選取一個未選取的焦點，在所述若干子畫面中選取一個未填充的子畫面，在所述圖像中提取至少包含所選焦點、且與所選子畫面顯示要求相匹配的子圖像塊，并將所述子圖像塊填充至所選子畫面中；輸出由所述若干子畫面組成的多畫面。本發明實施例可以在攝像機獲取的圖像中自動搜索焦點，提取焦點所在的部分圖像并輸出到多畫面的各子畫面中，使得場景中的各焦點同時得到突出顯示、易于觀察。
文檔編號H04N5/232GK102638654SQ20121008580
公開日2012年8月15日 申請日期2012年3月28日 優先權日2012年3月28日
發明者劉振聲 申請人:華為技術有限公司