專利名稱：三維虛擬人頭像生成方法、人頭像運動跟蹤方法和裝置的制作方法
技術領域：
本發明涉及圖像處理領域，特別涉及一種三維虛擬人頭像生成方法、人頭像運動跟蹤方法和裝置。
背景技術：
人臉是人類交流的重要渠道，是人類情感表達的最直接的載體，是個體特性展現的重要部分。隨著計算機技術的迅速發展，人們試圖在計算機上展現真實人臉模型，自從上世紀70年代Parke建立第一個臉部模型開始，人臉建模技術得到廣泛關注與研究。真實感人臉建模即是把人的臉部特征在計算機中真實地再現出來。從人的視覺要求出發，總是希望計算機生成的人臉能夠盡可能的逼真，但是由于受模型和計算機能力的限制，建模結果與人們的要求還是有很大差距。現有技術中的一種方法時首先根據輸入圖像手工標定一組特征點；然后根據人臉庫中的平均人臉模型，自動估計輸入圖像中頭部姿勢參數；姿勢恢復以后，它根據一個相似度度量函數為給定人臉圖像在三維人臉庫中確定一個鄰域，鄰域的大小通過交叉驗證算法來自適應的確定；通過鄰域插值算法合成個性化三維人臉模型模型；最后通過提取的特征點求解紋理映射。該方法可以得到高精度的三維人臉動畫，在不同的實驗條件下應用到各種單幅圖像合成三維模型，保證人臉動畫的真實感，同時避免了對人臉縫隙區域進行手工劃分的繁瑣，提高了人臉動畫的制作效率，生成三維人臉模型計算過程相對迭代算法更加穩定和高效，同時生成三維人臉模型具有紋理信息，能夠實時生成具有真實感的高精度三維人臉動畫。在對現有技術進行分析后，發明人發現現有技術至少具有如下缺點:現有技術中提供的方法，每幅測試的圖像都需要手工標示特征點，人工處理量太大，不能應用于要求簡潔、快速的建模場合。

發明內容
本發明實施例提供了一種三維虛擬人頭像生成方法、人頭像運動跟蹤方法和裝置。所述技術方案如下:一種三維虛擬人頭像生成方法，包括:采集人臉圖片，獲取所述人臉圖片上的特征點，所述特征點用于表示左右眉毛、左右眼睛、鼻子、人臉的邊緣輪廓和人臉額頭部分；根據獲取的特征點和預設標準人臉模型獲取個性化三維人臉模型；對所述個性化三維人臉模型進行紋理貼圖，生成三維虛擬人頭像。一種人頭像運動跟蹤方法，包括:獲取人頭像的視頻；檢測所述視頻的每一幀圖像，獲取所述每一幀圖像中的人臉區域；從所述每一幀圖像中的人臉區域中查找強角點；
根據所述每一幀圖像中的人臉區域的強角點，獲取所述視頻中的人頭像姿勢的旋轉偏移矩陣；根據所述旋轉偏移矩陣旋轉三維虛擬人頭像，使得所述三維虛擬人頭像的旋轉能夠跟蹤所述視頻中的人頭像，所述三維虛擬人頭像根據所述人頭像生成。一種三維虛擬人頭像生成裝置，包括:特征點獲取模塊，用于采集人臉圖片，獲取所述人臉圖片上的特征點，所述特征點用于表示左右眉毛、左右眼睛、鼻子、人臉的邊緣輪廓和人臉額頭部分；個性化三維人臉模型獲取模塊，用于根據獲取的特征點和預設標準人臉模型獲取個性化三維人臉模型；三維虛擬人頭像獲取模塊，用于對所述個性化三維人臉模型進行紋理貼圖，生成三維虛擬人頭像。一種人頭像運動跟蹤裝置，包括:視頻獲取模塊，用于獲取人頭像的視頻；人臉區域獲取模塊，用于檢測所述視頻的每一幀圖像，獲取所述每一幀圖像中的人臉區域；強角點查找模塊，用于從所述每一幀圖像中的人臉區域中查找強角點；矩陣獲取模塊，用于根據所述每一幀圖像中的人臉區域的強角點，獲取所述視頻中的人頭像姿勢的旋轉偏移矩陣；跟蹤模塊，用于根據所述旋轉偏移矩陣旋轉三維虛擬人頭像，使得所述三維虛擬人頭像的旋轉能夠跟蹤所述視頻中的人頭像，所述三維虛擬人頭像根據所述人頭像生成。本發明實施例提供的技術方案的有益效果是:通過獲取單幅人臉圖片上用于表征人臉特征信息的特征點，并將其應用到三維人臉模型中，生成一個包括額頭部分的具有更強真實感的個性化三維人臉模型，無需手工標示特征點，大大減少了人工處理量，且適用于要求簡潔、快速的建模場合，且由于特征點中包括了人臉額頭部分的特征點，能夠使得生成的三維虛擬人頭像的真實感大大增強，準確率高。


為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖1是特征點局部搜索示意圖；圖2是本發明實施例提供的一種三維虛擬人頭像生成方法的流程圖；圖3是本發明實施例提供的一種三維虛擬人頭像生成方法的流程圖；圖4是本發明實施例提供的一種人頭像運動跟蹤方法的流程圖；圖5是本發明實施例提供的一種三維虛擬人頭像生成裝置的結構示意圖；圖6是本發明實施例提供的一種三維虛擬人頭像生成裝置的結構示意圖；圖7是本發明實施例提供的一種人頭像運動跟蹤裝置的結構示意圖8是本發明實施例提供的一種人頭像運動跟蹤裝置的結構示意圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。在介紹本發明提供的三維虛擬人頭像生成方法之前，首先對本發明的基礎知識進行簡要的介紹:ASM (Active Shape Model，主動形狀模型)是一種基于模型的特征匹配算法，它既可以靈活地改變模型的形狀以適應目標形狀的不確定的特性，又將形狀的變化控制在允許的范圍內，從而保證模型在改變時不會受到各種因素的影響而出現不合理的形狀。ASM算法在實現時主要包括以下三個步驟:(I)圖像采樣獲得形狀向量和特征點信息。在建立模型時，需要手工標定訓練圖像。選擇N幅人臉圖像(包括多個人的不同表情的姿態)，每一幅圖像標定n個特征點作為訓練數據。標定點為:Xi = (xn, yn, xi2, yi2, , xin, yin, )T, i = 1, 2, , N (公式 I)其中，(XiJ, YiJ,)表示第i幅圖像的第j個特征點的坐標；n代表每幅圖像標記的特征點的數目；N代表訓練圖像的數目；每幅圖像的Xi表示一個形狀向量。并獲取每一個特征點周圍的特征信息，這些特征信息是進行匹配的主要依據。(2)建立模型特征點標定是在各自不同的樣本圖像上進行操作。由于各個樣本圖像拍攝條件、分辨率的差異，得到的形狀向量具有不同的比例尺寸，因此要對樣本圖像的形狀向量進行歸一化，通過旋轉、平移、縮放等仿射變換使得他們在同一坐標系中表示具有一致性。各個樣本向量之間存在一定的相關性，且樣本數量比較大會造成計算量過大，必須進行簡化處理。采用的PCA (Principal Component Analysis,主成分分析)的思想對樣本空間進行正交變換，并確定主成分，經PCA計算可得到主要變化參數。從訓練樣本中集中獲得輪廓的模型統計信息包括: 平均形狀向量
權利要求
1.一種三維虛擬人頭像生成方法，其特征在于，包括: 采集人臉圖片，獲取所述人臉圖片上的特征點，所述特征點用于表示左右眉毛、左右眼睛、鼻子、人臉的邊緣輪廓和人臉額頭部分； 根據獲取的特征點和預設標準人臉模型獲取個性化三維人臉模型； 對所述個性化三維人臉模型進行紋理貼圖，生成三維虛擬人頭像。
2.根據權利要求1所述的方法，其特征在于，采集人臉圖片，獲取所述人臉圖片上的特征點，所述特征點用于表示左右眉毛、左右眼睛、鼻子、人臉的邊緣輪廓和人臉額頭部分，具體包括: 采集人臉圖片，根據預設算法從所述人臉圖片上獲取68個特征點，所述68個特征點包括12個用于表示左右眉毛的特征點、10個用于表示左右眼睛的特征點、12個用于表示鼻子的特征點和33個用于表示人臉的邊緣輪廓的特征點，根據所述68個特征點獲取用于表示人臉額頭部分的9個特征點，得到用于表示人臉的77個特征點。
3.根據權利要求2所述的方法，其特征在于，根據所述68個特征點獲取用于表示人臉額頭部分的9個特征點,具體包括: 根據所述68個特征點中用于表示人臉的邊緣輪廓的特征點中的指定17個特征點和橢圓公式，確定所述人臉的橢圓方程式，根據所述橢圓方程式，獲取用于表示人臉額頭部分的9個特征點。
4.根據權利要求1所述的方法，其特征在于，根據獲取的特征點和預設標準人臉模型獲取個性化三維人臉模型，具體包括: 根據所述獲取的特征點的坐標`，調整預設標準人臉模型上的第一網格頂點的坐標，使得調整后的網格頂點與特征點的位置對應，將調整后的預設標準人臉模型作為個性化三維人臉模型。
5.根據權利要求1所述的方法，其特征在于，根據獲取的特征點和預設標準人臉模型獲取個性化三維人臉模型，具體包括: 根據所述獲取的特征點的坐標，調整預設標準人臉模型上的網格頂點的坐標，使得調整后的網格頂點與特征點的位置對應，將調整后的網格頂點作為第一網格頂點，根據所述第一網格頂點對所述預設標準人臉模型上的第二網格頂點進行調整，所述第二網格頂點為所述預設標準人臉模型上所述第一網格頂點以外的網格頂點，將調整后的預設標準人臉模型作為個性化三維人臉模型。
6.根據權利要求5所述的方法，其特征在于，根據所述第一網格頂點對所述預設標準人臉模型上的第二網格頂點進行調整，具體包括: 根據所述第一網格頂點的坐標以及下述公式，獲取第三網格頂點的坐標，將所述第二網格頂點的坐標調整為對應的第三網格頂點的坐標，
7.根據權利要求1所述的方法，其特征在于，對所述個性化三維人臉模型進行紋理貼圖，生成三維虛擬人頭像，具體包括: 根據所述特征點中用于表示人臉的邊緣輪廓的特征點，從所述人臉圖片中提取出人臉部分； 根據所述特征點中用于表示鼻尖的特征點和所述人臉部分中用于表示比較的特征點的位置，獲取所述個性化三維人臉模型中各個網格頂點的紋理坐標； 將所述人臉部分根據所述紋理坐標進行貼圖，生成三維虛擬人頭像。
8.一種人頭像運動跟蹤方法，其特征在于，包括: 獲取人頭像的視頻； 檢測所述視頻的每一幀圖像，獲取所述每一幀圖像中的人臉區域； 從所述每一幀圖像中的人臉區域中查找強角點； 根據所述每一幀圖像中的人臉區域的強角點，獲取所述視頻中的人頭像姿勢的旋轉偏移矩陣； 根據所述旋轉偏移矩陣旋轉三維虛擬人頭像，使得所述三維虛擬人頭像的旋轉能夠跟蹤所述視頻中的人頭像，所述三維虛擬人頭像根據所述人頭像生成。
9.根據權利要求8所述的方法，其特征在于，檢測所述視頻的每一幀圖像，獲取所述每一幀圖像中的人臉區域，具體包括: 利用基于Haar特征的人臉檢測算法，檢測所述視頻的每一幀圖像，獲取所述每一幀圖像中的人臉區域。
10.根據權利要求8所述的方法，其特征在于，從所述每一幀圖像中的人臉區域中查找強角點，具體包括: 利用強角點檢測算法在所述視頻第一幀的人臉區域中檢測強角點的位置，并利用光流算法在所述視頻第一幀以外的每一幀圖像中跟蹤所述強角點，得到所述強角點在所述視頻第一幀以外的每一幀圖像上的位置； 或，利用光流算法在所述視頻第一幀的人臉區域中檢測強角點的位置，并利用強角點檢測算法在所述視頻第一幀以外的每一幀圖像中跟蹤所述強角點，得到所述強角點在所述視頻第一幀以外的每一幀圖像上的位置。
11.根據權利要求8所述的方法，其特征在于，根據所述每一幀圖像中的人臉區域的強角點，獲取所述視頻中的人頭像姿勢的旋轉偏移矩陣，具體包括: 利用POSIT算法根據所述每一幀圖像中的人臉區域的強角點的位置計算出視頻中人頭像姿勢的旋轉偏移矩陣。
12.—種三維虛擬人頭像生成裝置，其特征在于，包括: 特征點獲取模塊，用于采集人臉圖片，獲取所述人臉圖片上的特征點，所述特征點用于表示左右眉毛、左右眼睛、鼻子、人臉的邊緣輪廓和人臉額頭部分； 個性化三維人臉模型獲取模塊，用于根據獲取的特征點和預設標準人臉模型獲取個性化三維人臉模型； 三維虛擬人頭像獲取模塊，用于對所述個性化三維人臉模型進行紋理貼圖，生成三維虛擬人頭像。
13.根據權利要求12所述的裝置，其特征在于，所述特征點獲取模塊具體包括: 采集單元，用于采集人臉圖片；` 特征點獲取單元，用于根據預設算法從所述人臉圖片上獲取68個特征點，所述68個特征點包括12個用于表示左右眉毛的特征點、10個用于表示左右眼睛的特征點、12個用于表示鼻子的特征點和33個用于表示人臉的邊緣輪廓的特征點，根據所述68個特征點獲取用于表示人臉額頭部分的9個特征點，得到用于表示人臉的77個特征點。
14.根據權利要求13所述的裝置，其特征在于，所述特征點獲取單元包括: 橢圓確定子單元，用于根據所述68個特征點中用于表示人臉的邊緣輪廓的特征點中的指定17個特征點和橢圓公式，確定所述人臉的橢圓方程式； 特征點獲取子單元，用于根據所述橢圓方程式，獲取用于表示人臉額頭部分的9個特征點。
15.根據權利要求12所述的裝置，其特征在于，所述個性化三維人臉模型獲取模塊具體用于根據所述獲取的特征點的坐標，調整預設標準人臉模型上的第一網格頂點的坐標，使得調整后的網格頂點與特征點的位置對應，將調整后的預設標準人臉模型作為個性化三維人臉模型。
16.根據權利要求12所述的裝置，其特征在于，所述個性化三維人臉模型獲取模塊具體用于根據所述獲取的特征點的坐標，調整預設標準人臉模型上的網格頂點的坐標，使得調整后的網格頂點與特征點的位置對應，將調整后的網格頂點作為第一網格頂點，根據所述第一網格頂點對所述預設標準人臉模型上的第二網格頂點進行調整，所述第二網格頂點為所述預設標準人臉模型上所述第一網格頂點以外的網格頂點，將調整后的預設標準人臉模型作為個性化三維人臉模型。
17.根據權利要求16所述的裝置，其特征在于，所述個性化三維人臉模型獲取模塊包括: 調整單元，用于根據所述第一網格頂點的坐標以及下述公式，獲取第三網格頂點的坐標，將所述第二網格頂點的坐標調整為對應的第三網格頂點的坐標，
18.根據權利要求12所述的裝置，其特征在于，所述三維虛擬人頭像獲取模塊包括: 人臉提取單元，用于根據所述特征點中用于表示人臉的邊緣輪廓的特征點，從所述人臉圖片中提取出人臉部分； 紋理坐標獲取單元，用于根據所述特征點中用于表示鼻尖的特征點和所述人臉部分中用于表示比較的特征點的位置，獲取所述個性化三維人臉模型中各個網格頂點的紋理坐標； 貼圖單元，用于將所述人臉部分根據所述紋理坐標進行貼圖，生成三維虛擬人頭像。
19.一種人頭像運動跟蹤裝置，其特征在于，包括: 視頻獲取模塊，用于獲取人頭像的視頻； 人臉區域獲取模塊，用于檢測所述視頻的每一幀圖像，獲取所述每一幀圖像中的人臉區域； 強角點查找模塊，用于從所述每一幀圖像中的人臉區域中查找強角點； 矩陣獲取模塊，用于根據所述每一幀圖像中的人臉區域的強角點，獲取所述視頻中的人頭像姿勢的旋轉偏移矩陣； 跟蹤模塊，用于根據所述旋轉偏移矩陣旋轉三維虛擬人頭像，使得所述三維虛擬人頭像的旋轉能夠跟蹤所述視頻中的人頭像，所述三維虛擬人頭像根據所述人頭像生成。
20.根據權利要求19所述的裝置，其特征在于，所述人臉區域獲取模塊具體用于利用基于Haar特征的人臉檢測算法，檢測所述視頻的每一幀圖像，獲取所述每一幀圖像中的人臉區域。
21.根據權利要求19所述的裝置，其特征在于，所述強角點查找模塊至少包括以下任一單元: 第一查找單元，用于利用強角點檢測算法在所述視頻第一幀的人臉區域中檢測強角點的位置，并利用光流算法在所述視頻第一幀以外的每一幀圖像中跟蹤所述強角點，得到所述強角點在所述視頻第一幀以外的每一幀圖像上的位置； 第二查找單元，用于利用光流算法在所述視頻第一幀的人臉區域中檢測強角點的位置，并利用強角點檢測算法在所述視頻第一幀以外的每一幀圖像中跟蹤所述強角點，得到所述強角點在所述視頻第一幀以外的每一幀圖像上的位置。
22.根據權利要求19所述的裝置，其特征在于，所述矩陣獲取模塊具體用于利用POSIT算法根據所述每一幀圖像中的人臉區域的強角點的位置計算出視頻中人頭像姿勢的旋轉偏移矩陣 。
全文摘要
本發明公開了一種三維虛擬人頭像生成方法、人頭像運動跟蹤方法和裝置，屬于圖像處理領域。該三維虛擬人頭像生成方法包括采集人臉圖片，獲取所述人臉圖片上的特征點，所述特征點用于表示左右眉毛、左右眼睛、鼻子、人臉的邊緣輪廓和人臉額頭部分；根據獲取的特征點和預設標準人臉模型獲取個性化三維人臉模型；對所述個性化三維人臉模型進行紋理貼圖，生成三維虛擬人頭像。通過獲取單幅人臉圖片上用于表征人臉特征信息的特征點，并將其應用到三維人臉模型中，生成一個包括額頭部分的具有更強真實感的個性化三維人臉模型，無需手工標示特征點，大大減少了人工處理量，且適用于要求簡潔、快速的建模場合，且由于特征點中包括了人臉額頭部分的特征點，能夠使得生成的三維虛擬人頭像的真實感大大增強，準確率高。
文檔編號G06T13/40GK103116902SQ201110362949
公開日2013年5月22日 申請日期2011年11月16日 優先權日2011年11月16日
發明者潘志庚, 張明敏, 葉益斌, 李煥森, 周小建, 李德旭 申請人:華為軟件技術有限公司