本發明涉及人臉識別領域，尤其是涉及了一種基于三維形變人臉模型的種族識別方法。

背景技術：

人臉是人類最重要的生物特征之一，反映了很多重要的生物信息，如身份、性別、種族、年齡、表情等。其中種族識別可以廣泛應用于各種公共場所的監控系統或信息采集系統，方便收集顧客的身份和相關信息，從而根據顧客種族信息進行統計和提供進一步的服務；也可應用于電子產品的用戶鑒別，使電子產品能自動地識別用戶的種族，根據識別結果給用戶提供相應的用戶界面和服務，使得各類電子產品更加人性化。但是傳統的識別中，光照、表情、遮擋和姿勢變化的存在會對識別造成影響，而且有冗余消息，識別效率不高。

本發明提出了一種基于三維形變人臉模型的種族識別方法，先將各個人種或各個民族的圖像輸入，形成原始圖像數據集，通過合成輔助3D人臉獲得數據集，解釋原始圖像作為協同表示模型的分類(CRC)的訓練數據集，形成常用的訓練圖像詞典；再合并原始和3D數據集作為擴展的詞典，則新詞典含有常用的訓練集和3D數據集；接著進行主體消除機制，最后測試樣品通過新詞典解碼進行分類。本發明中光照、表情、遮擋和姿勢變化的存在對識別的影響較小；消除信息冗余，提高識別效率。

技術實現要素：

針對光照、表情、遮擋和姿勢變化的存在對識別有影響的問題，本發明的目的在于提供一種基于三維形變人臉模型的種族識別方法，先將各個人種或各個民族的圖像輸入，形成原始圖像數據集，通過合成輔助3D人臉獲得數據集，解釋原始圖像作為協同表示模型的分類(CRC)的訓練數據集，形成常用的訓練圖像詞典；再合并原始和3D數據集作為擴展的詞典，則新詞典含有常用的訓練集和3D數據集；接著進行主體消除機制，最后測試樣品通過新詞典解碼進行分類。

為解決上述問題，本發明提供一種基于三維形變人臉模型的種族識別方法，其主要內容包括：

(一)原始圖像數據集；

(二)輔助3D人臉數據集和常用的訓練圖像詞典；

(三)新詞典含有常用的訓練集和3D數據集；

(四)主體消除機制；

(五)進行種族分類。

其中，所述的原始圖像數據集，指的是原始各類人種的圖像數據集，包括亞洲、非洲、歐洲以及藏族等少數民族的人種的圖像輸入，每個人種的數據集含10萬張圖像。

其中，所述的輔助3D人臉數據集和常用的訓練圖像詞典，包括輔助3D人臉數據集和常用的訓練圖像詞典。

進一步地，所述的輔助3D人臉數據集，通過合成輔助3D人臉獲得數據集，給定一個K×M訓練樣本{x_1,1,…,x_K,M}，其中K是類的數量，M是每個類的訓練樣本數，測試樣品可以近似由所有這些訓練樣本的線性組合：

其中，α_k.m是對應的K個類的M個訓練樣本的系數向量的入口，P是樣本的維數；入口α_k.m指示相應的訓練樣本代表測試樣本的潛力；

方程(1)可改寫為：

y≈x_α (2)

其中是包含所有訓練樣本和訓練樣本的詞典矩陣，α＝[α_1,1,…,α_K,M]^T是需要估計的系數向量；一旦得到的系數向量，可以測量第k類的傾向表示測試樣本：

其中，c_k是重建的測試樣品，使用的是第k類的訓練樣本；測試樣品的重建誤差為k類是通過：

E(y)_k＝‖y-c_k‖₂ (4)

以及測試樣本Y的標簽確定使用：

如上所述，分類問題的關鍵是獲得的系數向量重構的測試樣本。

進一步地，所述的常用的訓練圖像詞典，解釋原始圖像作為協同表示模型的分類(CRC)的訓練數據集；基于稀疏表示的分類(SRC)的目的是最小化的目標函數得到的稀疏系數向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范數約束優化問題是一個比較難的問題，難以解決；

min‖α‖₁ (7)

s.t.y＝X_α

這種優化問題可以解決在多項式時間標準線性規劃方法；

CRC通過求解范數最小化問題發現的系數向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的優化是一個典型的最小二乘問題，α通過以下方程獲得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一個小的正常數，I是單位矩陣的正規化的解決方案；在一定條件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有競爭力的人臉分類精度，并具有較低的計算復雜度。

其中，所述的新詞典含有常用的訓練集和3D數據集，合并原始和3D數據集作為擴展的詞典；3DMM方法可以通過擬合生成的三維人臉模型的圖像重建二維人臉圖像的三維形狀和紋理；初始化3DMM擬合過程，自動級聯的基于回歸的面部的地標檢測方法，然后通過調整相機模型的參數，重建的三維形狀和紋理呈現不同的姿勢的二維人臉圖像；

使用一個透視相機，通過投影重建的三維形狀和紋理到一個二維圖像平面渲染二維虛擬人臉；更具體地說，通過相機投影，一個頂點的三維形狀的投影到一個二維坐標S＝[x^2d,y^2d]^T；該投影可以分解成兩部分：一個剛性的三維變換透視投影

T_r:v′＝Rv+τ (10)

是旋轉矩陣，是一個空間轉化，f表示焦距，[o_x,o_y]^T是在圖像平面上的相機的光軸；因此，通過設置不同的相機參數，不同姿勢的圖像可以重建三維形狀和紋理渲染。

其中，所述的主體消除機制，在擴展詞典的人臉分類提出了一個迭代消除計劃，刪去了無用的樣本；在重建誤差方面，每個類代表一個測試樣本的測量；從擴展的詞典上消除所有的訓練樣本的類的最大重建誤差；擴展詞典的系數向量和剩余類的貢獻被更新；一直重復相同的過程直到詞典中的類的數量下降到一個預定義的級別；

這種消除策略加強了有更多的信息和代表重建測試樣本的類；使用公式(4)估算一個特定的類和一個測試樣本之間的重建誤差，這是測試樣品和類的所有訓練樣本的線性組合之間的距離測量，形成新的詞典。

其中，所述的進行種族分類，測試樣品通過新詞典解碼進行分類，測試精度高，效率高；分類器進行人臉識別，分類器的原理為：設線性可分樣本集和為(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是類別標號，則

w·x+b＝0 (12)

是SVM分類器的分類面方程；在分類時，為了使分類面對所有樣本正確分類且分類間隔達到最大，需要滿足下面兩個條件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通過解此約束優化問題就可以得到最優分類面，而過兩類樣本中離分類面最近的點且平行于最優分類面的超平面上的訓練樣本就是使得公式中等號成立的那些特殊樣本，因為它們支撐了最優分類面，因此被稱為支撐向量，紋理優化后的三維人臉圖像首先進行視覺直方圖特征提取，特征提取之后輸入到SVM性別分類器之中，獲得最終的性別分類結果。

進一步地，所述的分類模塊，不同于性別分類的二分類設計，我們將種族分類視為一個模糊分類問題，紋理優化后的三維人臉圖像首先進行Gabor濾波，獲取該深度圖像的Gabor濾波器響應向量集合；對該集合的每個響應向量，將其向東方(西方)視覺詞典庫進行映射，如果與東方(西方)詞典庫中的某個詞匯距離小于閾值，則該響應向量屬于東方(西方)人臉，其對應的向量數目eastnum(westnum)進行+1處理；下列公式：

member ship(I)＝eastnum/westnum (15)

為最終的模糊隸屬度函數。

進一步地，所述的視覺詞典，分別對不同種族的人臉圖像進行視覺詞匯計算，對計算得出的所有視覺詞匯，對于其中距離比較近的視覺詞匯區域，我們將其視為種族深度視覺詞匯的臨界區域，其代表的是人的屬性；對于相距比較遠的區域，我們將其視為代表了種族的特性信息(東方或者西方深度人臉圖像)，以此為基礎分別構建不同種族詞典庫。

附圖說明

圖1是本發明一種基于三維形變人臉模型的種族識別方法的系統流程圖。

圖2是本發明一種基于三維形變人臉模型的種族識別方法的各類人種的圖像數據集。

圖3是本發明一種基于三維形變人臉模型的種族識別方法的新詞典含有常用的訓練集和3D數據集。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結合，下面結合附圖和具體實施例對本發明作進一步詳細說明。

圖1是本發明一種基于三維形變人臉模型的種族識別方法的系統流程圖。主要包括原始圖像數據集，輔助3D人臉數據集和常用的訓練圖像詞典，新詞典含有常用的訓練集和3D數據集，主體消除機制和進行種族分類。

其中，輔助3D人臉數據集和常用的訓練圖像詞典，包括輔助3D人臉數據集和常用的訓練圖像詞典。

輔助3D人臉數據集，通過合成輔助3D人臉獲得數據集，給定一個K×M訓練樣本{x_1,1,…,x_K,M}，其中K是類的數量，M是每個類的訓練樣本數，測試樣品可以近似由所有這些訓練樣本的線性組合：

其中，α_k.m是對應的K個類的M個訓練樣本的系數向量的入口，P是樣本的維數；入口α_k.m指示相應的訓練樣本代表測試樣本的潛力；

方程(1)可改寫為：

y≈x_α (2)

其中是包含所有訓練樣本和訓練樣本的詞典矩陣，α＝[α_1,1,…,α_K,M]^T是需要估計的系數向量；一旦得到的系數向量，可以測量第k類的傾向表示測試樣本：

其中，c_k是重建的測試樣品，使用的是第k類的訓練樣本；測試樣品的重建誤差為k類是通過：

E(y)_k＝‖y-c_k‖₂ (4)

以及測試樣本Y的標簽確定使用：

如上所述，分類問題的關鍵是獲得的系數向量重構的測試樣本。

常用的訓練圖像詞典，解釋原始圖像作為協同表示模型的分類(CRC)的訓練數據集；基于稀疏表示的分類(SRC)的目的是最小化的目標函數得到的稀疏系數向量α：

min‖α‖₀ (6)

s.t.y＝X_α

l₀-norm范數約束優化問題是一個比較難的問題，難以解決；

min‖α‖₁ (7)

s.t.y＝X_α

這種優化問題可以解決在多項式時間標準線性規劃方法；

CRC通過求解范數最小化問題發現的系數向量：

min‖α‖₂ (8)

s.t.y＝X_α

方程(8)的優化是一個典型的最小二乘問題，α通過以下方程獲得：

α＝(X^TX+μI)^-1X^Ty (9)

其中μ是一個小的正常數，I是單位矩陣的正規化的解決方案；在一定條件下基于CRC的l₂-norm相比l₁-norm限制的SRC提供具有競爭力的人臉分類精度，并具有較低的計算復雜度。

其中，主體消除機制，在擴展詞典的人臉分類提出了一個迭代消除計劃，刪去了無用的樣本；在重建誤差方面，每個類代表一個測試樣本的測量；從擴展的詞典上消除所有的訓練樣本的類的最大重建誤差；擴展詞典的系數向量和剩余類的貢獻被更新；一直重復相同的過程直到詞典中的類的數量下降到一個預定義的級別；

這種消除策略加強了有更多的信息和代表重建測試樣本的類；使用公式(4)估算一個特定的類和一個測試樣本之間的重建誤差，這是測試樣品和類的所有訓練樣本的線性組合之間的距離測量，形成新的詞典。

其中，進行種族分類，測試樣品通過新詞典解碼進行分類，測試精度高，效率高；分類器進行人臉識別，分類器的原理為：設線性可分樣本集和為(x_i,y_i)，i＝1,…,n，x∈R^d，y∈{+1,-1}是類別標號，則

w·x+b＝0 (12)

是SVM分類器的分類面方程；在分類時，為了使分類面對所有樣本正確分類且分類間隔達到最大，需要滿足下面兩個條件：

Φ(x)＝min(w^Tw) (13)

y_i(w·x_i+b)-1≥0 (14)

通過解此約束優化問題就可以得到最優分類面，而過兩類樣本中離分類面最近的點且平行于最優分類面的超平面上的訓練樣本就是使得公式中等號成立的那些特殊樣本，因為它們支撐了最優分類面，因此被稱為支撐向量，紋理優化后的三維人臉圖像首先進行視覺直方圖特征提取，特征提取之后輸入到SVM性別分類器之中，獲得最終的性別分類結果。

進一步地，分類模塊，不同于性別分類的二分類設計，我們將種族分類視為一個模糊分類問題，紋理優化后的三維人臉圖像首先進行Gabor濾波，獲取該深度圖像的Gabor濾波器響應向量集合；對該集合的每個響應向量，將其向東方(西方)視覺詞典庫進行映射，如果與東方(西方)詞典庫中的某個詞匯距離小于閾值，則該響應向量屬于東方(西方)人臉，其對應的向量數目eastnum(westnum)進行+1處理；下列公式：

member ship(I)＝eastnum/westnum (15)

為最終的模糊隸屬度函數。

進一步地，視覺詞典，分別對不同種族的人臉圖像進行視覺詞匯計算，對計算得出的所有視覺詞匯，對于其中距離比較近的視覺詞匯區域，我們將其視為種族深度視覺詞匯的臨界區域，其代表的是人的屬性；對于相距比較遠的區域，我們將其視為代表了種族的特性信息(東方或者西方深度人臉圖像)，以此為基礎分別構建不同種族詞典庫。

圖2是本發明一種基于三維形變人臉模型的種族識別方法的各類人種的圖像數據集。包括了亞洲、非洲、歐洲以及藏族等少數民族的人種的圖像輸入，每個人種的數據集含10萬張圖像。

圖3是本發明一種基于三維形變人臉模型的種族識別方法的新詞典含有常用的訓練集和3D數據集。新詞典含有常用的訓練集和3D數據集，合并了原始和3D數據集作為擴展的詞典；3DMM方法可以通過擬合生成的三維人臉模型的圖像重建二維人臉圖像的三維形狀和紋理；初始化3DMM擬合過程，自動級聯的基于回歸的面部的地標檢測方法，然后通過調整相機模型的參數，重建的三維形狀和紋理呈現不同的姿勢的二維人臉圖像；

使用一個透視相機，通過投影重建的三維形狀和紋理到一個二維圖像平面渲染二維虛擬人臉；更具體地說，通過相機投影，一個頂點的三維形狀的投影到一個二維坐標S＝[x^2d,y^2d]^T；該投影可以分解成兩部分：一個剛性的三維變換透視投影

T_r:v′＝Rv+τ (10)

是旋轉矩陣，是一個空間轉化，f表示焦距，[o_x,o_y]^T是在圖像平面上的相機的光軸；因此，通過設置不同的相機參數，不同姿勢的圖像可以重建三維形狀和紋理渲染。

對于本領域技術人員，本發明不限制于上述實施例的細節，在不背離本發明的精神和范圍的情況下，能夠以其他具體形式實現本發明。此外，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和范圍，這些改進和變型也應視為本發明的保護范圍。因此，所附權利要求意欲解釋為包括優選實施例以及落入本發明范圍的所有變更和修改。