
本發明涉及一種人臉表情識別技術,特別是一種各個特征塊基于特征塊的權重化以及權重化bp(反向傳播)神經網絡的方法。
背景技術:
:人臉面部表情識別研究面對的最大問題就是如何提高面部表情識別的準確率,由于不同區域、種族的人面部大小、膚色、文化等的影響,導致現在的面部表情識別方法不具備較好的通用性,對不同人不具備魯棒性。面部表情的特征提取對于表情的識別非常關鍵,不同的特征提取方法從不同的角度對特征進行表示,然而,不同特征對于人臉表情的識別貢獻率不同。為了區分不同特征、面部不同區域的特征重要性,很多學者基于權重分析的方法,對每維特征賦予權重因子,并采取諸如最大化類間距離、最小化類內距離等優化原則對權重因子進行尋找,依此來區分不同特征對表情識別的貢獻率,提高面部表情的識別率。然而這些方法都面對以下3個問題:1、表情圖像提取的特征維數高達成千上萬,每維特征權重化,必然會導致權重因子數量較多,尋找權重因子必然會額外增加計算壓力,導致實時性不夠好。2、單獨對每維特征進行權重化,必然會導致各個特征失去原有的表示形式。3、權重因子的優化尋找與分類器是兩個獨立的過程,權重因子的好壞要經過分類器的檢測,利于分類器正確分類的才是好的。基于以上要求,本發明提出一種基于特征塊權重化的面部表情識別方法,針對問題1、2,提出對不同形式的特征、面部不同區域的特征基于特征塊水平進行權重化。針對問題3,提出權重化的bp神經網絡,將權重因子的優化與神經網絡各層權重和閾值的優化同時進行。技術實現要素:針對現有技術存在的缺陷,本發明的目的在于提出一種基于特征塊權重化的面部表情識別方法,解決不同形式的特征、面部不同區域的特征對面部表情識別貢獻率不同的問題。為了實現上述目的,本發明的構思是:本基于特征塊權重化的面部表情識別方法,包括面部gabor特征提取,面部幾何特征的提取、分塊對齊,基于特征塊權重化的bp神經網絡。構建gabor濾波器,提取面部表情的gabor紋理特征,針對gabor特征維數過高問題,采用pca進行特征降維。采用face++函數庫提取面部關鍵點的位置作為幾何特征,針對幾何特征,由于面部位置、大小的不同,需要將面部幾何特征對齊,降低定位不精確、尺寸大小不一等的影響,不少學者將面部的幾何特征采用procrustesanalysis對齊,取得了不錯的效果,而我們知道,人類判斷表情,主要是依靠嘴部、眼部的不同形狀,嘴部和眼部的變化是彼此獨立的,不互相干擾,因此,本方法提出將面部的幾何特征分成左眼、右眼、嘴巴三個幾何特征塊,分別采用procrustesanalysis對齊,有別于面部的整體對齊,該方法降低各個特征塊之間的干擾,相比于將整個面部的幾何特征進行對齊,樣本幾何特征的對齊效果更好。該操作有利于解決因不同人面部大小、面部器官大小不一樣導致的識別率低等問題。針對面部的不同區域、不同的面部表情特征表示形式對表情識別貢獻率不同的問題,傳統的方法將每維特征進行權重化,并結合最大化類間距離、最小化類內距離等原則優化迭代權重因子,但該方法存在三個缺點:1、破壞了原有的特征表示形式以及特征之間存在的關系,每個特征進行權重化必然失去整體的優勢。2、單獨對每維特征進行權重化,必然會導致各個特征失去原有的表示形式。3、特征權重的優化和分類器是一個分離的過程。因此,針對第1、2個缺點:本方法提出基于特征塊權重化的概念,將面部表情的gabor特征、左眼部幾何特征、右眼部幾何特征、嘴部幾何特征作為四個獨立的特征塊,對各個特征塊基于特征塊進行權重化。針對第3個缺點:提出基于特征塊權重化的bp神經網絡,結合bp神經網絡,在神經網絡的輸入層前增加了一層權重層,該權重層實現對各個特征塊的權重化,將特征塊的權重化過程與分類器結合,通過訓練樣本的訓練,搜索優化權重層權重因子,實現對特征塊的權重化。根據上述發明構思,本發明采用下述技術方案:一種基于特征塊權重化的面部表情識別方法,其特征在于操作步驟如下:1)提取表情圖片的gabor紋理特征和幾何特征;2)對提取的gabor紋理特征采用pca算法降低特征維度,對提取的幾何特征分塊對齊,將幾何特征分為嘴部、左眼、右眼三個特征塊,并分別采用procrustesanalysis方法將各個幾何特征進行對齊;3)將pca降維后的gabor紋理特征與procrustesanalysis后的三個幾何特征塊進行融合,組成融合特征;4)將融合特征輸入到特征塊權重化的bp神經網絡,對神經網絡進行訓練,尋求合適的各層權重系數。上述的提取表情圖片的gabor紋理和幾何特征是:采用gabor濾波器提取表情圖像的gabor紋理特征,采用face++函數庫提取表情圖像的幾何特征。上述的幾何特征塊對齊是:將幾何特征分為左眼幾何特征塊、右眼幾何特征塊和嘴部幾何特征塊,然后對各個特征塊分別采用procrustesanalysis進行對齊處理。上述的特征融合是:將gabor特征和各個幾何特征塊按列向量的方式進行排列組合。上述的特征塊權重化的bp神經網絡方法是:在神經網絡的輸入層前增加了權重層,權重層包含四個權重因子,并將這四個權重因子與bp神經網絡各層的參數進行一起訓練優化,實現對四個特征塊的權重化。本發明與現有技術相比較,具有如下顯而易見的突出實質性特點和顯著技術進步:提高了表情幾何特征的共性,解決了不同特征表示形式、面部不同區域的特征對表情識別貢獻率不同的問題,進而提高了面部表情的識別正確率。附圖說明圖1是本發明實施例的整體流程框圖。圖2是本發明實施例的權重化bp神經網絡結構圖。圖3是本發明實施例的權重化bp神經網絡輸入特征的計算流程圖。具體實施方式下面結合附圖對本發明優選實施例作詳細說明。實施例一:參見圖1,本基于特征塊權重化的面部表情識別方法,其特征在于操作步驟如下:1)提取表情圖片的gabor紋理特征和幾何特征;2)對提取的gabor紋理特征采用pca算法降低特征維度,對提取的幾何特征分塊對齊,將幾何特征分為嘴部、左眼、右眼三個特征塊,并分別采用procrustesanalysis方法將各個幾何特征進行對齊;3)將pca降維后的gabor紋理特征與procrustesanalysis后的三個幾何特征塊進行融合,組成融合特征;4)將融合特征輸入到特征塊權重化的bp神經網絡,對神經網絡進行訓練,尋求合適的各層權重系數。實施例二:本實施例與實施例一基本相同,特別之處如下:所述的提取表情圖片的gabor紋理和幾何特征是:采用gabor濾波器提取表情圖像的gabor紋理特征,采用face++函數庫提取表情圖像的幾何特征。所述的幾何特征塊對齊是:將幾何特征分為左眼幾何特征塊、右眼幾何特征塊和嘴部幾何特征塊,然后對各個特征塊分別采用procrustesanalysis進行對齊處理。所述的特征融合是:將gabor特征和各個幾何特征塊按列向量的方式進行排列組合。所述的特征塊權重化的bp神經網絡方法是:在神經網絡的輸入層前增加了權重層,權重層包含四個權重因子,并將這四個權重因子與bp神經網絡各層的參數進行一起訓練優化,實現對四個特征塊的權重化。實施例三:如圖1,采用gabor濾波器提取面部表情的gabor特征,由于gabor特征的特征維數較多,在高維的特征表示中,這些特征通常是線性相關性并且包含較多的無用或者用處較小變量,因此,采用pca算法對提取的gabor特征進行特征選擇。采用face++函數庫提取表情圖像的面部幾何特征,由于人臉結構、大小的不同,眼睛、嘴巴的位置、尺寸大小不同,將提取的面部表情幾何特征分為嘴部、左眼、右眼幾何特征塊,然后將面部特征的各個特征塊單獨進行procrustesanalysis。將提取的gabor特征與幾何特征分塊對齊后的特征進行融合,組成融合特征,融合方式如下:上式中,f表示融合后的特征,fg表示經過pca降維后的gabor特征。fl,fr,fm分別表示經過procrustesanalysis之后的左眼、右眼、嘴部幾何特征。針對于融合特征中的各個特征塊,基于特征塊定義權重,分別對各個區域的特征整體賦予一定權重,本方法將提取的特征分為為四個獨立的特征塊:gabor紋理特征塊、左眼部幾何特征塊、右眼部幾何特征塊和嘴部幾何特征塊,分別將這四部分看作獨立的整體,賦予其一定的權重。權重因子的定義規則如下:bp神經網絡在接受輸入特征向量時,將各個特征變量平等對待,而實際上不同的面部表情特征區域對表情識別的貢獻率不同,因此,本方法提出特征塊權重化的bp神經網絡,如圖2,特征塊權重化神經網絡在原bp神經網絡的輸入層前增加了一層權重層,該權重層由上面兩個式子定義的四個權重因子組成,分別定義了四個特征塊的權重因子。權重層將首先對各個特征塊權重化,然后將權重化后的特征輸入到輸入層,其次隱含層,最后輸出層,這就是輸入特征的正向傳播。之后,根據計算誤差,更新輸出層的權重和閾值,然而更新隱含層、輸入層、權重層的權值,也就是誤差的背向傳播。具體的流程圖如圖3:網絡的權重和閾值初始化之后,對輸入特征首先進行特征塊的權重化運算,之后將其輸入到神經網絡的輸入層,逐層計算各層的結果,分析比對實際輸出與期望輸出的差距,然后背向更新各層的權重,權重層的計算方式如下:將四個特征塊分別乘上對應的權重因子,對四個特征塊進行基于特征塊的權重化。如下公式:上式子中,為特征塊權重化之后的融合特征。f為權重層的輸入特征,為權重層的輸出,并將作為輸入層的輸入。之后將逐步按照bp神經網絡的計算步驟展開計算,對各層的權重系數進行迭代更新,直到滿足誤差要求。當前第1頁12