本發(fā)明涉及人臉識(shí)別技術(shù)領(lǐng)域，尤其涉及一種用于魯棒人臉識(shí)別的數(shù)據(jù)增強(qiáng)方法。

背景技術(shù)：

人臉識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)，是圖像分析與理解領(lǐng)域中最成功的應(yīng)用之一，因其在商業(yè)、安全、身份認(rèn)證、法律執(zhí)行、管理等眾多方面的廣泛應(yīng)用，備受使用者與研究者青睞，在眾多領(lǐng)域有著廣闊的應(yīng)用前景。其中，大數(shù)據(jù)的應(yīng)用，對(duì)模型的通用性有著重要的影響。

學(xué)術(shù)界一直將主要精力集中在識(shí)別算法的研究上，相關(guān)算法層出不窮?，F(xiàn)有的人臉識(shí)別算法在理想的實(shí)驗(yàn)環(huán)境下，已達(dá)到相當(dāng)高的識(shí)別率，但在實(shí)際客觀非受控的條件下識(shí)別效果卻不盡如人意，尤其是面臨著遮擋、噪聲、模糊、光照、表情、姿態(tài)等多方面的挑戰(zhàn)。

遮擋是影響人臉檢測(cè)、識(shí)別的重要因素，它對(duì)人臉識(shí)別的影響遠(yuǎn)遠(yuǎn)超過(guò)了光照、表情等的影響，在實(shí)際人臉圖像處理過(guò)程中，墨鏡、帽子、圍巾等往往會(huì)導(dǎo)致臉部，如眼睛、嘴角等部位重要信息的丟失。

噪聲可以理解為影響傳感器對(duì)所接受圖像源信息進(jìn)行理解或分析的各種因素。圖像中的噪聲就是圖像中的雜點(diǎn)或者干擾成分，主要產(chǎn)生于圖像的獲取和傳輸過(guò)程中。噪聲一般是不可預(yù)測(cè)的隨機(jī)信號(hào)，它只能用概率統(tǒng)計(jì)的方法去認(rèn)識(shí)。噪聲對(duì)圖像的輸入，采集和處理的各個(gè)環(huán)節(jié)以及輸出結(jié)果全過(guò)程都有影響。因?yàn)樵趯?shí)際工程應(yīng)用中，很難保證采集到的圖像清晰可靠，大數(shù)據(jù)時(shí)代，增加噪聲，可以避免過(guò)擬合訓(xùn)練數(shù)據(jù)，同時(shí)，給圖像加上噪聲，以方便后期對(duì)算法效果進(jìn)行驗(yàn)證。

隨著智能手機(jī)的迅速發(fā)展，越來(lái)越多的人通過(guò)手機(jī)拍攝圖像與視頻，并將其應(yīng)用于各種場(chǎng)合，例如社交、監(jiān)控等。由于硬件設(shè)備的限制和所處環(huán)境的影響，拍攝的圖像往往存在模糊不清的現(xiàn)象。對(duì)于模糊圖像增強(qiáng)有著越來(lái)越大的需求。因此，將基于模糊集的圖像增強(qiáng)方法應(yīng)用到圖像處理中，以克服傳統(tǒng)圖像增強(qiáng)方法的不足。

而針對(duì)光照問(wèn)題，有效克服光照影響是人臉識(shí)別不可缺少的環(huán)節(jié)，也是計(jì)算機(jī)視覺(jué)中的技術(shù)難點(diǎn)。由于光照強(qiáng)度變化，人臉上一部分特征可能會(huì)更加突出，在數(shù)字人臉圖像上表現(xiàn)為灰度值較高，而又會(huì)有另一部分特征可能會(huì)由于光照作用的變化而被弱化，在數(shù)字人臉圖像上表現(xiàn)為灰度值偏低。所以，由于光照信息的變化，使得可用于有效識(shí)別的人臉的關(guān)鍵特征分布于差異較大的灰度空間。盡管人臉的表情、姿態(tài)以及拍攝的視角都沒(méi)有變化，但是由于光照條件的不同，卻造成了明暗、高光、陰影效果上的顯著差異。

人臉表情作為表達(dá)情感的一個(gè)方面，在人際交流中起到非常重要的作用，不僅是展示情緒，更是傳播情感信息與協(xié)調(diào)雙方關(guān)系的重要方式。據(jù)心理學(xué)家mehrabiadu的研究表明，在人類的日常交流中，通過(guò)人臉表情傳遞的信息高達(dá)信息總量的55％，而通過(guò)聲音、語(yǔ)言傳遞的信息分別占信息總量的38％和7％。而人臉表情的變化會(huì)引起了人臉的非剛性形變，并導(dǎo)致同一個(gè)體人臉在識(shí)別中增加難度。

人臉姿態(tài)的變化同時(shí)會(huì)使表述更加生動(dòng)形象，其復(fù)雜的結(jié)構(gòu)能提供非常豐富的信息，使得生成多姿態(tài)人臉圖像在許多人臉處理應(yīng)用中成為人臉識(shí)別、人臉檢測(cè)、人臉跟蹤、人臉表情分析等領(lǐng)域的一個(gè)關(guān)鍵環(huán)節(jié)和重要研究?jī)?nèi)容之一。姿態(tài)變化給人臉圖像帶來(lái)的變化往往比不同人的人臉圖像之間的差異更大，這是當(dāng)前人臉識(shí)別技術(shù)面臨的主要挑戰(zhàn)，所以姿態(tài)問(wèn)題也是人臉識(shí)別的一個(gè)瓶頸問(wèn)題。

因此，針對(duì)以上問(wèn)題，我們提出了一種用于魯棒人臉識(shí)別的數(shù)據(jù)增強(qiáng)方法，來(lái)改進(jìn)現(xiàn)有方法的不足。

技術(shù)實(shí)現(xiàn)要素：

為解決上述問(wèn)題本發(fā)明提出了一種用于魯棒人臉識(shí)別的數(shù)據(jù)增強(qiáng)方法，在實(shí)際人臉識(shí)別系統(tǒng)中可以克服遮擋、噪聲、模糊、光照、表情、姿態(tài)等因素影響，能夠解決在實(shí)際人臉識(shí)別系統(tǒng)中訓(xùn)練數(shù)據(jù)不足的問(wèn)題，提升模型的泛化能力。

本發(fā)明的技術(shù)方案如下：一種用于魯棒人臉識(shí)別的數(shù)據(jù)增強(qiáng)方法，其中，包括一種臉部遮擋處理方法，如果輸入的人臉圖像是無(wú)遮擋的情況，則遮擋掩膜選用所有無(wú)遮擋樣本形成的標(biāo)準(zhǔn)，如果人臉圖像對(duì)應(yīng)某一類遮擋，則選用相應(yīng)的遮擋掩膜進(jìn)行重建。

常用的臉部遮擋處理方法有基于統(tǒng)計(jì)分析的方法、基于紅外圖像的遮擋區(qū)域檢測(cè)方法、主成分分析方法、缺口主成分分析方法、模糊主分量分析方法、自動(dòng)多值掩膜主成分分析人臉重建模型等。可以選擇其中之一來(lái)進(jìn)行臉部遮擋處理。

本發(fā)明以一種自動(dòng)多值掩膜主成分分析人臉重建模型，來(lái)進(jìn)行臉部遮擋處理。該模型包括3個(gè)關(guān)鍵步驟：自動(dòng)確定人臉遮擋類型、尋找遮擋掩模、確定重建系數(shù)。首先，判斷遮擋區(qū)域、確定遮擋類型；然后，找到不同遮擋類型的遮擋掩模；最后，確定重建合成系數(shù)，從而實(shí)現(xiàn)遮擋區(qū)域的自動(dòng)重建。從而恢復(fù)人臉圖像，達(dá)到減弱遮擋對(duì)人臉識(shí)別影響的目的。

一種用于魯棒人臉識(shí)別的數(shù)據(jù)增強(qiáng)方法，其中，還包括人為添加噪聲，進(jìn)行噪聲增強(qiáng)處理。圖像信號(hào)在產(chǎn)生、傳輸過(guò)程中都可能會(huì)受到噪聲的污染，一般數(shù)字圖像系統(tǒng)中的常見(jiàn)噪聲主要有：高斯噪聲(主要由阻性元器件內(nèi)部產(chǎn)生)、椒鹽噪聲(主要是圖像切割引起的黑圖像上的白點(diǎn)噪聲或光電轉(zhuǎn)換過(guò)程中產(chǎn)生的泊松噪聲)等。大數(shù)據(jù)時(shí)代，加上噪聲的圖像，可以避免過(guò)擬合訓(xùn)練數(shù)據(jù)，同時(shí)，給圖像加上噪聲，以方便后期對(duì)算法效果進(jìn)行驗(yàn)證。有些機(jī)器學(xué)習(xí)算法對(duì)沒(méi)有噪聲的圖像識(shí)別的效果很好，但噪聲較多的情況效果就很不理想了，因?yàn)樵趯?shí)際工程應(yīng)用中，很難保證采集到的圖像清晰可靠。

圖像增強(qiáng)是一種基本的圖像底層處理的手段，它的目的在于改善原始圖像的視覺(jué)效果。傳統(tǒng)的圖像增強(qiáng)方法，技術(shù)上可以分成兩大類：頻域法和空域法。前者立足于修改圖像的傅立葉變換，后者基于灰度級(jí)映射變換，直接處理圖像中的象素，其變換型取決于增強(qiáng)準(zhǔn)則的選擇。這些傳統(tǒng)的圖像增強(qiáng)技術(shù)大都沒(méi)有考慮圖像的模糊性，而只簡(jiǎn)單地對(duì)整個(gè)圖像改變對(duì)比度或抑制噪聲，往往在抑制噪聲的同時(shí)也削弱了圖像的細(xì)節(jié)部分。因此，本專利將基于模糊集的圖像增強(qiáng)方法應(yīng)用到圖像處理中，以克服傳統(tǒng)圖像增強(qiáng)方法的不足。

模糊特征平面：按照模糊子集理論的概念，一幅m×n維的具有l(wèi)個(gè)灰度等級(jí)的圖像x，可以作為一個(gè)模糊點(diǎn)陣看待，記為

或

式(2)中表示圖像中第(i，j)個(gè)點(diǎn)像素具有某種特征的程度為μij(0≤μij≤1)，稱μij為模糊特征。若以像素的相對(duì)灰度級(jí)作為感興趣的模糊特征，這時(shí)μij表示像素(x，y)的灰階xij關(guān)于某個(gè)特定灰度等級(jí)的隸屬度，通常這個(gè)特定的灰度等級(jí)為圖像的最大灰度等級(jí)xmax。由μij的全體組成的平面{μij}，i＝1，2，...，m；j＝1，2，...，n，稱為模糊特征平面。

本發(fā)明專利中以pal方法為實(shí)施例進(jìn)行說(shuō)明，首先利用變換函數(shù)(即隸屬度函數(shù))提取圖像的模糊特征，所用的隸屬度函數(shù)如式(3)所示。

式(3)中fe和fd分別為大于零的指數(shù)模糊化因子和分母模糊化因子，μij∈[α，1]，α＞0；形成圖像的模糊特征平面{μij}，稱μ＝0.5對(duì)應(yīng)的灰度等級(jí)為渡越點(diǎn)。通過(guò)對(duì)隸屬度函數(shù)μij進(jìn)行變換，并以渡越點(diǎn)為界增大或減小μij的值從而得到一個(gè)由全體μij，組成的新模糊特征平面{μij′}，其中

μij′＝t^(r)(μij)＝t(t^(r-1)(μij))，r＝1，2，3，...(4)

而t^(r)是函數(shù)t的r次迭代運(yùn)算，其中變換t取為某種s型函數(shù)，如式(5)

式(5)中uc為閾值，可以取0.5(也可自定義)，其作用是增大那些大于0.5的而減小那些小于0.5的，以達(dá)到增強(qiáng)對(duì)比度的目的。對(duì)新的模糊特征平面{μij′}進(jìn)行式(6)所示的逆變換，

式(6)中g(shù)^-1表示g的逆變換，這樣就可以得到模糊增強(qiáng)后的圖像的灰度值。

在人臉識(shí)別中，光照強(qiáng)度的改變會(huì)對(duì)人臉識(shí)別產(chǎn)生較大影響，由光照強(qiáng)度變化所導(dǎo)致的暗光和高光或者是光照角度變化所生成的不同程度的明暗區(qū)或者陰影都會(huì)降低算法的識(shí)別率。有效克服光照影響是圖像處理中不可缺少的環(huán)節(jié)。

為了弱化光照影響，提高彩色圖像質(zhì)量，本專利應(yīng)用hsv變換和同態(tài)濾波的光照補(bǔ)償方法。首先將圖像從rgb色彩空間變換至hsv色彩空間，然后將高斯高通濾波傳遞函數(shù)引入同態(tài)濾波中，設(shè)計(jì)出一種新的動(dòng)態(tài)高斯同態(tài)濾波器，在頻域內(nèi)對(duì)圖像亮度分量進(jìn)行增強(qiáng)，并保持色調(diào)和飽和度不變，在增強(qiáng)圖像細(xì)節(jié)的同時(shí)，削減圖像低頻分量，彌補(bǔ)因光照不足引起的圖像質(zhì)量下降，實(shí)現(xiàn)對(duì)彩色圖像的光照補(bǔ)償。

本發(fā)明專利中，我們使用一種魯棒性強(qiáng)的幾何特征，命名為幾何彎曲特征，它是從人臉關(guān)鍵點(diǎn)的彎曲變換導(dǎo)出的。人臉表情是由臉部肌肉運(yùn)動(dòng)引起的。這些運(yùn)動(dòng)導(dǎo)致人臉關(guān)鍵點(diǎn)位置的移動(dòng)。我們假設(shè)每個(gè)人臉圖像由許多子區(qū)域組成。這些子區(qū)域可以由位于人臉關(guān)鍵點(diǎn)的三角形頂點(diǎn)組成。人臉關(guān)鍵點(diǎn)位置的移動(dòng)引起三角形的變形。我們利用變形來(lái)表示人臉表情的變化。

人臉表情可以被看作是包括靜止，峰值和偏移的動(dòng)態(tài)過(guò)程。我們考慮相應(yīng)的人臉關(guān)鍵點(diǎn)在開(kāi)始(中性面部)和峰值(表情臉)之間的位移。給定一組人臉關(guān)鍵點(diǎn)s＝(x1，y1，x2，y2，...，xn，yn)，其中(xi，yi)表示第i個(gè)人臉關(guān)鍵點(diǎn)的坐標(biāo)。這些人臉關(guān)鍵點(diǎn)構(gòu)成人臉的網(wǎng)格，如圖4所示。

我們可以看到，臉上有許多小三角形，每個(gè)三角形由三個(gè)關(guān)鍵點(diǎn)決定。當(dāng)中性臉變換為表情臉時(shí)，面部肌肉運(yùn)動(dòng)引起三角形的變形。我們認(rèn)為位于中性臉的δabc中的像素(x，y)對(duì)應(yīng)于表情臉的δa′b′c′中的像素(u，v)，如圖5所示。像素(x，y)可以用三個(gè)頂點(diǎn)的線性組合表示。

系數(shù)λ1，λ2可以由以下公式得到

表情臉中δabc的點(diǎn)(u，v)可以用三個(gè)頂點(diǎn)和λ1，λ2來(lái)定義。

中性臉中δabc中的像素點(diǎn)(x，y)轉(zhuǎn)換到表情臉中δa′b′c′中的像素(u，v)

合并(8)、(9）、(10)式子可以重新寫(xiě)為：

中性臉和表情臉之間的每對(duì)三角形可以定義唯一變換，并且每個(gè)仿射變換由6個(gè)參數(shù)a1，a2，...，a6確定。我們計(jì)算每個(gè)扭曲變換的6個(gè)參數(shù)，并將所有參數(shù)連接成一個(gè)長(zhǎng)的全局特征向量，用于表征人臉表情變化變化。從而達(dá)到由一張人臉表情得到多張人臉表情的目的。

由以上得到的人臉圖像，下一步進(jìn)行人臉姿態(tài)圖像獲取。姿態(tài)獲取較常用的方法有基于模型的方法、基于訓(xùn)練的方法、基于特征三角形的方法。本發(fā)明專利選用基于特征三角形的人臉姿態(tài)圖像獲取方法作為實(shí)施例進(jìn)行說(shuō)明。

基于人臉平面的對(duì)稱性，利用人臉圖像中三個(gè)特征點(diǎn)估計(jì)人臉姿態(tài)。

特征點(diǎn)位置的選擇

從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，這個(gè)過(guò)程叫特征選擇。

基于投影知識(shí)的姿態(tài)分析

(1)人臉特征三角形的確立

把人臉近似地看作是對(duì)稱的，定義二維坐標(biāo)(oxy)的坐標(biāo)原點(diǎn)位于正臉時(shí)左右眼(a和b)連線的中點(diǎn)o。人手選取兩眼球中心和鼻尖這三個(gè)特征點(diǎn)，連接這三個(gè)特征點(diǎn)可以得到一個(gè)等腰三角形，如圖1所示的三角形，稱這個(gè)為特征三角形。圖6中點(diǎn)a到b為兩只眼睛之

間的連線l，鼻尖到l的垂線為h，垂足為e。

(2)轉(zhuǎn)角的確立

有轉(zhuǎn)角時(shí)兩眼長(zhǎng)度為albl，即側(cè)面人臉兩眼長(zhǎng)度ab在二維坐標(biāo)xy面的投影，(關(guān)系：正臉人臉兩眼距離ab在轉(zhuǎn)角面的投影為albl)，構(gòu)造直角三角形abb1，ab與a1b1構(gòu)成的角就是側(cè)臉和正臉之間的夾角，也就是人臉在平行于成像平面的轉(zhuǎn)角。如圖7所示。

(3)仰(俯)角的確立

有仰(俯)角時(shí)鼻尖到兩眼連線的距離為c1e1，即仰地(俯)面人臉鼻尖到兩眼連線的距離長(zhǎng)度ce在二維坐標(biāo)xy面的投影，(關(guān)系：正面人臉鼻尖到兩眼連線的距離長(zhǎng)度ce在仰(俯)角面的投影為c1e1)，構(gòu)造直角三角形cc1e，ce與c1e1構(gòu)成的角就是仰(俯)臉和正臉之間的夾角，也就是人臉在垂直于成像平面的仰(俯)角。如圖8所示。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的結(jié)構(gòu)示意圖。

圖2為本發(fā)明實(shí)施例提供的hsv彩色空間模型。

圖3為本發(fā)明實(shí)施例提供的pal提出的模糊增強(qiáng)的模型。

圖4為本發(fā)明實(shí)施例提供的人臉關(guān)鍵點(diǎn)描述人臉形狀示意圖。

圖5為本發(fā)明實(shí)施例提供的中性臉中δabc中的像素點(diǎn)(x，y)轉(zhuǎn)換到表情臉中δa′b′c′中的像素(u，v)。

圖6為本發(fā)明實(shí)施例提供的利用兩眼球中點(diǎn)和鼻尖得到特征三角形

圖7為本發(fā)明實(shí)施例提供的確定轉(zhuǎn)角∠bab1

圖8為本發(fā)明實(shí)施例提供的確定仰(俯)角∠cec1

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

一種用于魯棒人臉識(shí)別的數(shù)據(jù)增強(qiáng)方法，其中，包括一種臉部遮擋處理方法，如果輸入的人臉圖像是無(wú)遮擋的情況，則遮擋掩膜選用所有無(wú)遮擋樣本形成的標(biāo)準(zhǔn)，如果人臉圖像對(duì)應(yīng)某一類遮擋，則選用相應(yīng)的遮擋掩膜進(jìn)行重建。

常用的臉部遮擋處理方法有基于統(tǒng)計(jì)分析的方法、基于紅外圖像的遮擋區(qū)域檢測(cè)方法、主成分分析方法、缺口主成分分析方法、模糊主分量分析方法、自動(dòng)多值掩膜主成分分析人臉重建模型等。可以選擇其中之一來(lái)進(jìn)行臉部遮擋處理。

本發(fā)明以一種自動(dòng)多值掩膜主成分分析人臉重建模型，來(lái)進(jìn)行臉部遮擋處理。該模型包括3個(gè)關(guān)鍵步驟：自動(dòng)確定人臉遮擋類型、尋找遮擋掩模、確定重建系數(shù)。首先，判斷遮擋區(qū)域、確定遮擋類型；然后，尋找不同遮擋類型的遮擋掩模；最后，確定重建合成系數(shù)，從而實(shí)現(xiàn)遮擋區(qū)域的自動(dòng)重建。從而恢復(fù)人臉圖像，達(dá)到減弱遮擋對(duì)人臉識(shí)別影響的目的。

遮擋類型判斷：

遮擋區(qū)域的精確判斷是確定臉部什么特征被遮擋了(眼睛、嘴巴、鼻子、下巴等)。用無(wú)遮擋樣本與待測(cè)人臉的特征臉之差來(lái)判斷是否有遮擋，遮擋區(qū)域在哪里。pca變換用式(1)表示：

式中，x是包括n個(gè)像素的待測(cè)圖像，e是近似誤差，m是平均人臉圖像，yi是對(duì)應(yīng)第i個(gè)特征臉的權(quán)重，vⁱ(i＝1，2，3，...，n)是第i個(gè)特征臉。

式中，x⁰是待測(cè)圖像的原始數(shù)據(jù)，x′是新的重建人臉，x¹第一次融合后的人臉圖像，w對(duì)于遮擋部分與非遮擋部分分別取0和1，表明遮擋區(qū)域使用新的重建圖像部分，非遮擋部分使用原始輸入圖像，通過(guò)上面的公式迭代計(jì)算直到系數(shù)y小于閾值為止。下面是遮擋部分的檢測(cè)：

|e|＝|x^(k+1)′-x^k|(3)

式中，|e|值較大時(shí)認(rèn)為是遮擋區(qū)域，|e|值較小時(shí)則認(rèn)為是非遮擋區(qū)域。

最優(yōu)遮擋人臉合成系數(shù)：

給定樣本集{x1，x2，...，xn}，其中n為樣本總數(shù)，樣本xi在n維空間中取值，最優(yōu)人臉合成系數(shù)yi在m維空間取值，且m＜n。

式中，xi′是合成后的樣本，xij是原始樣本xi與第j個(gè)人臉基圖像對(duì)應(yīng)的最優(yōu)合乘系數(shù)，i＝1，...，n，j＝1，...，m。定義第q個(gè)特征的原始圖像與合成圖像之間的殘差臉為：

δq＝xiq-xiq′，q＝1，...，n(5)

根據(jù)charbonnier等人給出的約束條件：

式中，b是外部干擾面，δ是最優(yōu)人臉遮擋掩膜，β(·)是bq的函數(shù)，對(duì)人臉來(lái)說(shuō)，bq值趨向1，對(duì)遮擋物來(lái)說(shuō)，bq值趨向0，顯然，bq僅僅是最優(yōu)人臉遮擋掩膜的σq反映，即σq才是真正的人臉遮擋區(qū)域的掩膜，最優(yōu)合成系數(shù)問(wèn)題就是合成系數(shù)y和變量b的多目標(biāo)優(yōu)化問(wèn)題。

最優(yōu)人臉遮擋合成系數(shù)的求解：

為了使上述目標(biāo)優(yōu)化問(wèn)題能夠收斂，并減少迭代次數(shù)和運(yùn)算量，使用標(biāo)準(zhǔn)二次型函數(shù)和3種半二次型函數(shù)通過(guò)4次迭代進(jìn)行求解。

其中，第一個(gè)函數(shù)是一個(gè)凸函數(shù)，它的導(dǎo)數(shù)是單調(diào)函數(shù)；第二個(gè)函數(shù)是非凸函數(shù)，它的導(dǎo)數(shù)是弱震蕩的；第三個(gè)函數(shù)是非凸的。第一個(gè)函數(shù)可以保證唯一解，而第三個(gè)函數(shù)的強(qiáng)振蕩導(dǎo)數(shù)可以有效地抑制外部干擾的影響，使用第二個(gè)函數(shù)的弱振蕩導(dǎo)數(shù)來(lái)保證優(yōu)化問(wèn)題的最終收斂。最優(yōu)合成系數(shù)的初始值選用pca空間的最小均方誤差意義下求得的重建系數(shù)，迭代更新重建系數(shù)，求得最優(yōu)合成系數(shù)y。

多值變化掩模的生成：

首先定義人臉遮擋的類型，如墨鏡遮擋、圍巾遮擋、網(wǎng)狀遮擋等。使用各種遮擋人臉圖像，選用m估計(jì)器(m-estimator)對(duì)遮擋掩模進(jìn)行估計(jì)，為不同像素點(diǎn)估計(jì)符合自身特性的幅度參數(shù)，其目標(biāo)函數(shù)滿足：

式中，ρ是在零值處有且只有一個(gè)最小值的對(duì)稱正定目標(biāo)函數(shù)，ψ為影響函數(shù)，w為權(quán)函數(shù)。目標(biāo)函數(shù)ρ選擇不同，其影響函數(shù)和權(quán)函數(shù)也不相同。由m估計(jì)器估計(jì)的遮擋掩模σq滿足如下公式：為奇數(shù)

式中，avg表示n個(gè)樣本的均值，是遮擋樣本，gp為常數(shù)，θ(g)是輔助中心估計(jì)，ε為一個(gè)平滑函數(shù)。

m估計(jì)中，β、ε不同可以確定不同的遮擋掩膜。在實(shí)際處理時(shí)，首先確定遮擋區(qū)域，即遮擋類型，就能確定遮擋掩膜。通過(guò)多次試驗(yàn)獲得墨鏡和圍巾遮擋情況下的參數(shù)值：β取值為a，ε取值為b，獲得了墨鏡遮擋的人臉掩膜；β取值為c，ε取值為d獲得了圍巾遮擋的人臉掩膜。

重建無(wú)遮擋人臉：

給定待處理的遮擋人臉，確定遮擋類型后，重建無(wú)遮擋人臉的公式為：

如果系統(tǒng)給出的人臉是無(wú)遮擋的情況，則遮擋掩模選用所有無(wú)遮擋樣本形成的標(biāo)準(zhǔn)，如果人臉對(duì)應(yīng)某一類遮擋，則選用相應(yīng)的遮擋掩模進(jìn)行重建。

對(duì)于以上完成人臉遮擋區(qū)域恢復(fù)后的人臉圖像進(jìn)行加噪處理。圖像信號(hào)在產(chǎn)生、傳輸過(guò)程中都可能會(huì)受到噪聲的污染，一般數(shù)字圖像系統(tǒng)中的常見(jiàn)噪聲主要有：高斯噪聲(主要由阻性元器件內(nèi)部產(chǎn)生)、椒鹽噪聲(主要是圖像切割引起的黑圖像上的白點(diǎn)噪聲或光電轉(zhuǎn)換過(guò)程中產(chǎn)生的泊松噪聲)等。大數(shù)據(jù)時(shí)代，加上噪聲的圖像，可以避免過(guò)擬合訓(xùn)練數(shù)據(jù)，同時(shí)，給圖像加上噪聲，以方便后期對(duì)算法效果進(jìn)行驗(yàn)證。有些機(jī)器學(xué)習(xí)算法對(duì)沒(méi)有噪聲的圖像識(shí)別的效果很好，但噪聲較多的情況效果就很不理想了，因?yàn)樵趯?shí)際工程應(yīng)用中，很難保證采集到的圖像清晰可靠。因此，本發(fā)明實(shí)施例中，我們對(duì)人臉圖像增加高斯噪聲、椒鹽噪聲。

圖像增強(qiáng)是一種基本的圖像底層處理的手段，它的目的在于改善原始圖像的視覺(jué)效果。傳統(tǒng)的圖像增強(qiáng)方法，技術(shù)上可以分成兩大類：頻域法和空域法。前者立足于修改圖像的傅立葉變換，后者基于灰度級(jí)映射變換，直接處理圖像中的象素，其變換型取決于增強(qiáng)準(zhǔn)則的選擇。這些傳統(tǒng)的圖像增強(qiáng)技術(shù)大都沒(méi)有考慮圖像的模糊性，而只簡(jiǎn)單地對(duì)整個(gè)圖像改變對(duì)比度或抑制噪聲，往往在抑制噪聲的同時(shí)也削弱了圖像的細(xì)節(jié)部分。因此，本專利將基于模糊集的圖像增強(qiáng)方法應(yīng)用到圖像處理中，以克服傳統(tǒng)圖像增強(qiáng)方法的不足。

模糊特征平面：按照模糊子集理論的概念，一幅m×n維的具有l(wèi)個(gè)灰度等級(jí)的圖像x，可以作為一個(gè)模糊點(diǎn)陣看待，記為

或

式(14)中表示圖像中第(i，j)個(gè)點(diǎn)像素具有某種特征的程度為μij(0≤μij≤1)，稱μij為模糊特征。

若以像素的相對(duì)灰度級(jí)作為感興趣的模糊特征，這時(shí)μij表示像素(x，y)的灰階xij關(guān)于某個(gè)特定灰度等級(jí)的隸屬度，通常這個(gè)特定的灰度等級(jí)為圖像的最大灰度等級(jí)xmax。由μij的全體組成的平面{μij}，i＝1，2，...，m；j＝1，2，...，n，稱為模糊特征平面。

本專利以pal方法為實(shí)施例進(jìn)行說(shuō)明，首先利用變換函數(shù)(即隸屬度函數(shù))提取圖像的模糊特征，所用的隸屬度函數(shù)如式(15)所示。

式(15)中fe和fd分別為大于零的指數(shù)模糊化因子和分母模糊化因子，μij∈[α，1]，α＞0；形成圖像的模糊特征平面{μij}，稱μ＝0.5對(duì)應(yīng)的灰度等級(jí)為渡越點(diǎn)。通過(guò)對(duì)隸屬度函數(shù)μij進(jìn)行變換，并以渡越點(diǎn)為界增大或減小μij的值從而得到一個(gè)由全體μij′組成的新模糊特征平面{μij′}，其中

μij′＝t^(r)(μij)＝t(t^(r-1)(μij))，r＝1，2，3，...(16)

而t^(r)是函數(shù)t的r次迭代運(yùn)算，其中變換t取為某種s型函數(shù)，如式(17)

式(17)中uc為閾值，可以取0.5(也可自定義)，其作用是增大那些大于0.5的而減小那些小于0.5的，以達(dá)到增強(qiáng)對(duì)比度的目的。對(duì)新的模糊特征平面{μij′}進(jìn)行式(18)所示的逆變換，

式(18)中g(shù)^-1表示g的逆變換，這樣就可以得到模糊增強(qiáng)后的圖像的灰度值。

在人臉識(shí)別中，光照強(qiáng)度的改變會(huì)對(duì)人臉識(shí)別產(chǎn)生較大影響，由光照強(qiáng)度變化所導(dǎo)致的暗光和高光或者是光照角度變化所生成的不同程度的明暗區(qū)或者陰影都會(huì)降低算法的識(shí)別率。有效克服光照影響是圖像處理中不可缺少的環(huán)節(jié)。

為了弱化光照影響，提高彩色圖像質(zhì)量，本專利應(yīng)用hsv變換和同態(tài)濾波的光照補(bǔ)償方法。首先將圖像從rgb色彩空間變換至hsv色彩空間，然后將高斯高通濾波傳遞函數(shù)引入同態(tài)濾波中，設(shè)計(jì)出一種新的動(dòng)態(tài)高斯同態(tài)濾波器，在頻域內(nèi)對(duì)圖像亮度分量進(jìn)行增強(qiáng)，并保持色調(diào)和飽和度不變，在增強(qiáng)圖像細(xì)節(jié)的同時(shí)，削減圖像低頻分量，彌補(bǔ)因光照不足引起的圖像質(zhì)量下降，實(shí)現(xiàn)對(duì)彩色圖像的光照補(bǔ)償。

hsv色彩空間由h、s、v三個(gè)分量組成，h、s分別代表色調(diào)和飽和度，v代表亮度。該空間模型為一個(gè)倒圓錐體，如圖1所示。

圓錘的頂面對(duì)應(yīng)于v＝1，代表的顏色最亮，錐角處v＝0，代表的顏色最暗；色調(diào)h由圍繞v軸逆時(shí)針旋轉(zhuǎn)的角度表示，其中紅色對(duì)應(yīng)于0°角，黃色對(duì)應(yīng)于60°角，綠色對(duì)應(yīng)于120°角，深藍(lán)色對(duì)應(yīng)于180°角，藍(lán)色對(duì)應(yīng)于240°角；飽和度s由軸心向椎體圓周過(guò)渡，表示飽和度由低到高。

色彩空間能夠更加完善地去處理人眼所不能察覺(jué)的信息，與人的感知更加接近。圖像彩色信息主要體現(xiàn)在色調(diào)和飽和度上，亮度的改變對(duì)彩色信息影響較少，便于對(duì)各分量分別處理。在光照補(bǔ)償過(guò)程中，把rgb圖像轉(zhuǎn)換到hsv空間，對(duì)其中的亮度分量進(jìn)行增強(qiáng)處理，同時(shí)保持色調(diào)和飽和度不變，最后將生成的亮度分量與色調(diào)、飽和度分量進(jìn)行逆變換產(chǎn)生新圖像。由rgb空間到hsv空間的變換表達(dá)式如下：

v＝max(r，g，b)(21)

式中：r、g、b分別是歸一化的rgb空間的值。h分量取值范圍為[0，360)，s、v分量取值范圍分別為(0，1]和[0，1]。設(shè)i＝h/60，f＝h/60，其中i為被60整除的除數(shù)，f為被60整除的余數(shù)。設(shè)p＝v(1-s)，q＝v(1-sf)，t＝v[1-s(1-f)]，從hsv空間到rgb空間的變換表達(dá)式如下：

圖像f(x，y)可以用其入射分量i(x，y)與反射分量r(x，y)的乘積來(lái)表示，即：

f(x，y)＝i(x，y)×r(x，y)(23)

式中：r(x，y)的性質(zhì)取決于成像物體的表面特性。

光照條件體現(xiàn)在入射分量i(x，y)中，屬于變化緩慢的低頻成分；而圖像的細(xì)節(jié)等特性主要反映在圖像的反射分量r(x，y)中，屬于高頻成分。處理照明不足或不均勻的彩色圖像，就是要盡量削減圖像的低頻分量，同時(shí)放大圖像的高頻分量。

由于函數(shù)乘積的fourier變換是不可分的，故不能直接對(duì)i(x，y)和r(x，y)分別進(jìn)行操作，對(duì)式(24)取對(duì)數(shù)：

lnf(x，y)＝lni(x，y)+lnr(x，y)(24)

再對(duì)上式進(jìn)行快速fourier變換，得到頻域表達(dá)式：

f(u，v)＝i(x，y)+r(x，y)(25)

同態(tài)濾波能夠壓縮低頻成分并增加高頻成分，可以減少光照變化并銳化圖像邊緣或細(xì)節(jié)。用同態(tài)濾波函數(shù)h(u，v)來(lái)處理式(25)中的f(u，v)，將照射分量和反射分量分開(kāi)，得：

h(u，v)f(u，v)＝h(u，v)i(x，y)+h(u，v)r(x，y)(26)

濾波處理后，再通過(guò)快速fourier逆變換，使式(26)返回空間域：

hf(u，v)＝hi(x，y)+hr(x，y)(27)

對(duì)式(27)兩邊取指數(shù)，得到濾波后的圖像：

采用高通濾波器衰減或抑制低頻分量，能夠使高頻分量暢通并能對(duì)圖像進(jìn)行銳化處理。傳統(tǒng)的n階高斯高通濾波傳遞函數(shù)為：

式中：d0表示截止頻率，可以根據(jù)需要選取。

圖像經(jīng)高通濾波處理后丟失了許多低頻信息，平滑區(qū)基本消失。為此需要采用高頻加強(qiáng)濾波來(lái)彌補(bǔ)，即在濾波傳遞函數(shù)中添加一個(gè)0、1之間的常數(shù)。

同態(tài)濾波的關(guān)鍵之處在于用同態(tài)濾波器對(duì)圖像進(jìn)行處理，而能否達(dá)到理想的濾波效果則取決于同態(tài)濾波傳遞函數(shù)h(u，v)的選擇。

同態(tài)濾波函數(shù)用h(u，v)表示，rh代表高頻增益，rl代表低頻增益；d(u，v)表示點(diǎn)(u，v)到濾波中心(u0，v0)的距離：、

同態(tài)濾波傳遞函數(shù)的波形與高斯高通濾波器十分相似。依據(jù)同態(tài)濾波傳遞函數(shù)的特點(diǎn)，將高斯高通濾波器的表達(dá)式進(jìn)行改進(jìn)，設(shè)計(jì)出一種新的動(dòng)態(tài)高斯同態(tài)濾波傳遞函數(shù)：

式中：m、n為動(dòng)態(tài)算子；當(dāng)rh＞1，0＜rl＜1時(shí)，圖像的低頻分量減小，高頻分量增強(qiáng)，使得動(dòng)態(tài)范圍壓縮和對(duì)比度增強(qiáng)；常數(shù)c用來(lái)控制濾波器函數(shù)斜面的銳化。大小為m×n的圖像fourier變換后中心在(m/2，n/2)處，因此式(33)中u0、v0分別取(m/2，n/2)，即

d0與入射分量和反射分量有關(guān)，傳統(tǒng)同態(tài)濾波方法只能通過(guò)大量實(shí)踐選擇，效果欠佳。通過(guò)對(duì)d(u，v)進(jìn)行中值運(yùn)算的方式，在頻域內(nèi)快速確定d0的取值。

本發(fā)明專利中，我們使用一種魯棒性強(qiáng)的幾何特征，命名為幾何彎曲特征，它是從人臉關(guān)鍵點(diǎn)的彎曲變換導(dǎo)出的。人臉表情是由臉部肌肉運(yùn)動(dòng)引起的。這些運(yùn)動(dòng)導(dǎo)致人臉關(guān)鍵點(diǎn)位置的移動(dòng)。我們假設(shè)每個(gè)人臉圖像由許多子區(qū)域組成。這些子區(qū)域可以由位于人臉關(guān)鍵點(diǎn)的三角形頂點(diǎn)組成。人臉關(guān)鍵點(diǎn)位置的移動(dòng)引起三角形的變形。我們利用變形來(lái)表示人臉表情的變化。

人臉表情可以被看作是包括靜止，峰值和偏移的動(dòng)態(tài)過(guò)程。我們考慮相應(yīng)的人臉關(guān)鍵點(diǎn)在開(kāi)始(中性面部)和峰值(表情臉)之間的位移。給定一組人臉關(guān)鍵點(diǎn)s＝(x1，y1，x2，y2，...，xn，yn)，其中(xi，yi)表示第i個(gè)人臉關(guān)鍵點(diǎn)的坐標(biāo)。這些人臉關(guān)鍵點(diǎn)構(gòu)成人臉的網(wǎng)格，如圖4所示。

我們可以看到，臉上有許多小三角形，每個(gè)三角形由三個(gè)關(guān)鍵點(diǎn)決定。當(dāng)中性臉變換為表情臉時(shí)，面部肌肉運(yùn)動(dòng)引起三角形的變形。我們認(rèn)為位于中性臉的δabc中的像素(x，y)對(duì)應(yīng)于表情臉的δa′b′c′中的像素(u，v)，如圖6所示。像素(x，y)可以用三個(gè)頂點(diǎn)的線性組合表示。

系數(shù)λ1，λ2可以由以下公式得到

表情臉中δabc的點(diǎn)(u，v)可以用三個(gè)頂點(diǎn)和λ1，λ2來(lái)定義。中性臉中δabc中的像素點(diǎn)(x，y)轉(zhuǎn)換到表情臉中δa′b′c′中的像素(u，v)

合并(37)、(38)、(39)式子可以重新寫(xiě)為：

中性臉和表情臉之間的每對(duì)三角形可以定義唯一變換，并且每個(gè)仿射變換由6個(gè)參數(shù)a1，a2，...，a6確定。我們計(jì)算每個(gè)扭曲變換的6個(gè)參數(shù)，并將所有參數(shù)連接成一個(gè)長(zhǎng)的全局特征向量，用于表征人臉表情變化變化。從而達(dá)到由一張人臉表情得到多張人臉表情的目的。

由以上得到的人臉圖像，下一步進(jìn)行人臉姿態(tài)圖像獲取。姿態(tài)獲取較常用的方法有基于模型的方法、基于訓(xùn)練的方法、基于特征三角形的方法。本發(fā)明專利選用基于特征三角形的人臉姿態(tài)圖像獲取方法作為實(shí)施例進(jìn)行說(shuō)明。

基于人臉平面的對(duì)稱性，利用人臉圖像中三個(gè)特征點(diǎn)估計(jì)人臉姿態(tài)。

特征點(diǎn)位置的選擇

從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，這個(gè)過(guò)程叫特征選擇。

基于投影知識(shí)的姿態(tài)分析

(1)人臉特征三角形的確立

把人臉近似地看作是對(duì)稱的，定義二維坐標(biāo)(oxy)的坐標(biāo)原點(diǎn)位于正臉時(shí)左右眼(a和b)連線的中點(diǎn)o。

人手選取兩眼球中心和鼻尖這三個(gè)特征點(diǎn)，連接這三個(gè)特征點(diǎn)可以得到一個(gè)等腰三角形，如圖1所示的三角形，稱這個(gè)為特征三角形。圖6中點(diǎn)a到b為兩只眼睛之間的連線l，鼻尖到l的垂線為h，垂足為e。

(2)轉(zhuǎn)角的確立

有轉(zhuǎn)角時(shí)兩眼長(zhǎng)度為albl，即側(cè)面人臉兩眼長(zhǎng)度ab在二維坐標(biāo)xy面的投影，(關(guān)系：正臉人臉兩眼距離ab在轉(zhuǎn)角面的投影為albl)，構(gòu)造直角三角形abb1，ab與a1b1構(gòu)成的角就是側(cè)臉和正臉之間的夾角，也就是人臉在平行于成像平面的轉(zhuǎn)角。如圖7所示。

(4)仰(俯)角的確立

有仰(俯)角時(shí)鼻尖到兩眼連線的距離為c1e1，即仰地(俯)面人臉鼻尖到兩眼連線的距離長(zhǎng)度ce在二維坐標(biāo)xy面的投影，(關(guān)系：正面人臉鼻尖到兩眼連線的距離長(zhǎng)度ce在仰(俯)角面的投影為c1e1)，構(gòu)造直角三角形cc1e，ce與c1e1構(gòu)成的角就是仰(俯)臉和正臉之間的夾角，也就是人臉在垂直于成像平面的仰(俯)角。如圖8所示。

針對(duì)同一人臉的各特征點(diǎn)比例不變?cè)?，?duì)于不同焦距的人臉姿態(tài)的確定需要作等比例變換。

記錄正臉狀態(tài)時(shí)，特征三角形邊l(兩外眼角距離)和邊h(鼻尖到兩外眼角連線的距離)的比例。每一張待生成姿態(tài)變化人臉圖像中會(huì)得到一個(gè)特征三角形和對(duì)應(yīng)的邊l1和邊h1。通過(guò)把每一張待生成姿態(tài)人臉圖像中的特征三角形的邊l1和邊h1比例和正臉的兩邊比例比較，來(lái)獲得不同姿態(tài)的人臉圖像。人臉繞y軸轉(zhuǎn)動(dòng)，則通過(guò)調(diào)整參數(shù)，使l1∶h1小于1∶h；頭部繞x軸轉(zhuǎn)動(dòng)，則通過(guò)調(diào)整參數(shù)，使l1∶h1大于1∶h。h1是h在xy平面上的投影，根據(jù)h和h1計(jì)算旋轉(zhuǎn)角度；通過(guò)以上計(jì)算得到人臉在空間運(yùn)動(dòng)生成不同姿態(tài)的人臉圖像。