本發明涉及面部表情識別,尤其涉及一種基于改進densenet的大學生面部表情識別方法。
背景技術:
1、日常生活中,人們通過面部表情感知他人情感,從而采取相應的溝通內容及方式進行回應,以實現正常的溝通交流。隨著互聯網的普及,計算機獲取面部表情圖像愈來愈快捷高效,使得通過分析面部表情獲取情感信息成為切實可行的方案。當前,面部表情識別已成為大學生智慧教育的重要工具,廣泛應用于大學生的心理、情感、學習等教育活動中。但是,目前尚未有針對大學生群體的公開面部表情數據庫,同時,現有的resnet等常見的深度學習模型對大學生面部表情識別的準確度和實時性還不足。
技術實現思路
1、有鑒于此,本發明的目的在于提出一種基于改進densenet的大學生面部表情識別方法,以解決現有的resnet等常見的深度學習模型對大學生面部表情識別的準確度和實時性還不足的問題。
2、基于上述目的,本發明提供了一種基于改進densenet的大學生面部表情識別方法,包括:步驟一:采集大學生面部表情圖像;
3、步驟二:對面部表情圖像進行預處理,獲取處理后的第一圖像集;
4、步驟三:對所述第一圖像集中的圖像進行面部表情類型的標注,獲得標注后的第二圖像集;
5、步驟四:獲取訓練集圖像,基于訓練集圖像和所述第二圖像集中的圖像,對改進的densenet網絡進行訓練,構建大學生面部表情圖像識別模型,其中所述改進的densenet網絡包括密集塊和過渡層,所述密集塊包括順序排列的bn+relu+1x1?conv+bn+relu+3x3conv和gate因子,gate因子即xi+1=gate(xi+x0),xi表示dense?block中的第i層;
6、步驟五:獲取測試集圖像,基于測試集圖像對構建好的大學生面部表情圖像識別模型進行評估,當評估不通過時,返回步驟五,當評估通過時,停止大學生面部表情圖像識別模型的訓練,獲得最終的大學生面部表情圖像識別模型;
7、步驟六:通過最終的大學生面部表情圖像識別模型對實時捕捉的大學生面部表情進行識別分析,獲得大學生面部表情的識別分析結果。
8、可選的,所述步驟三之后還包括:對所述第二圖像集實用性論證,所述實用性論證包括:
9、數據規模論證:論證所需的面部表情圖像樣本數量;
10、標注質量論證:采用交叉驗證方式對標注結果進行質量論證;
11、數據均衡性論證:分析第二圖像集中各類別面部表情圖像的數量和分布情況,對于數量較少的類別,采用數據增強或合成方法來擴充圖像數量,確保數據庫中的圖像質量均衡。
12、可選的,所述采集大學生面部表情圖像包括通過教室攝像頭和互聯網下載的方式采集在校大學生面部表情圖像。
13、可選的,所述對面部表情圖像進行預處理包括:
14、人臉檢測:使用卷積神經網絡cnn檢測所采集圖像中的人臉區域;
15、圖像對齊:通過人臉關鍵點檢測算法確定眼睛、鼻子、嘴巴關鍵部位的位置,進行表情圖像對齊;
16、光照歸一化:采用直方圖均衡化、gamma校正的方法調整表情圖像亮度;
17、噪聲去除與平滑:使用中值濾波、高斯濾波的方法去除圖像中的噪聲和細節紋理;
18、對比度增強:通過拉普拉斯銳化、自適應直方圖均衡化的方法增強圖像的對比度;
19、顏色空間轉換:將圖像從rgb顏色空間轉換到yuv顏色空間或hsv顏色空間。
20、可選的,所述對所述第一圖像集中的圖像進行面部表情類型的標注包括:獲取由心理學專家對一部分面部表情圖像進行初始的人工標注圖像,作為訓練自動標注算法的數據集,獲得優化后的自動標注算法,使用優化后的自動標注算法對剩余的面部表情圖像進行標注。
21、可選的,所述面部表情類型包括中立、高興、驚訝、悲傷、憤怒、厭惡、恐懼、輕蔑8種類型。
22、通過本方法來識別大學生面部表情時,首先采集大學生面部表情圖像,然后對面部表情圖像進行預處理,獲取處理后的第一圖像集,對所述第一圖像集中的圖像進行面部表情類型的標注,獲得標注后的第二圖像集,然后獲取訓練集圖像,基于訓練集圖像和所述第二圖像集中的圖像,對改進的densenet網絡進行訓練,構建大學生面部表情圖像識別模型,其中所述改進的densenet網絡包括密集塊和過渡層,所述密集塊包括順序排列的bn+relu+1x1conv+bn+relu+3x3?conv和gate因子,gate因子即xi+1=gate(xi+x0),xi表示denseblock中的第i層,densenet網絡結構設置圍繞dense?block(密集塊)和transition?layer(過渡層)兩個核心組件進行。參考圖2,現有dense?block中的層按照bn(批量歸一化)+relu(線性修正單元)+1x1?conv(卷積)+bn+relu+3x3conv的順序排列。本發明在現有denseblock中的層中加入gate因子,gate因子會綜合考慮前面所有層的輸出特征圖,并根據任務需求和輸入數據的特性來動態地選擇重要的特征進行輸出,這種方式有助于網絡更加有效地利用輸入信息,提高模型的表達能力,通過密集連接的方式,根據gate因子,得到每一層的輸出,然后再連接到后面的層,提取出與面部表情相關的深度特征,然后獲取測試集圖像,基于測試集圖像對構建好的大學生面部表情圖像識別模型進行評估,當評估不通過時,返回步驟五,當評估通過時,停止大學生面部表情圖像識別模型的訓練,獲得最終的大學生面部表情圖像識別模型,通過最終的大學生面部表情圖像識別模型對實時捕捉的大學生面部表情進行識別分析,獲得大學生面部表情的識別分析結果。最終的大學生面部表情圖像識別模型可以部署到實際應用場景中,如在線教育、心理健康評測等領域。通過實時捕捉大學生的面部表情,模型可以對其進行識別和分析,從而為相關應用提供有力的支持。
23、由上述可知,本方法對改進的densenet網絡進行訓練,能夠提取出與面部表情相關的深度特征,提升面部表情分析的準確性,從而為相關應用提供有力的支持。
1.一種基于改進densenet的大學生面部表情識別方法,其特征在于,包括:
2.根據權利要求1所述的一種基于改進densenet的大學生面部表情識別方法,其特征在于,所述步驟三之后還包括:對所述第二圖像集實用性論證,所述實用性論證包括:
3.根據權利要求1所述的一種基于改進densenet的大學生面部表情識別方法,其特征在于,所述采集大學生面部表情圖像包括通過教室攝像頭和互聯網下載的方式采集在校大學生面部表情圖像。
4.根據權利要求1所述的一種基于改進densenet的大學生面部表情識別方法,其特征在于,所述對面部表情圖像進行預處理包括:
5.根據權利要求1所述的一種基于改進densenet的大學生面部表情識別方法,其特征在于,所述對所述第一圖像集中的圖像進行面部表情類型的標注包括:獲取由心理學專家對一部分面部表情圖像進行初始的人工標注圖像,作為訓練自動標注算法的數據集,獲得優化后的自動標注算法,使用優化后的自動標注算法對剩余的面部表情圖像進行標注。
6.根據權利要求1所述的一種基于改進densenet的大學生面部表情識別方法,其特征在于,所述面部表情類型包括中立、高興、驚訝、悲傷、憤怒、厭惡、恐懼、輕蔑8種類型。