聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別方法及系統(tǒng)，該方法包括：S1、對(duì)訓(xùn)練樣本庫(kù)中每個(gè)情感語(yǔ)音信號(hào)進(jìn)行特征提取和處理，得到訓(xùn)練樣本特征矩陣A；S2、用子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法對(duì)訓(xùn)練樣本特征矩陣A進(jìn)行學(xué)習(xí)得到字典；S3、對(duì)測(cè)試樣本庫(kù)中的情感語(yǔ)音信號(hào)進(jìn)行特征提取和處理，每個(gè)測(cè)試樣本得到各自的測(cè)試樣本特征向量y；S4、將測(cè)試樣本特征向量y在字典上進(jìn)行稀疏編碼得到編碼系數(shù)S5、根據(jù)字典學(xué)習(xí)的識(shí)別準(zhǔn)則進(jìn)行識(shí)別。本發(fā)明成功地使用基于子編碼和全編碼聯(lián)合懲罰的稀疏表示字典學(xué)習(xí)方法對(duì)語(yǔ)音情感信號(hào)進(jìn)行識(shí)別，使得識(shí)別結(jié)果更準(zhǔn)確。
【專(zhuān)利說(shuō)明】聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語(yǔ)音信號(hào)處理、信號(hào)的稀疏表示和模式識(shí)別【技術(shù)領(lǐng)域】，尤其涉及一種基于聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別方法及系統(tǒng)。
【背景技術(shù)】
[0002]語(yǔ)音信息在人類(lèi)交流中扮演重要的角色，有研究表明，人類(lèi)40%的情感信息都是通過(guò)說(shuō)話進(jìn)行傳遞的。準(zhǔn)確理解人的情感有助于促進(jìn)和諧的人機(jī)交互。因此，如何使用計(jì)算機(jī)技術(shù)從語(yǔ)音中自動(dòng)識(shí)別說(shuō)話人的情感狀態(tài)近年來(lái)受到各領(lǐng)域研究者的廣泛關(guān)注。近年來(lái)，稀疏表示技術(shù)在圖像識(shí)別中取得很好的效果，例如人臉識(shí)別，數(shù)字和文本識(shí)別等。
[0003]現(xiàn)有技術(shù)一采用訓(xùn)練樣本作為原子組成一個(gè)結(jié)構(gòu)化的字典，對(duì)人臉特征進(jìn)行稀疏表示，稀疏表示后的特征具有很好的識(shí)別能力，并具有較好的魯棒性。但該技術(shù)簡(jiǎn)單地將訓(xùn)練樣本作為原子組成一個(gè)結(jié)構(gòu)化的字典，得到的字典的性能過(guò)分依賴訓(xùn)練樣本。現(xiàn)有技術(shù)二通過(guò)在字典學(xué)習(xí)目標(biāo)函數(shù)中加入與類(lèi)別標(biāo)簽信息相關(guān)的線性分類(lèi)器懲罰函數(shù)的方法進(jìn)行字典學(xué)習(xí)，該技術(shù)能得到一個(gè)具有較強(qiáng)識(shí)別力的字典，但該技術(shù)學(xué)習(xí)得到的字典是一個(gè)被所有類(lèi)別共享的字典，即學(xué)習(xí)后字典中的原子沒(méi)有與之對(duì)應(yīng)的類(lèi)別標(biāo)簽信息，該技術(shù)不能用 SRC (Sparse Representation based Classification)的重構(gòu)誤差識(shí)別準(zhǔn)則來(lái)識(shí)另IJ，失去了重構(gòu)誤差識(shí)別準(zhǔn)則的優(yōu)勢(shì)。
[0004]然而，現(xiàn)有技術(shù)中未同時(shí)考慮子編碼和全編碼懲罰函數(shù)，而且未發(fā)現(xiàn)基于稀疏表示的語(yǔ)音情感識(shí)別技術(shù)。
[0005]為了解決現(xiàn)有技術(shù)的缺陷，因此，本發(fā)明提供了一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別方法及系統(tǒng)。在字典學(xué)習(xí)的目標(biāo)函數(shù)中同時(shí)加入子編碼懲罰函數(shù)和全編碼懲罰函數(shù)，學(xué)習(xí)后能同時(shí)得到兩個(gè)具有較高識(shí)別力的識(shí)別準(zhǔn)則，即子編碼識(shí)別準(zhǔn)則和全編碼識(shí)別準(zhǔn)則(對(duì)應(yīng)著字典學(xué)習(xí)中兩個(gè)有識(shí)別力的懲罰函數(shù))。其中的子編碼識(shí)別準(zhǔn)則不但可以用每個(gè)子字典的重構(gòu)誤差來(lái)識(shí)別，還可以用每個(gè)子字典上的編碼系數(shù)大小來(lái)識(shí)別，全編碼識(shí)別準(zhǔn)則根據(jù)整個(gè)字典上的編碼系數(shù)來(lái)識(shí)別。聯(lián)合這兩個(gè)識(shí)別準(zhǔn)則設(shè)計(jì)出基于子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)識(shí)別準(zhǔn)則，可有效提高語(yǔ)音情感的識(shí)別率。

【發(fā)明內(nèi)容】

[0006]本發(fā)明針對(duì)【背景技術(shù)】中字典學(xué)習(xí)未同時(shí)考慮子編碼和全編碼懲罰函數(shù)，而且未發(fā)現(xiàn)基于稀疏表示的語(yǔ)音情感識(shí)別技術(shù)的缺陷，提供了一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別方法及系統(tǒng)，將基于子編碼和基于全編碼的懲罰函數(shù)相結(jié)合進(jìn)行聯(lián)合懲罰的稀疏表示字典學(xué)習(xí)方法，并提供了基于聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別技術(shù)，最終提高語(yǔ)音情感的識(shí)別率。
[0007]為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供的技術(shù)方案如下:
[0008]一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別方法，所述方法包括:
[0009]S1、對(duì)訓(xùn)練樣本庫(kù)中每個(gè)情感語(yǔ)音信號(hào)進(jìn)行特征提取和處理，得到訓(xùn)練樣本特征矩陣A ；
[0010]S2、用子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法對(duì)訓(xùn)練樣本特征矩陣A進(jìn)行學(xué)習(xí)得到字典D ;
[0011]S3、對(duì)測(cè)試樣本庫(kù)中的情感語(yǔ)音信號(hào)進(jìn)行特征提取和處理，每個(gè)測(cè)試樣本得到各自的測(cè)試樣本特征向量I ;
[0012]S4、將測(cè)試樣本特征向量y在字典?上進(jìn)行稀疏編碼得到編碼系數(shù)& ；
[0013]S5、根據(jù)字血/)學(xué)習(xí)的識(shí)別準(zhǔn)則進(jìn)行識(shí)別。
[0014]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟SI具體包括:
[0015]對(duì)訓(xùn)練樣本庫(kù)中的每個(gè)情感語(yǔ)音信號(hào)進(jìn)行預(yù)處理，預(yù)處理包括預(yù)加重、加窗處理、分幀、端點(diǎn)檢測(cè)；
[0016]對(duì)訓(xùn)練樣本庫(kù)中的每個(gè)情感語(yǔ)音信號(hào)提取包括美爾倒譜系數(shù)、基頻、時(shí)長(zhǎng)、強(qiáng)度、振幅、音質(zhì)以及共振峰的語(yǔ)音的聲學(xué)和韻律特征，并在情感語(yǔ)音信號(hào)上分別提取所述聲學(xué)和韻律特征的最大值、最小值以及變化范圍的統(tǒng)計(jì)特征；
[0017]將訓(xùn)練樣本庫(kù)中的每個(gè)情感語(yǔ)音信號(hào)的特征向量作為列構(gòu)成訓(xùn)練樣本特征矩陣。
[0018]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S2中子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)
方法的目標(biāo)函數(shù)為:
[0019]
【權(quán)利要求】
1.一種聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別方法，其特征在于，所述方法包括: 51、對(duì)訓(xùn)練樣本庫(kù)中每個(gè)情感語(yǔ)音信號(hào)進(jìn)行特征提取和處理，得到訓(xùn)練樣本特征矩陣A ； 52、用子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法對(duì)訓(xùn)練樣本特征矩陣A進(jìn)行學(xué)習(xí)得到字典； 53、對(duì)測(cè)試樣本庫(kù)中的情感語(yǔ)音信號(hào)進(jìn)行特征提取和處理，每個(gè)測(cè)試樣本得到各自的測(cè)試樣本特征向量y ； 54、將測(cè)試樣本特征向量y在字典?上進(jìn)行稀疏編碼得到編碼系數(shù)?; 55、根據(jù)字典?學(xué)習(xí)的識(shí)別準(zhǔn)則進(jìn)行識(shí)別。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟SI具體包括: 對(duì)訓(xùn)練樣本庫(kù)中的每個(gè)情感語(yǔ)音信號(hào)進(jìn)行預(yù)處理，預(yù)處理包括預(yù)加重、加窗處理、分幀、端點(diǎn)檢測(cè)； 對(duì)訓(xùn)練樣本庫(kù)中的每個(gè)情感語(yǔ)音信號(hào)提取包括美爾倒譜系數(shù)、基頻、時(shí)長(zhǎng)、強(qiáng)度、振幅、音質(zhì)以及共振峰的語(yǔ)音的聲學(xué)和韻律特征，并在情感語(yǔ)音信號(hào)上分別提取所述聲學(xué)和韻律特征的最大值、最小值以及變化范圍的統(tǒng)計(jì)特征； 將訓(xùn)練樣本庫(kù)中的每個(gè)情感語(yǔ)音信號(hào)的特征向量作為列構(gòu)成訓(xùn)練樣本特征矩陣。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S2中子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法的目標(biāo)函數(shù)為:
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟S2具體為: 對(duì)訓(xùn)練樣本特征矩陣A進(jìn)行預(yù)處理； 初始化A'和D'，將A'和D'的每一列都?xì)w一化； 固定字典D'更新編碼系數(shù)X'，目標(biāo)函數(shù)簡(jiǎn)化為
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述標(biāo)量參數(shù)λ，η，μ采用5倍交叉驗(yàn)證方法獲得。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S3具體為: 對(duì)測(cè)試樣本庫(kù)中的每個(gè)情感語(yǔ)音信號(hào)進(jìn)行預(yù)處理，預(yù)處理包括預(yù)加重、加窗處理、分幀、端點(diǎn)檢測(cè)； 對(duì)測(cè)試本庫(kù)中的每個(gè)情感語(yǔ)音信號(hào)提取包括美爾倒譜系數(shù)、基頻、時(shí)長(zhǎng)、強(qiáng)度、振幅、音質(zhì)以及共振峰的語(yǔ)音的聲學(xué)和韻律特征，并在情感語(yǔ)句上分別提取所述聲學(xué)和韻律特征的最大值、最小值以及變化范圍的統(tǒng)計(jì)特征，每個(gè)情感語(yǔ)音信號(hào)得到各自的測(cè)試樣本特征向量I。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4具體為: 對(duì)學(xué)習(xí)得到的字典D'進(jìn)行預(yù)處理； 將測(cè)試樣本特征向量I在字典0上進(jìn)行`稀疏編碼。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S5中字Ad學(xué)習(xí)的識(shí)別準(zhǔn)則為:
9.一種如權(quán)利要求1所述的聯(lián)合懲罰稀疏表示字典學(xué)習(xí)的語(yǔ)音情感識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)包括: 字典學(xué)習(xí)模塊，用于: 對(duì)訓(xùn)練樣本庫(kù)中每個(gè)情感語(yǔ)音信號(hào)進(jìn)行特征提取和處理，得到訓(xùn)練樣本特征矩陣A ;用子編碼和全編碼聯(lián)合懲罰的字典學(xué)習(xí)方法對(duì)訓(xùn)練樣本特征矩陣A進(jìn)行學(xué)習(xí)得到字典? ； 稀疏表不模塊，用于: 對(duì)測(cè)試樣本庫(kù)中的情感語(yǔ)音信號(hào)進(jìn)行特征提取和處理，每個(gè)測(cè)試樣本得到各自的測(cè)試樣本特征向量I ; 將測(cè)試樣本特征向量I在字典? ―上進(jìn)行稀疏編碼得到編碼系數(shù)? ; 識(shí)別模塊，用于: 根據(jù)字典6學(xué)習(xí)的識(shí)別準(zhǔn)則進(jìn)行識(shí)別。
【文檔編號(hào)】G10L25/63GK103594084SQ201310503631
【公開(kāi)日】2014年2月19日 申請(qǐng)日期:2013年10月23日 優(yōu)先權(quán)日:2013年10月23日
【發(fā)明者】毛啟容, 董俊健, 黃正偉, 王新宇, 邢玉萍, 詹永照 申請(qǐng)人:江蘇大學(xué)