1.一種基于特征融合的英語口語自動評分方法,其特征在于,方法包括:
S1:輸入語音信號和文本;
S2:對輸入的語音信號提取特征參數(shù);
S3:利用模式對比的方式對標準語音和待評語音的特征參數(shù)進行比較;
S4:利用文本對齊方式對朗讀文本和待評語音識別文本進行特征比較;
S5:評分機制根據(jù)特征相似度對語音作出評價。
2.根據(jù)權(quán)利要求1所述的基于特征融合的英語口語自動評分方法,其特征在于,
所述步驟S1包括如下步驟:
S1.1輸入標準語音信號;
S1.2輸入標準朗讀文本;
S1.3輸入英語縮略詞及完整形式對照。
3.根據(jù)權(quán)利要求1所述的基于特征融合的英語口語自動評分方法,其特征在于,所述步驟S2還包括如下步驟:
S2.1提取梅爾倒譜參數(shù)特征;
S2.2提取基頻變化軌跡特征。
4.根據(jù)權(quán)利要求3所述的基于特征融合的英語口語自動評分方法,其特征在于,
所述步驟S2.1還包括如下步驟:
S2.11將信號進行分幀,預(yù)加重和加漢明窗處理,然后進行短時傅里葉變換并得到其頻譜;
S2.12求出頻譜平方,即能量譜,并用M個Mel帶通濾波器進行濾波;由于每一個頻帶中分量的作用在人耳中是疊加的;因此將每個濾波器頻帶內(nèi)的能量進行疊加,這時第k個濾波器輸出功率譜x'(k);
S2.13將每個濾波器的輸出取對數(shù),得到相應(yīng)頻帶的對數(shù)功率譜;并進行反離散余弦變換,得到L個MFCC系數(shù),一般L取12~16個左右;MFCC系數(shù)為:
S2.14將這種直接得到的MFCC特征作為靜態(tài)特征,再將這種靜態(tài)特征做一階和二階差分,得到相應(yīng)的動態(tài)特征。
5.根據(jù)權(quán)利要求1所述的基于特征融合的英語口語自動評分方法,其特征在于,
所述步驟S3還包括如下步驟:
利用梅爾倒譜參數(shù)特征比較方式以及基音變化軌跡特征比較方式對標準語音和待評語音的特征參數(shù)進行比較。
6.根據(jù)權(quán)利要求5所述的基于特征融合的英語口語自動評分方法,其特征在于,
所述利用梅爾倒譜參數(shù)特征比較方式包括:
(1)假設(shè)參考標準語音的MFCC特征向量為M1=[m1(1),m1(2),…,m1(T)],(T為參考語音的長度);
(2)待評價語音的MFCC特征向量為M2=[m2(1),m2(2),…,m2(S)],(S為待評價語音的長度);
(3)使用改進的DTW算法,得到一條誤差最小的對齊路徑和對應(yīng)的DTW距離;
(4)該距離是待評價的輸入語音與參考標準語音的MFCC特征參數(shù)的比較結(jié)果,反映了兩段語音在內(nèi)容上的發(fā)音差別。
7.根據(jù)權(quán)利要求5所述的基于特征融合的英語口語自動評分方法,其特征在于,
所述利用基音變化軌跡特征比較方式包括:
(1)假設(shè)參考標準語音的基音特征向量為P1=[p1(1),p1(2),…,p1(R)],其一階差分向量為P△1=[p△1(1),p△1(2),…,p△1(R)](R為參考語音的長度),P△1(n)=|p1(n)-p1(n-1)|,n=1,2,…,R,p1(0)=0;
(2)待評價的輸入語音的基音特征向量為P2=[p2(1),p2(2),…,p2(T)],其一階差分向量為P△2=[p△2(1),p△2(2),…,p△2(T)](T為待評價語音的長度),P△2(n)=|p2(n)-p2(n-1)|,n=1,2,…,T,p2(0)=0;
(3)基于上節(jié)得到的DTW最佳對齊路徑,在對齊的位置進行基音特征比較;
(4)求取基音的差距dp,與其變化量的差距△dp,來獲得輸入語音與參考標準語音的基音的相似度,即:
dp=|p1(n)-p2(m)| (2)
△dp=|△p1(n)-△p2(m)| (3)
其中,△pi(n)=|pi(n)-pi(n-1)| (4)。
8.根據(jù)權(quán)利要求1所述的基于特征融合的英語口語自動評分方法,其特征在于,
所述步驟S4文本進行單詞填充對齊之前所做規(guī)定和假設(shè)為:
考生作答的答案均是字母字符、數(shù)字字符和標點符號字符,不包括圖形、圖案、圖片;
評分時考生答案與標準答案嚴格匹配,不考慮近義詞、同義詞或語義問題;
考生得分只與考生答案的答對字符數(shù)、漏字字符數(shù)和加字字符數(shù)有關(guān)。
9.根據(jù)權(quán)利要求1或8所述的基于特征融合的英語口語自動評分方法,其特征在于,
所述步驟S4還包括如下步驟:
S4.1獲取標準答案A,查看標準答案中是否存在縮略詞,若存在則將縮略詞展開,統(tǒng)計標準答案單詞個數(shù)N,獲取詞頻向量V,標記每個單詞的實際位置及單詞本身、前向單詞和后向單詞在向量V中的位置,判斷標準答案中是否有重復(fù)單詞;
S4.2獲取考生答案a,查看考生答案中是否存在縮略詞,若存在則將縮略詞展開,統(tǒng)計考生答案單詞個數(shù)n,將其在標準答案中不存在的單詞補充到向量V的后面形成新的詞頻向量v,標記有效單詞的實際位置及單詞本身、前向單詞和后向單詞在向量v中的位置,判斷考生答案中是否有重復(fù)單詞;
S4.3創(chuàng)建長度為n的數(shù)組R用來標記考生答案中重復(fù)單詞的位置,逐個比較考生答案詞頻向量v與標準答案詞頻向量V的單詞位置信息,若v中某一單詞的前向單詞或后向單詞在向量中的位置與V中同一單詞的前向單詞或后向單詞在向量中的位置相同,則統(tǒng)計其出現(xiàn)的次數(shù),當單詞出現(xiàn)次數(shù)大于1時則將該單詞實際位置標記為1表示重復(fù),反之與V中同一單詞的前向單詞和后向單詞在向量中的位置都不相同,也將該單詞實際位置標記為1表示重復(fù);
S4.4依據(jù)標記數(shù)組R去掉考生答案中的重復(fù)單詞,更新考生答案字符串a(chǎn)和考生答案單詞個數(shù)n;
S4.5比較標準答案和考生答案的單詞個數(shù),若是n/N<0.2,或N/n>1.5,則該考生答案判分為0,評分結(jié)束;否則繼續(xù)向下執(zhí)行步驟S4.6;
S4.6設(shè)置長度為N的空字符數(shù)組B,并初始化為0的兩計數(shù)器C、D分別統(tǒng)計考生答案中有效單詞的個數(shù)和無效單詞的個數(shù),且設(shè)置考生答案中的任一單詞與標答中的單詞最大比較次數(shù)為L;
S4.7將字符串a(chǎn)中的第一個單詞a0與字符串A中的第一個單詞A0進行比較,若相等,將a0賦值給B0,有效單詞個數(shù)C加1;若不相等,則繼續(xù)與標答中單詞Aj,(0<j<N)進行比較,直到比較結(jié)果相等或比較次數(shù)大于L或j=N則比較結(jié)束,若比較結(jié)果相等,則將a0賦值到Bj,(0<j<N)中,有效單詞個數(shù)C加1,若比較次數(shù)大于L或j=N則無效單詞個數(shù)D加1;
S4.8循環(huán)對字符串a(chǎn)中剩余的單詞ai,(0<i<n)與標答A中Aj之后的單詞進行比較,直到循環(huán)比較結(jié)束獲得新的字符數(shù)組B,有效單詞個數(shù)C和無效單詞個數(shù)D;
S4.9比較標準答案和有效單詞及無效單詞的個數(shù),若是C/N<0.2,或D/N>0.5,則該考生答案判分為0,評分結(jié)束;否則繼續(xù)向下執(zhí)行步驟S4.10;
S4.10統(tǒng)計R中連續(xù)單詞的個數(shù),非連續(xù)單詞則認為是無效單詞;
S4.11有效單詞個數(shù)C與標準答案單詞個數(shù)N的百分比表示正確率,若考生答案單詞個數(shù)n減去重復(fù)單詞個數(shù)后長度仍大于標準答案單詞個數(shù)N則需要先計算標準答案單詞個數(shù)N與有效單詞個數(shù)C的差d,然后無效單詞D減去d得到長度與標答相同后仍多余的無效單詞c,用有效單詞個數(shù)C減去c的結(jié)果與標準答案單詞個數(shù)N的百分比表示正確率。
10.根據(jù)權(quán)利要求1所述的基于特征融合的英語口語自動評分方法,其特征在于,
所述步驟S5包括如下步驟:
S5.1評分參數(shù)相互獨立的加權(quán)組合;
S5.2評分參數(shù)之間的相互聯(lián)系性作為評分的一部分。