麻豆精品无码国产在线播放,国产亚洲精品成人AA片新蒲金,国模无码大尺度一区二区三区,神马免费午夜福利剧场

一種情感識別方法及裝置與流程

文檔序號:11251327閱讀:1917來源:國知局
一種情感識別方法及裝置與流程

本發明涉及多媒體技術領域,特別是涉及一種情感識別方法及裝置。



背景技術:

隨著人工智能技術的迅速發展,情感識別能夠通過畫面和聲音判斷人物情緒,讓機器真正“懂”用戶,這將極大促進視頻理解、人機交互等智能領域的發展。情感識別是視頻畫面情感、音頻情感識別等多個領域技術的綜合體。視頻畫面情感識別利用人工智能的算法,通過視頻畫面中人物表情、動作和姿態等信息識別出人物情緒。而音頻情感識別主要根據人在不同情感下語音信號的非平穩性特征,通過提取語音的音質、韻律、頻譜等聲學特征,來判斷情緒變化。

傳統的卷積神經網絡(cnn,convolutionalneuralnetworks)能提取出圖像的外觀特征,在圖像識別領域取得了很好的效果。然而,cnn只能處理單張圖像。因此,先通過cnn提取視頻每幀圖像的外觀特征,再通過遞歸神經網絡(rnn,recurrentneuralnetwork)提取圖像序列的時間特征,通過視頻的外觀特征和時間特征識別視頻的情感。其中,情感類型可以分為憤怒、惡心、害怕、高興、悲傷、驚訝和中立七種基本情感。目前,由于帶有情感標注的數據量少,rnn情感識別尤其是某幾類情感(如惡心、驚訝)識別的準確度較低。



技術實現要素:

本發明實施例的目的在于提供一種情感識別方法及裝置,以提高視頻情感識別的準確度。具體技術方案如下:

本發明實施例公開了一種情感識別方法,包括:

通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征,得到第一情感結果;

通過預先建立的三維卷積神經網絡模型識別所述待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征,得到第二情感結果;

在得到所述第一情感結果及所述第二情感結果時,對所述第一情感結果、所述第二情感結果進行融合計算,得到所述待識別視頻的融合結果;

根據所述融合結果中的最大值,通過預先建立的融合結果和情感類型的對應關系,得到所述待識別視頻的情感類型。

可選的,位于所述通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征,之前,所述方法還包括:

對所述待識別視頻進行預處理,得到所述待識別視頻的幀序列。

可選的,位于所述通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征,之前,所述方法還包括:

通過卷積神經網絡對fer2013數據庫中的具有基本表情的人臉圖像進行訓練,建立卷積神經網絡模型;

通過遞歸神經網絡對所述卷積神經網絡模型的外觀特征進行訓練,建立遞歸神經網絡模型;

通過三維卷積神經網絡對afew6.0數據庫中的具有基本表情的視頻片段進行訓練,得到三維卷積神經網絡模型。

可選的,所述對所述待識別視頻進行預處理,得到所述待識別視頻的幀序列的步驟,包括:

對所述待識別視頻中的每一幀圖片做仿射變換,得到所述幀序列。

可選的,所述對所述第一情感結果、所述第二情感結果進行融合計算,得到所述待識別視頻的融合結果的步驟,包括:

根據公式:wvideo=a1×wcnn-rnn+(1-a1)×wc3d,

得到融合結果wvideo,其中,wcnn-rnn為所述第一情感結果,wc3d為所述第二情感結果,a1為第一情感結果參數,1-a1為第二情感結果參數,a1為大于0且小于1的數值。

可選的,位于所述對所述第一情感結果、所述第二情感結果進行融合計算,之前,所述方法還包括:

提取所述待識別視頻的音頻特征,通過支持向量機模型識別所述音頻特征,得到音頻情感結果;

在得到所述第一情感結果、所述第二情感結果及所述音頻情感結果時,對所述第一情感結果、所述第二情感結果及所述音頻情感結果進行融合計算,得到所述待識別視頻的融合結果。

可選的,所述對所述第一情感結果、所述第二情感結果及所述音頻情感結果進行融合計算,得到所述待識別視頻的融合結果的步驟,包括:

根據公式:

wvideo=w1×wcnn-rnn+w2×wc3d+(1-w1-w2)×waudio,得到融合結果wvideo,

其中,wcnn-rnn為所述第一情感結果,wc3d為所述第二情感結果,waudio為所述音頻情感結果,w1為第一情感結果參數,w2為第二情感結果參數,1-w1-w2為音頻情感結果參數,w1、w2和w1+w2為大于0且小于1的數值。

本發明實施例還公開了一種情感識別裝置,包括:

第一情感結果模塊,用于通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征,得到第一情感結果;

第二情感結果模塊,用于通過預先建立的三維卷積神經網絡模型識別所述待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征,得到第二情感結果;

融合結果模塊,用于在得到所述第一情感結果及所述第二情感結果時,對所述第一情感結果、所述第二情感結果進行融合計算,得到所述待識別視頻的融合結果;

情感類型模塊,用于根據所述融合結果中的最大值,通過預先建立的融合結果和情感類型的對應關系,得到所述待識別視頻的情感類型。

可選的,本發明實施例的情感識別裝置,還包括:

預處理模塊,用于對所述待識別視頻進行預處理,得到所述待識別視頻的幀序列。

可選的,本發明實施例的情感識別裝置,還包括:

卷積神經網絡模型建立模塊,用于通過卷積神經網絡對fer2013數據庫中的具有基本表情的人臉圖像進行訓練,建立卷積神經網絡模型;

遞歸神經網絡模型建立模塊,用于通過遞歸神經網絡對所述卷積神經網絡模型的外觀特征進行訓練,建立遞歸神經網絡模型;

三維卷積神經網絡模型建立模塊,用于通過三維卷積神經網絡對afew6.0數據庫中的具有基本表情的視頻片段進行訓練,得到三維卷積神經網絡模型。

可選的,所述預處理模塊具體用于對所述待識別視頻中的每一幀圖片做仿射變換,得到所述幀序列。

可選的,所述融合結果模塊具體用于,根據公式:

wvideo=a1×wcnn-rnn+(1-a1)×wc3d,

得到融合結果wvideo,其中,wcnn-rnn為所述第一情感結果,wc3d為所述第二情感結果,a1為第一情感結果參數,1-a1為第二情感結果參數,a1為大于0且小于1的數值。

可選的,本發明實施例的情感識別裝置,還包括:

音頻情感結果模塊,用于提取所述待識別視頻的音頻特征,通過支持向量機模型識別所述音頻特征,得到音頻情感結果;

所述融合結果模塊還用于,在得到所述第一情感結果、所述第二情感結果及所述音頻情感結果時,對所述第一情感結果、所述第二情感結果及所述音頻情感結果進行融合計算,得到所述待識別視頻的融合結果。

可選的,融合結果模塊具體用于,根據公式:

wvideo=w1×wcnn-rnn+w2×wc3d+(1-w1-w2)×waudio,得到融合結果wvideo,

其中,wcnn-rnn為所述第一情感結果,wc3d為所述第二情感結果,waudio為所述音頻情感結果,w1為第一情感結果參數,w2為第二情感結果參數,1-w1-w2為音頻情感結果參數,w1、w2和w1+w2為大于0且小于1的數值。

本發明實施例提供的情感識別方法及裝置,通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,得到第一情感結果;通過預先建立的三維卷積神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,得到第二情感結果;對第一情感結果、第二情感結果進行融合計算,得到待識別視頻的融合結果;根據融合結果中的最大值,通過預先建立的融合結果和情感類型的對應關系,得到待識別視頻的情感類型。本發明實施例通過將遞歸神經網絡模型和三維卷積神經網絡模型相結合,提高了識別視頻情感類型的準確度。當然,實施本發明的任一產品或方法并不一定需要同時達到以上所述的所有優點。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例的情感識別方法的一種流程圖;

圖2為本發明實施例的情感識別方法的另一種流程圖;

圖3為本發明實施例的情感識別方法的另一種流程圖;

圖4為本發明實施例的情感識別裝置的一種結構圖;

圖5為本發明實施例的情感識別裝置的另一種結構圖;

圖6為本發明實施例的情感識別裝置的另一種結構圖。

具體實施方式

下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例?;诒景l明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。

目前,通過遞歸神經網絡可以識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,對視頻的情感類型做出識別。但是,該方法對于部分微表情識別的準確度比較低。因此,本發明實施例公開了一種情感識別方法及裝置,下面首先對情感識別方法進行詳細說明。

參見圖1,圖1為本發明實施例的情感識別方法的一種流程圖,包括以下步驟:

s101,通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,得到第一情感結果。

本發明實施例中,遞歸神經網絡模型首先通過卷積神經網絡提取視頻的每一幀圖片的外觀特征,其中,外觀特征可以包括:顏色特征、紋理特征、形狀特征、空間關系特征等。然后將外觀特征作為遞歸神經網絡的輸入,通過遞歸神經網絡提取視頻的幀序列的時間特征,時間特征可以包括:幀序列中每一幀圖片的時間,即幀圖片之間的互連關系。通過遞歸神經網絡模型,根據外觀特征和時間特征,得到第一情感結果。

其中,遞歸神經網絡模型包括:視頻和情感向量的對應關系,視頻也就是圖片序列,情感向量為連續的幾個數值,且數值的和為1。例如,基本情感類型為7種,分別為憤怒、惡心、害怕、高興、悲傷、驚訝和中立。那么,輸出的情感向量為7個數值,這7個數值分別對應憤怒、惡心、害怕、高興、悲傷、驚訝和中立的概率,當然,這7個數值的和為1。因此,通過遞歸神經網絡模型可以根據輸入的視頻得到該視頻對應輸出的情感向量,即,7種情感類型的概率。相應地,得到的第一情感結果即為7種情感類型的概率。

s102,通過預先建立的三維卷積神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,得到第二情感結果。

與s101相同的是,三維卷積神經網絡模型包括:視頻和情感向量的對應關系。但是,三維卷積神經網絡可同時提取視頻的幀序列的外觀特征和時間特征,因此,三維卷積神經網絡可以捕捉到微表情的細微變化,從而識別某些微表情,例如:惡心、驚訝等,進而提高情感識別的準確度。

s103,在得到第一情感結果及第二情感結果時,對第一情感結果、第二情感結果進行融合計算,得到待識別視頻的融合結果。

需要說明的是,通過遞歸神經網絡模型和三維卷積神經網絡模型都可以得到視頻對應的情感類型,由于遞歸神經網絡模型對高興和憤怒等較明顯的表情具有很好的識別性能,三維卷積神經網絡模型對微表情具有很好的識別性能,可以將兩種模型進行互補,即,將兩種結果進行融合計算,得到準確度更高的待識別視頻的融合結果。

s104,根據融合結果中的最大值,通過預先建立的融合結果和情感類型的對應關系,得到待識別視頻的情感類型。

由s101和s102可知,第一情感結果和第二情感結果都為情感向量,那么,通過兩種模型的融合,得到的融合結果也為情感向量。而融合結果和情感類型的對應關系是預先建立的,例如,該對應關系為:融合結果為情感向量,該情感向量中的7個數值依次和憤怒、惡心、害怕、高興、悲傷、驚訝、中立相對應,如果融合結果為:0.1、0.15、0.1、0.1、0.2、0.1、0.25,則表明待識別視頻的情感類型中憤怒的概率為0.1,惡心的概率為0.15,害怕的概率為0.1、高興的概率為0.1,悲傷的概率為0.2,驚訝的概率為0.1,中立的概率為0.25。顯然,融合結果中的最大值為0.25,那么,最終得到的待識別視頻的情感類型為中立。

可見,本發明實施例的情感識別方法,通過預先建立的遞歸神經網絡模型和預先建立的三維卷積神經網絡模型分別識別待識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,得到第一情感結果和第二情感結果;對第一情感結果、第二情感結果進行融合計算,得到待識別視頻的融合結果;根據融合結果中的最大值,通過預先建立的融合結果和情感類型的對應關系,得到待識別視頻的情感類型。本發明實施例通過將遞歸神經網絡模型和三維卷積神經網絡模型相結合,并將兩種模型得到的情感結果融合,提高了識別視頻情感類型的準確度。

參見圖2,圖2為本發明實施例的情感識別方法的另一種流程圖,在圖1實施例的基礎上,還包括:

s201,對待識別視頻進行預處理,得到待識別視頻的幀序列。

需要說明的是,本發明實施例識別的是視頻的情感類型,即,視頻的每一幀圖片中的人臉圖片的情感類型。而對于給定的視頻,不是每一幀圖片都可以直接提取人臉圖片的外觀特征,需要對視頻的每一幀圖片進行預處理,即,檢測人臉圖片中的人臉關鍵點,并根據人臉關鍵點做仿射變換,得到待識別視頻的幀序列,進而提取待識別視頻的幀序列的外觀特征。

參見圖3,圖3為本發明實施例的情感識別方法的另一種流程圖,在圖1實施例的基礎上,還包括:

s301,通過卷積神經網絡對fer2013數據庫中的具有基本表情的人臉圖像進行訓練,建立卷積神經網絡模型。

具體的,fer2013數據庫為包含七種基本表情的表情數據庫。由于fer2013數據庫的數據量小,因此,需要重新訓練一個深度學習模型。即,通過卷積神經網絡訓練使得fer2013數據庫在人臉識別模型的基礎上做微調,從而建立卷積神經網絡模型。需要解釋的是,人臉識別模型為與表情無關的模型,這樣,機器不需要重新學習,而可以直接對情感類型進行分類,從而簡化卷積神經網絡模型訓練的過程。卷積神經網絡模型包括:圖片和情感向量的對應關系。

s302,通過遞歸神經網絡對卷積神經網絡模型的外觀特征進行訓練,建立遞歸神經網絡模型。

其中,卷積神經網絡模型每次只能處理單張圖片,即,每次只能提取單張圖片的外觀特征,遞歸神經網絡可以提取圖片序列的時間特征。那么,將卷積神經網絡模型的外觀特征作為遞歸神經網絡的輸入,與遞歸神經網絡提取的時間特征相結合,通過訓練,得到遞歸神經網絡模型。遞歸神經網絡模型中包括視頻和情感向量的對應關系,使得輸入視頻時,得到視頻對應的情感類型。

s303,通過三維卷積神經網絡對afew6.0數據庫中的具有基本表情的視頻片段進行訓練,得到三維卷積神經網絡模型。

具體的,afew6.0數據庫為包括七種基本表情視頻片段的數據庫,三維卷積神經網絡可以同時提取視頻的每一幀圖片的外觀特征和視頻的幀序列的時間特征,通過三維卷積神經網絡使得afew6.0數據庫在視頻識別模型的基礎上做微調,從而建立三維卷積神經網絡模型。三維卷積神經網絡模型中包括視頻和情感向量的對應關系,使得輸入視頻時,得到視頻對應的情感類型。

本發明實施例的一種實現方式中,對待識別視頻進行預處理,得到待識別視頻的幀序列的步驟,包括:

對待識別視頻中的每一幀圖片做仿射變換,得到幀序列。

更為具體的,仿射變換在幾何上定義為兩個向量空間之間的一個仿射變換或者仿射映射,由一個非奇異的線性變換接上一個平移變換組成。圖片的仿射變換可以理解為圖片的平移、拉伸和壓縮等等。舉例而言,如果待識別視頻中的一幀圖片中人臉是傾斜的,可根據仿射變換將傾斜的人臉變換為平直的人臉,方便后續提取圖片中人臉的外觀特征。由于仿射變換屬于現有技術,在此不再進行詳細描述。當然,其他可以實現提取圖片中人臉的外觀特征的方式也都是可以的,在此不做限定。

本發明實施例的一種實現方式中,對第一情感結果、第二情感結果進行融合計算,得到待識別視頻的融合結果的步驟,包括:

根據公式:wvideo=a1×wcnn-rnn+(1-a1)×wc3d,

得到融合結果wvideo,其中,wcnn-rnn為第一情感結果,wc3d為第二情感結果,a1為第一情感結果參數,1-a1為第二情感結果參數,a1為大于0且小于1的數值。

更為具體的,在得到第一情感結果和第二情感結果之后,將第一情感結果和第二情感結果進行融合,得到待識別視頻的融合結果。需要說明的是,a1為通過驗證得到的數值。首先,在評估遞歸神經網絡模型或三維卷積神經網絡模型時,將具有情感類型的視頻樣本作為遞歸神經網絡模型或三維卷積神經網絡模型的輸入,將通過遞歸神經網絡模型或三維卷積神經網絡模型得到的情感類型與已知的情感類型進行對比,通過不斷調節遞歸神經網絡模型或三維卷積神經網絡模型內部的參數,使得遞歸神經網絡模型或三維卷積神經網絡模型最優。然后,在遞歸神經網絡模型和三維卷積神經網絡模型相結合時,將具有情感類型的視頻樣本作為遞歸神經網絡模型和三維卷積神經網絡模型的輸入,將通過遞歸神經網絡模型和三維卷積神經網絡模型計算得到的情感類型和已知情感類型進行對比,通過不斷調節a1,使得遞歸神經網絡模型和三維卷積神經網絡模型兩種模型結合之后得到的結果達到最優,即,使得到的結果與已知結果最接近。

本發明實施例中,結合遞歸神經網絡模型對高興、憤怒等表情具有較高識別性的優點,以及三維卷積神經網絡模型對驚訝、惡心等微表情具有較高識別性的優點,得到待識別視頻最終的情感類型。因此,本發明實施例的情感識別方法識別視頻情感的準確度更高。

可選的,位于對第一情感結果、第二情感結果進行融合計算,之前,本發明實施例的情感識別方法還包括:

提取待識別視頻的音頻特征,通過支持向量機模型識別音頻特征,得到音頻情感結果。

在得到所述第一情感結果、所述第二情感結果及所述音頻情感結果時,對第一情感結果、第二情感結果及音頻情感結果進行融合計算,得到待識別視頻的融合結果。

需要說明的是,通過遞歸神經網絡模型和三維卷積神經網絡模型兩種模型得到的情感類型,僅僅是通過對視頻中圖片的處理得到的,而視頻除了一幀一幀的圖片之外,還包括聲音。本發明實施例中,還可以提取視頻的音頻特征,通過對音頻的識別,得到音頻情感結果。其中,音頻特征包括:語速、振幅和音頻等。支持向量機模型為有監督的學習模型,通常用來進行模式識別、分類以及回歸分析。當然,該支持向量機模型也是通過訓練得到的。同樣的,得到的音頻情感結果也為情感向量。

本發明實施例的一種實現方式中,對第一情感結果、第二情感結果及音頻情感結果進行融合計算,得到待識別視頻的融合結果的步驟,包括:

根據公式:

wvideo=w1×wcnn-rnn+w2×wc3d+(1-w1-w2)×waudio,得到融合結果wvideo,w1×wcnn-rnn+w2×wc3d+(1-w1-w2)×waudio

其中,wcnn-rnn為第一情感結果,wc3d為第二情感結果,waudio為音頻情感結果,w1為第一情感結果參數,w2為第二情感結果參數,1-w1-w2為音頻情感結果參數,w1、w2和w1+w2為大于0且小于1的數值。

在得到音頻情感結果之后,將音頻情感結果與第一情感結果、第二情感結果相融合,得到待識別視頻的融合結果。其中,w1和w2的選取方法與上述a1的選取方法相同,在此不再贅述。顯然,將音頻情感結果與第一情感結果以及第二情感結果結合,遞歸神經網絡模型、三維卷積神經網絡模型和支持向量機模型中參數的訓練過程將會復雜化,但是得到的情感類型準確性更高。

相應于上述方法實施例,本發明實施例還公開了一種情感識別裝置,參見圖4,圖4為本發明實施例的情感識別裝置的一種結構圖,包括:

第一情感結果模塊401,用于通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,得到第一情感結果。

第二情感結果模塊402,用于通過預先建立的三維卷積神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,得到第二情感結果。

融合結果模塊403,用于在得到第一情感結果及第二情感結果時,對第一情感結果、第二情感結果進行融合計算,得到待識別視頻的融合結果。

情感類型模塊404,用于根據融合結果中的最大值,通過預先建立的融合結果和情感類型的對應關系,得到待識別視頻的情感類型。

可見,本發明實施例的情感識別裝置,通過預先建立的遞歸神經網絡模型和預先建立的三維卷積神經網絡模型分別識別待識別視頻的幀序列中人臉的外觀特征和幀序列的時間特征,得到第一情感結果和第二情感結果;對第一情感結果、第二情感結果進行融合計算,得到待識別視頻的融合結果;根據融合結果中的最大值,通過預先建立的融合結果和情感類型的對應關系,得到待識別視頻的情感類型。本發明實施例通過將遞歸神經網絡模型和三維卷積神經網絡模型相結合,并將兩種模型得到的情感結果融合,提高了識別視頻情感類型的準確度。

需要說明的是,本發明實施例的裝置是應用上述情感識別方法的裝置,則上述情感識別方法的所有實施例均適用于該裝置,且均能達到相同或相似的有益效果。

參見圖5,圖5為本發明實施例的情感識別裝置的另一種結構圖,在圖4實施例的基礎上,還包括:

預處理模塊501,用于對待識別視頻進行預處理,得到待識別視頻的幀序列。

參見圖6,圖6為本發明實施例的情感識別裝置的另一種結構圖,在圖4實施例的基礎上,還包括:

卷積神經網絡模型建立模塊601,用于通過卷積神經網絡對fer2013數據庫中的具有基本表情的人臉圖像進行訓練,建立卷積神經網絡模型。

遞歸神經網絡模型建立模塊602,用于通過遞歸神經網絡對卷積神經網絡模型的外觀特征進行訓練,建立遞歸神經網絡模型。

三維卷積神經網絡模型建立模塊603,用于通過三維卷積神經網絡對afew6.0數據庫中的具有基本表情的視頻片段進行訓練,得到三維卷積神經網絡模型。

可選的,本發明實施例的情感識別裝置中,預處理模塊具體用于對待識別視頻中的每一幀圖片做仿射變換,得到幀序列。

可選的,本發明實施例的情感識別裝置中,融合結果模塊具體用于,根據公式:wvideo=a1×wcnn-rnn+(1-a1)×wc3d,

得到融合結果wvideo,其中,wcnn-rnn為第一情感結果,wc3d為第二情感結果,a1為第一情感結果參數,1-a1為第二情感結果參數,a1為大于0且小于1的數值。

可選的,本發明實施例的情感識別裝置,還包括:

音頻情感結果模塊,用于提取待識別視頻的音頻特征,通過支持向量機模型識別音頻特征,得到音頻情感結果。

融合結果模塊還用于,對第一情感結果、第二情感結果及音頻情感結果進行融合計算,得到待識別視頻的融合結果。

融合結果模塊具體用于,根據公式:

wvideo=w1×wcnn-rnn+w2×wc3d+(1-w1-w2)×waudio,得到融合結果wvideo,

其中,wcnn-rnn為第一情感結果,wc3d為第二情感結果,waudio為音頻情感結果,w1為第一情感結果參數,w2為第二情感結果參數,1-w1-w2為音頻情感結果參數,w1、w2和w1+w2為大于0且小于1的數值。

需要說明的是,在本文中,諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

本說明書中的各個實施例均采用相關的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對于系統實施例而言,由于其基本相似于方法實施例,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。

以上所述僅為本發明的較佳實施例而已,并非用于限定本發明的保護范圍。凡在本發明的精神和原則之內所作的任何修改、等同替換、改進等,均包含在本發明的保護范圍內。

當前第1頁1 2 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
主站蜘蛛池模板: 武功县| 乳源| 汝州市| 砀山县| 甘洛县| 崇阳县| 武夷山市| 唐海县| 青河县| 自治县| 随州市| 嘉峪关市| 揭东县| 龙泉市| 搜索| 荣成市| 阳高县| 开封县| 胶州市| 彭山县| 清流县| 广州市| 天祝| 乌拉特后旗| 金塔县| 搜索| 宾阳县| 万盛区| 白河县| 迭部县| 广宗县| 神池县| 安远县| 原阳县| 泸州市| 临沧市| 涟源市| 商丘市| 平武县| 和平县| 比如县|