本發(fā)明涉及自然語言處理中情感分析,具體涉及一種基于知識增強(qiáng)與交互式圖卷積網(wǎng)絡(luò)的方面級情感分析方法。
背景技術(shù):
1、隨著互聯(lián)網(wǎng)特別是社交媒體的迅猛發(fā)展,?產(chǎn)生了海量的評論數(shù)據(jù),為了挖掘其中的應(yīng)用價值,情感分析逐漸成為自然語言處理(nlp)領(lǐng)域中一個重要的研究方向。按照文本分析的粒度,可以將情感分析任務(wù)劃分為文檔級、句子級和方面級三種類別。文檔級和句子級的情感分析任務(wù)均為給定文本預(yù)測其整體的情感極性,包括積極,中性,消極。然而,傳統(tǒng)的情感分析在處理復(fù)雜句子時存在一定的局限性。例如,在面對評論“the?food?wasdelicious?but?the?environment?was?noisy”時,傳統(tǒng)情感分析無法準(zhǔn)確判斷其情感極性,因此分析結(jié)果相對粗糙。然而,當(dāng)注意力集中在方面級別上時,我們能夠清晰了解到該評論表達(dá)了對于“food”的積極看法以及對于“environment”的消極看法。方面級情感分析是一項細(xì)粒度的任務(wù),可以針對文本中不同的給定方面預(yù)測情感極性,同時更加清晰地判斷文本中包含的多種情感極性,因此具有深刻的研究意義。
2、早期方面級情感分析任務(wù)通常利用機(jī)器學(xué)習(xí)的方法。最近,深度學(xué)習(xí)技術(shù)由于其能夠通過自動提取特征從而顯著提高情感分類的性能受到廣泛關(guān)注。其中,基于圖卷積網(wǎng)絡(luò)(gcn)的方法作為一種利用句法結(jié)構(gòu)來整合句法信息的方法被廣泛應(yīng)用。盡管先前的大多數(shù)工作在方面級情感分類任務(wù)上不斷改進(jìn),但仍存在一些問題。一方面,大多數(shù)現(xiàn)有的工作通常側(cè)重于基于句子的依存樹來學(xué)習(xí)從上下文詞到方面詞的依存信息,缺乏融合外部情感知識以增強(qiáng)模型對情感常識的理解,導(dǎo)致對影響情感預(yù)測的觀點(diǎn)詞關(guān)注度較低,從而造成情感極性判斷錯誤。另一方面,在方面級情感分析任務(wù)中,許多評論的方面詞缺乏對應(yīng)的情感觀點(diǎn)詞,而現(xiàn)有工作未能考慮將沒有明顯情感表達(dá)的方面詞與其他方面有價值的情感特征相連接,導(dǎo)致情感極性判斷準(zhǔn)確率和魯棒性較差。
技術(shù)實現(xiàn)思路
1、發(fā)明目的:本發(fā)明旨在提供一種基于知識增強(qiáng)與交互式圖卷積網(wǎng)絡(luò)的方面級情感分析方法。本發(fā)明通過整合senticnet的情感知識來探索方面級情感分析任務(wù)新的解決方案,利用情境情感知識加權(quán)句法依存結(jié)構(gòu),以增強(qiáng)對情感特征的感知能力。此外,本發(fā)明還解決了不同方面間潛在關(guān)系被忽略的問題,通過對語句中方面間關(guān)系的挖掘,減少了情感分析過程中因觀點(diǎn)不明確而導(dǎo)致錯誤預(yù)測的現(xiàn)象。最后,本發(fā)明通過設(shè)計的交互式圖卷積網(wǎng)絡(luò)來學(xué)習(xí)特定于方面的情感知識增強(qiáng)圖以及方面間關(guān)系圖,提高了預(yù)測情感極性的準(zhǔn)確率和穩(wěn)定性。
2、技術(shù)方案:本發(fā)明所述的一種基于知識增強(qiáng)與交互式圖卷積網(wǎng)絡(luò)的方面級情感分析方法,包括以下步驟:
3、(1)文本嵌入與編碼:通過預(yù)訓(xùn)練的詞嵌入算法將輸入文本的每個單詞映射為低維向量,生成詞嵌入矩陣;將所述詞嵌入矩陣輸入雙向長短期記憶網(wǎng)絡(luò)(bilstm),獲取文本的隱藏狀態(tài)向量表示;
4、(2)情感知識增強(qiáng):基于句子的依存句法樹構(gòu)建鄰接矩陣,結(jié)合情感知識庫senticnet對單詞的情感評分生成情感得分矩陣;通過引入方面增強(qiáng)矩陣,加權(quán)所述情感得分矩陣和鄰接矩陣,生成情感知識增強(qiáng)圖;
5、(3)方面間關(guān)系增強(qiáng):分析輸入語句中不同方面項之間的潛在情感依賴關(guān)系,構(gòu)建方面間關(guān)系圖;
6、(4)交互式圖卷積與特征融合:利用圖卷積網(wǎng)絡(luò)gcn分別對所述情感知識增強(qiáng)圖和方面間關(guān)系圖進(jìn)行特征提取,得到情感特征表示和方面間關(guān)系特征表示;通過特征融合機(jī)制調(diào)整兩種特征的權(quán)重,生成最終上下文表示;
7、(5)情感分類:對最終上下文表示進(jìn)行掩碼處理,保留方面詞特征;將掩碼后的特征輸入分類器,通過softmax函數(shù)預(yù)測情感極性。。
8、進(jìn)一步的,步驟(1)具體如下:詞嵌入算法為glove,生成維度為的詞向量;bilstm通過雙向隱藏狀態(tài)拼接生成維度為2d的上下文向量。
9、進(jìn)一步的,步驟(2)中,鄰接矩陣構(gòu)建公式為:
10、;
11、其中,表示輸入語句 s中第 i個單詞,若單詞和之間存在依賴關(guān)系,則鄰接矩陣 d中對應(yīng)的元素為1,否則為0;
12、進(jìn)一步的,步驟(2)中,情感得分矩陣的計算公式為:;
13、其中,表示senticnet中單詞的情感得分,該得分位于-1到1之間,意味著是一個中性詞或在senticnet中不存在。
14、進(jìn)一步的,步驟(2)中,方面增強(qiáng)矩陣定義為:
15、;
16、?其中,表示輸入語句 s中第 i個單詞,若單詞和有一個為方面詞,則為其賦值1,否則賦值0。
17、情感知識增強(qiáng)圖的計算公式為:
18、其中代表鄰接矩陣,代表情感得分矩陣,代表方面增強(qiáng)矩陣。
19、進(jìn)一步的,步驟(3)中,方面間關(guān)系圖的構(gòu)建公式為:
20、;
21、其中,表示輸入語句 s中第 i個單詞,是特定方面的單詞集,是特定方面起始位置,表示其他方面的單詞集,表示絕對值函數(shù),方面間關(guān)系圖中?=?。
22、進(jìn)一步的,步驟(4)中,交互式圖卷積網(wǎng)絡(luò)采用多層gcn結(jié)構(gòu),第l層節(jié)點(diǎn)更新公式為:;
23、
24、
25、其中,是線性變換權(quán)重,是偏置項,是前一層gcn生成的隱藏表示,是一個分配位置權(quán)重的函數(shù),代表relu激活函數(shù),是一個歸一化的對稱鄰接矩陣,是依賴解析樹中的維度;
26、特征融合機(jī)制的計算公式為:;
27、其中,是用于調(diào)整方面特征權(quán)重的系數(shù), ha表示情感知識增強(qiáng)圖生成的特征和 hr表示方面間關(guān)系圖生成的特征。
28、進(jìn)一步的,步驟(5)中,?掩碼處理通過將非方面詞的隱藏狀態(tài)置零,保留方面詞的向量;分類器采用注意力機(jī)制計算權(quán)重。
29、本發(fā)明所述的一種電子設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序,所述計算機(jī)程序被加載至處理器時實現(xiàn)任一項所述的一種基于知識增強(qiáng)與交互式圖卷積網(wǎng)絡(luò)的方面級情感分析方法。
30、本發(fā)明所述的一種存儲介質(zhì),所述存儲介質(zhì)存儲有計算機(jī)程序,所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)任一項所述的一種基于知識增強(qiáng)與交互式圖卷積網(wǎng)絡(luò)的方面級情感分析方法。
31、有益效果:與現(xiàn)有技術(shù)相比,本發(fā)明具有如下顯著優(yōu)點(diǎn):本發(fā)明在處理absa任務(wù)時將基于句法依存結(jié)構(gòu)的外部情感知識以及語句不同方面間關(guān)系的內(nèi)部潛在知識這兩種不同類型的知識進(jìn)行融合,通過將外部情感信息納入圖網(wǎng)絡(luò)有效提高了情感分類的準(zhǔn)確率,同時通過發(fā)掘語句中不同方面之間的潛在情感依賴關(guān)系,解決了情感分析過程中因缺乏觀點(diǎn)而導(dǎo)致錯誤預(yù)測的現(xiàn)象;本發(fā)明提出了一種具有交互式圖形卷積網(wǎng)絡(luò)的新型圖形感知模型,交互式圖卷積網(wǎng)絡(luò)模型不僅可以在交互式學(xué)習(xí)特定方面的情感特征時意識到重要的上下文和方面詞,而且能夠避免因?qū)W習(xí)知識過多導(dǎo)致無法正確區(qū)分的情況,通過交互式的學(xué)習(xí)方式整合不同類型知識所提取到的情感特征,大大提升了處理方面級情感分析任務(wù)的效率;本發(fā)明引入特征融合機(jī)制來獲取上下文情感特征更豐富、更全面的表示,該機(jī)制旨在將不同層次的特征進(jìn)行融合,外部情感知識的特征通常包含更多的細(xì)節(jié)信息,而內(nèi)部潛在知識的特征則包含更多的抽象信息,通過融合這些特征捕捉到更豐富的信息,進(jìn)而提高了處理任務(wù)的性能;本發(fā)明方法不僅適用于方面級情感分析任務(wù),也可以通過優(yōu)化該方法從而擴(kuò)展到更為復(fù)雜的多模態(tài)情感分析任務(wù)中,為情感分析任務(wù)構(gòu)建了一套新穎且實用的實施手段。