本技術涉及自然語言處理的信息抽取,特別是涉及一種高效利用有限標注數據的事件檢測方法及系統。
背景技術:
1、信息技術和人工智能技術的高速發展導致全球數據資源池和在線數據量呈指數增長形式,為人們從海量數據中實時準確獲取目標信息帶來極大挑戰。事件作為信息的一種基本載體,用以描述特定的人、事、物在特定時間、特定地點以某種形式發生的相互作用,通常表現為動作的發生、事物的改變或狀態的變化,以其動態表示、信息量大等特點,在信息傳遞和表達中起關鍵作用。事件檢測任務作為自然語言處理、信息抽取、知識圖譜等領域的基礎任務,要求事件檢測模型能夠自動從非結構化文本序列中識別出觸發預定義事件集合中任意事件發生的詞或者短語,并進一步將其分類到指定事件類型,最后以結構化形式呈現事件相關的具體信息。
2、目前現有事件檢測技術采用的技術范式,可將其分為基于深度神經網絡的事件檢測范式和基于預訓練語言模型的事件檢測范式兩大類,而基于深度神經網絡的事件檢測范式存在標注數據獲取的代價高和標注數據量不能滿足有監督模型的訓練需求的挑戰,而基于預訓練語言模型的事件檢測范式雖然緩解了下游任務對大規模標注數據的需求,并利用了任務直接相關的粗粒度知識,但沒有充分利用標注數據中提供的大量細粒度、精準的任務相關知識。
3、鑒于此,提供一種能提高事件檢測模型性能的同時,充分利用有限標注數據提供的標注知識的高效利用有限標注數據的事件檢測方法及系統是本領域技術人員亟待解決的技術問題。
技術實現思路
1、為解決上述技術問題,本發明的目的為提供一種高效利用有限標注數據的事件檢測方法及系統,利用任務中與事件相關的信息進行事件的識別和分類,從而在提高事件檢測模型性能的同時,充分利用有限標注數據的標注知識。
2、本發明的第一個目的為提供一種高效利用有限標注數據的事件檢測方法;
3、本發明提供的技術方案如下:
4、一種高效利用有限標注數據的事件檢測方法,包括如下步驟:
5、在訓練語料庫的標注數據中抽取事件知識,并根據所述事件知識對預訓練語言模型進行訓練,以學習事件知識;
6、獲取事件數據集合,并將所述事件數據集合輸入訓練后的語言模型,以生成事件類型表示;
7、將所述事件類型表示和所述事件知識聯合增強觸發詞語義,以獲取觸發詞的目標事件表示;
8、根據所述目標事件表示獲取條件概率分布,并根據所述條件概率分布對事件進行檢測,以識別出事件類型。
9、優選地,所述在訓練語料庫的標注數據中抽取事件知識,并根據所述事件知識對預訓練語言模型進行訓練,以學習事件知識,具體包括:
10、根據訓練語料庫中的標注信息,抽取事件類型相關數據;
11、通過訓練后的語言模型對所述事件類型相關數據進行編碼,以獲取句子全局事件向量和單事件向量;
12、根據所述句子全局事件向量和所述單事件向量獲取句子事件表示,利用分類器識別所述事件類型。
13、優選地,所述根據所述句子全局事件向量和所述單事件向量獲取句子事件表示,以識別所述事件類型之前,還包括:
14、構建事件知識學習損失函數,逐句利用訓練語料庫中標注數據對預訓練語言模型進行訓練,并對所述事件知識學習損失函數進行優化。
15、優選地,所述獲取事件數據集合,并將所述事件數據集合輸入訓練后的預訓練語言模型,以生成事件類型表示,具體包括:
16、根據預設規則從訓練語料庫中抽取一組標注數據作為事件數據集合;
17、將所述事件數據集合輸入訓練后的預訓練語言模型,以生成事件類型表示。
18、優選地,所述將所述事件類型表示和所述事件知識聯合增強觸發詞語義,以獲取觸發詞的目標表示,具體包括:
19、根據訓練后的語言模型對文本序列中的每個詞元進行編碼,以獲取觸發詞自身語義和文本序列的事件語義;
20、根據詞元和所述事件類型表示獲取詞元與每個事件類型表示相似性得分;
21、根據所述相似性得分獲取事件類型語義增強的觸發詞表示;
22、將所述觸發詞自身語義、所述文本序列的事件語義和所述事件類型語義增強的觸發詞表示進行融合,以獲取觸發詞的目標表示。
23、優選地,所述根據所述目標表示獲取條件概率分布,并根據所述條件概率分布對事件進行檢測,以識別出事件類型,具體包括:
24、根據所述觸發詞的目標表示計算所述其在任務事件類型集合中的條件概率分布;
25、根據所述條件概率分布結合最大概率原則識別出觸發詞觸發的事件類型。
26、優選地,所述根據所述條件概率分布結合最大概率原則識別出觸發詞觸發的事件類型之前,還包括:
27、構建事件觸發詞特征學習損失函數,逐詞元利用訓練語料庫中標注事件觸發詞數據對模型進行訓練,并對所述事件觸發詞特征學習損失函數進行優化。
28、本發明的第二個目的為提供一種高效利用有限標注數據的事件檢測系統;
29、本發明提供的技術方案如下:
30、一種高效利用有限標注數據的事件檢測系統,包括:學習模塊、獲取模塊、增強模塊和檢測模塊;
31、所述學習模塊,用于在訓練語料庫的標注數據中抽取事件知識,并根據所述事件知識對預訓練語言模型進行訓練,以學習事件知識;
32、所述獲取模塊,用于獲取事件數據集合,并將所述事件數據集合輸入訓練后的語言模型,以生成事件類型表示;
33、所述增強模塊,用于將所述事件類型表示和所述事件知識聯合增強觸發詞語義,以獲取觸發詞的目標表示;
34、所述檢測模塊,用于根據所述目標表示獲取條件概率分布,并根據所述條件概率分布對事件進行檢測,以識別出事件類型。
35、本發明的第三個目的為提供一種電子設備;
36、本發明提供的技術方案如下:
37、一種電子設備,包括:
38、至少一個處理器;以及
39、與所述至少一個處理器通信連接的存儲器,所述存儲器存儲有可被所述至少一個處理器執行的計算機程序,所述計算機程序被所述至少一個處理器執行,以使所述至少一個處理器能夠執行一種高效利用有限標注數據的事件檢測方法任意一項所述的方法步驟。
40、本發明的第四個目的為提供一種計算機可讀存儲介質;
41、本發明提供的技術方案如下:
42、一種計算機可讀存儲介質,所述存儲介質用于存儲計算機程序,所述計算機程序用于使計算機執行一種高效利用有限標注數據的事件檢測方法任意一項所述的方法步驟。
43、本發明提供的一種高效利用有限標注數據的事件檢測方法,包括:在訓練語料庫的標注數據中抽取事件知識,并根據所述事件知識對預訓練語言模型進行訓練,以學習事件知識;獲取事件數據集合,并將所述事件數據集合輸入訓練后的預訓練語言模型,以生成事件類型表示;將所述事件類型表示和所述事件知識聯合增強觸發詞語義,以獲取觸發詞的目標表示;根據所述目標表示獲取條件概率分布,并根據所述條件概率分布對事件進行檢測,以識別出事件類型;通過本方法利用任務中與事件相關的信息進行事件的識別和分類,從而在提高事件檢測模型性能的同時,充分利用有限標注數據的標注知識。
44、本發明還提供了一種高效利用有限標注數據的事件檢測系統,由于該系統與該高效利用有限標注數據的事件檢測方法解決相同的技術問題,屬于相同的技術構思,理應具有相同的有益效果,在此不再贅述。