本技術涉及人工智能，特別是涉及一種模型訓練方法、裝置、設備及存儲介質。

背景技術：

1、隨著對新型材料的不斷研究和發展，針對材料領域的參考文獻也越來越多，如何從海量的參考文獻中快速提取有用的信息，是提高研發人員工作效率的關鍵之一。

2、目前，現有針對普通文本信息訓練得到的自然語言識別模型，并不適合用于對材料領域文獻中的文本信息進行實體類型識別，這樣容易導致訓練得到的模型無法有效識別材料領域文獻中文本信息的實體類型，從而無法提取到有用的信息。

技術實現思路

1、本技術提供一種模型訓練方法、裝置、設備及存儲介質，其能使訓練得到的模型可以有效識別材料領域文獻中文本信息的實體類型，進而有助于從文本信息中提取到有用的信息。

2、第一方面，本技術提供了一種模型訓練方法，該方法包括：獲取材料領域文獻的文本信息及其對應的實體類型標簽序列，所述實體類型標簽序列中包括與所述文本信息中的多個單詞分別對應的實體類型標簽；利用語言表征模型對所述文本信息進行分詞和詞嵌入處理，得到與多個單詞分別對應的詞向量，所述語言表征模型包括針對材料領域的預訓練模型；基于所述詞向量對所述多個單詞分別進行實體類型識別，得到與所述多個單詞分別對應的實體類型識別結果；根據所述實體類型識別結果和所述實體類型標簽序列，對實體識別模型進行訓練，得到訓練后的針對材料領域文本信息的實體識別模型，所述實體識別模型中包括所述語言表征模型。

3、這樣，通過使用材料領域文獻中的文本信息作為訓練樣本，并利用針對材料領域的預訓練的語言表征模型，對該文本信息進行分詞和詞嵌入處理，得到與多個單詞分別對應的詞向量，進而根據該詞向量識別到的實體類型識別結果和文本信息真實的實體類型標簽序列，對實體識別模型進行訓練，得到針對材料領域文本信息的實體識別模型。這樣，由于模型訓練時使用的是材料領域文獻中的文本信息，且進行詞嵌入時使用的是針對材料領域的預訓練的語言表征模型，因此，訓練得到的實體識別模型對材料領域文獻更有針對性，從而使得訓練得到的實體識別模型可以有效識別材料領域文獻中文本信息的實體類型，進而有助于從文本信息中提取到有用的信息。

4、在一些實施例中，所述獲取材料領域文獻的文本信息及其對應的實體類型標簽序列，包括：獲取材料領域文獻的文本信息，并從所述文本信息中提取多個單詞的詞特征信息；對所述多個詞特征信息進行聚類處理，確定多個實體類型及其對應的至少一個詞特征信息；根據所述多個詞特征信息中每個詞特征信息對應的實體類型，為所述多個單詞分別添加實體類型標簽，得到與所述文本信息對應的實體類型標簽序列。

5、這樣，通過采用聚類方式確定文本信息中包括的單詞的實體類型，進而為各個單詞添加相應的實體類型標簽，可以實現實體類型的自動識別和標簽的自動添加，從而可以解決因人工識別和人工添加標簽而導致的不準確和效率低的問題，有效提升實體類型識別和標簽添加過程的準確性和處理效率。

6、在一些實施例中，所述對所述多個詞特征信息進行聚類處理，確定多個實體類型及其對應的至少一個詞特征信息，包括：對所述多個詞特征信息進行聚類處理，得到多種聚類結果，其中，不同的聚類結果中包含的聚類的數量不同；確定所述多種聚類結果分別對應的輪廓系數；根據所述輪廓系數最高的聚類結果確定多個實體類型，以及與每個實體類型對應的至少一個詞特征信息。

7、這樣，通過對多種聚類結果進行評估，根據輪廓系數最高的聚類結果確定的多個實體類型以及每個實體類型對應的至少一個詞特征信息作為最終的結果，可以使最終確定的實體類型更加準確，從而進一步提升實體類型識別和標簽添加過程的準確性。

8、在一些實施例中，所述實體識別模型中還包括語義識別模型；所述基于所述詞向量對所述多個單詞分別進行實體類型識別，得到與所述多個單詞分別對應的實體類型識別結果，包括：將所述詞向量輸入至所述語義識別模型，其中，所述語義識別模型包括基于雙向長短期記憶網絡構建的模型；利用所述語義識別模型對所述文本信息進行語義識別，輸出與所述多個單詞分別對應的語義識別結果；基于所述語義識別結果確定與所述多個單詞分別對應的實體類型識別結果。

9、這樣，通過使用基于雙向長短期記憶網絡構建的語義識別模型，對文本信息進行語義識別，可以提高語義識別結果的準確率。

10、在一些實施例中，所述實體識別模型中還包括實體類型預測模型；所述基于所述語義識別結果確定與所述多個單詞分別對應的實體類型識別結果，包括：將所述語義識別結果輸入至所述實體類型預測模型，其中，所述實體類型預測模型包括基于條件隨機場構建的模型；利用所述實體類型預測模型對所述語義識別結果中的實體類型進行預測，輸出與所述多個單詞分別對應的實體類型識別結果。

11、這樣，通過使用基于條件隨機場構建的實體類型預測模型，對語義識別結果中的實體類型進行預測，可以減少實體類型識別結果中出現不合理的識別結果的概率。

12、在一些實施例中，所述根據所述實體類型識別結果和所述實體類型標簽序列，對實體識別模型進行訓練，得到訓練后的針對材料領域文本信息的實體識別模型，包括：根據所述實體類型標簽序列確定標準語義識別結果；根據所述語義識別結果和所述標準語義識別結果，確定第一損失值；基于所述第一損失值對所述語言表征模型的參數進行調整，得到經訓練的語言表征模型；根據所述實體類型識別結果和所述實體類型標簽序列，確定第二損失值；基于所述第二損失值對所述實體類型預測模型的參數進行調整，得到經訓練的實體類型預測模型。

13、這樣，通過對語言表征模型和實體類型預測模型分別進行參數調整，可以實現不同模型的個性化訓練，從而提升模型訓練效果。

14、在一些實施例中，所述基于所述第一損失值對所述語言表征模型的參數進行調整，得到經訓練的語言表征模型，包括：基于所述第一損失值，按照第一學習率對所述語言表征模型的參數進行調整，得到經訓練的語言表征模型；所述基于所述第二損失值對所述實體類型預測模型的參數進行調整，得到經訓練的實體類型預測模型，包括：基于所述第二損失值，按照第二學習率對所述實體類型預測模型的參數進行調整，得到經訓練的實體類型預測模型；其中，所述第一學習率小于所述第二學習率。

15、這樣，通過針對不同的模型設置不同的學習率，即用較小的第一學習率對基于預訓練模型構建的語言表征模型進行參數調整，用較大的第二學習率對實體類型預測模型進行參數調整，從而可以在語言表征模型收斂的同時，使實體類型預測模型也能得到充分訓練。

16、在一些實施例中，在基于所述第二損失值對所述實體類型預測模型的參數進行調整，得到經訓練的實體類型預測模型之后，所述方法還包括：在所述多個單詞分別對應的詞向量中添加目標擾動值，得到經擾動的詞向量；基于所述經擾動的詞向量重新對所述多個單詞分別進行實體類型識別，得到經擾動的實體類型識別結果；根據所述經擾動的實體類型識別結果和所述實體類型標簽序列，確定第三損失值；基于所述第三損失值計算第二反向傳播梯度；根據所述第二反向傳播梯度對所述實體類型預測模型的參數進行更新。

17、這樣，通過采用對抗訓練方式，向語言表征模型的參數中添加目標擾動值，改變實體類型預測模型輸出的實體類型識別結果的損失值，進而基于改變后的損失值對實體類型預測模型的參數進行更新，可以提高實體類型預測模型的魯棒性和泛化能力。

18、在一些實施例中，在所述多個單詞分別對應的詞向量中添加目標擾動值，得到經擾動的詞向量之前，所述方法還包括：基于所述第二損失值計算第一反向傳播梯度；根據所述第一反向傳播梯度確定所述目標擾動值。

19、這樣，通過利用第二損失值計算的第一反向傳播梯度動態地確定目標擾動值，從而可以提高對抗訓練效果。

20、在一些實施例中，所述根據所述第一反向傳播梯度確定所述目標擾動值，包括：根據所述第一反向傳播梯度計算歐幾里得范數；將所述第一反向傳播梯度與所述歐幾里得范數的比值，確定為所述目標擾動值。

21、這樣，通過計算歐幾里得范數，利用歐幾里得范數來確定目標擾動值，可以進一步提高對抗訓練效果。

22、在一些實施例中，所述實體類型包括材料類型、應用類型、研究方法類型、研究數值類型、材料樣品描述類型、實驗條件類型、材料屬性類型、實驗結果類型中的至少一項。

23、在一些實施例中，在根據所述實體類型識別結果和所述實體類型標簽序列，對實體識別模型進行訓練，得到訓練后的針對材料領域文本信息的實體識別模型之后，所述方法還包括：獲取待識別的目標材料領域文獻的文本信息，得到目標文本信息；將所述目標文本信息輸入至所述實體識別模型中；利用所述實體識別模型對所述目標文本信息進行實體類型識別，輸出得到與所述目標文本信息對應的目標實體類型標簽序列。

24、這樣，通過使用本技術實施例提供的模型訓練方法訓練得到的實體識別模型對材料領域文獻的文本信息進行實體類型識別，可以輸出得到較準確的實體類型標簽序列，從而有效識別材料領域文獻中文本信息的實體類型，進而有助于從文本信息中提取到有用的信息。