本技術涉及計算機，具體涉及一種自適應內容識別方法以及相關設備。

背景技術：

1、隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，用戶生成內容呈爆炸式增長，導致大量不適宜的內容泛濫。所以內容安全審核對于構建健康積極的網(wǎng)絡環(huán)境至關重要，需要對文本、圖像、音視頻內容進行有效的安全審核，識別并過濾色情信息等有害信息。

2、目前主流的內容安全審核技術主要基于規(guī)則和機器學習方法(判別式小模型)。規(guī)則方法依賴手工制定過濾規(guī)則，更新維護困難；機器學習方法需要大量標注數(shù)據(jù)訓練，很難做到零樣本學習。近年來預訓練語言模型技術取得重大進展，但直接應用到內容安全審核任務效果仍不令人滿意，模型對開放世界中的樣本魯棒性較差，且針對不同類型有害內容需要訓練多個模型，無法快速自然地響應人類指令需求。

3、但是內容安全審核需求日益增長，相關應用場景繁多，所以如何訓練一個既高效又準確的內容安全審核模型，使其能夠對開放世界中的多語言樣本保持魯棒，并快速適應不同類型有害內容審核任務的需求，是當前亟待解決的技術難題。

4、申請內容

5、本技術實施例提供一種自適應內容識別方法以及相關設備，相關設備可以包括自適應內容識別裝置、電子設備、計算機可讀存儲介質和計算機程序產(chǎn)品，可以提高自適應內容識別處理性能。

6、本技術實施例提供一種自適應內容識別方法，包括：

7、采集預定數(shù)量的樣本，得到內容安全樣本集；

8、獲取不同量級的預訓練的語言模型，分別作為學生模型和教師模型；

9、采用所述學生模型識別所述內容安全樣本集中的目標樣本，以及所述目標樣本的類別；

10、基于所述教師模型識別出與所述學生模型識別結果不一致的樣本，作為硬樣本，并根據(jù)所述硬樣本的類別，生成對應類別的教師訓練樣本；

11、基于不同類別的所述教師訓練樣本，對所述學生模型進行迭代訓練，得到訓練好的目標內容安全審核模型；

12、采用所述目標內容安全審核模型對待審核的內容進行識別，識別出目標內容以及所述目標內容的類別。

13、相應的，本技術實施例提供一種自適應內容識別裝置，包括：

14、采集單元，用于采集預定數(shù)量的樣本，得到內容安全樣本集；

15、獲取單元，用于獲取不同量級的預訓練的語言模型，分別作為學生模型和教師模型；

16、第一識別單元，用于采用所述學生模型識別所述內容安全樣本集中的目標樣本，以及所述目標樣本的類別；

17、識別生成單元，基于所述教師模型識別出與所述學生模型識別結果不一致的樣本，作為硬樣本，并根據(jù)所述硬樣本的類別，生成對應類別的教師訓練樣本；

18、訓練單元，用于基于不同類別的所述教師訓練樣本，對所述學生模型進行迭代訓練，得到訓練好的目標內容安全審核模型；

19、第二識別單元，用于采用所述目標內容安全審核模型對待審核的內容進行識別，識別出目標內容以及所述目標內容的類別。

20、可選的，在本技術的一些實施例中，所述獲取單元可以包括第一獲取子單元、選取標注子單元、調整子單元，如下：

21、所述第一獲取子單元，用于獲取輕量級的語言模型作為初始模型；

22、選取標注子單元，用于從所述內容安全樣本集中選取預定數(shù)量的訓練數(shù)據(jù)，并標注所述訓練數(shù)據(jù)對應的真實標簽，得到訓練樣本集；

23、調整子單元，用于基于所述訓練樣本集，確定使似然函數(shù)最大化的所述初始模型的參數(shù)取值，根據(jù)所述參數(shù)取值對所述語言模型進行調整，得到所述學生模型。

24、可選的，在本技術的一些實施例中，所述識別生成單元可以包括判斷子單元、預測子單元、第一生成子單元，如下：

25、所述判斷子單元，用于采用所述教師模型對所述內容安全樣本集中的樣本進行判斷，產(chǎn)生對應的軟標簽，所述軟標簽用于表示所述教師模型將所述樣本判定為目標內容的概率；

26、預測子單元，用于采用所述學生模型對所述樣本進行預測，得到初始預測概率，當所述初始預測概率與所述軟標簽之間的差值大于預設判斷閾值時，將所述軟標簽對應的樣本識別為硬樣本。

27、第一生成子單元，用于采用所述教師模型識別出所述硬樣本的類別，根據(jù)所述硬樣本的語義特征，生成與所述硬樣本類別相同而內容不同的樣本，作為教師訓練樣本。

28、可選的，在本技術的一些實施例中，所述訓練單元可以包括第二生成子單元、第三生成子單元和訓練子單元，如下：

29、所述第二生成子單元，用于基于所述教師模型生成目標內容樣本以及非目標內容樣本，作為輔樣本；

30、第三生成子單元，用于采用所述教師模型生成所述輔樣本對應的軟標簽，以及所述教師訓練樣本對應的軟標簽，所述軟標簽用于表示所述教師模型判定樣本為目標內容的概率；

31、訓練子單元，用于將所述教師訓練樣本和所述輔樣本作為教師訓練樣本集，并基于所述教師訓練樣本集，對所述學生模型進行迭代訓練，得到訓練好的目標內容安全審核模型。

32、可選的，在本技術的一些實施例中，所述訓練子單元可以包括第一選取子單元、第二選取子單元、第一訓練子單元和第二訓練子單元，如下：

33、所述第一選取子單元，用于選取不同類別的教師訓練樣本和輔樣本進行混合，得到所述教師訓練樣本集；

34、第一訓練子單元，用于基于所述教師訓練樣本集，對所述學生模型進行迭代訓練，得到訓練好的目標內容安全審核模型，然后重復執(zhí)行所述根據(jù)所述硬樣本的類別，生成對應類別的教師訓練樣本，基于所述教師模型生成目標內容樣本以及非目標內容樣本，作為輔樣本，然后，采用所述教師模型生成所述輔樣本對應的軟標簽，以及所述教師訓練樣本對應的軟標簽，將所述教師訓練樣本和所述輔樣本作為教師訓練樣本集，并采用所述學生模型對所述教師訓練樣本集中的樣本進行識別，得到識別結果的步驟，直至所述軟標簽與所述識別結果之間的差異小于預設識別閾值；

35、第二選取子單元，用于選取同一種類別的教師訓練樣本和輔樣本作為一種類別教師訓練樣本集；

36、第二訓練子單元，用于基于不同種類別的所述教師訓練樣本集對所述學生模型進行交替訓練，得到訓練好的目標內容安全審核模型，然后重復執(zhí)行所述根據(jù)所述硬樣本的類別，生成對應類別的教師訓練樣本，基于所述教師模型生成目標內容樣本以及非目標內容樣本，作為輔樣本，然后，采用所述教師模型生成所述輔樣本對應的軟標簽，以及所述教師訓練樣本對應的軟標簽，將所述教師訓練樣本和所述輔樣本作為教師訓練樣本集，并采用所述學生模型對所述教師訓練樣本集中的樣本進行識別，得到識別結果的步驟，直至所述軟標簽與所述識別結果之間的差異小于預設識別閾值。

37、可選的，在本技術的一些實施例中，所述第一訓練子單元具體可以用于采用所述學生模型和所述教師模型對所述教師訓練樣本進行識別，若識別得到的類別不一致，統(tǒng)計類別不一致的數(shù)量，確定所述不同類別對應的識別錯誤比例；

38、當所述識別錯誤比例超過第一預設類別閾值時，將所述類別確定為弱類別，采用所述教師模型生成針對所述弱類別的弱類別樣本；

39、根據(jù)所述識別錯誤比例，確定所述教師訓練樣本集中所述弱類別樣本的弱類別比例，并基于所述弱類別比例更新所述教師訓練樣本集。

40、可選的，在本技術的一些實施例中，所述第二訓練子單元具體可以用于采用所述學生模型對所述教師訓練樣本進行識別，并統(tǒng)計所述學生模型識別得到的類別與所述教師模型識別得到的類別不一致的數(shù)量，確定所述當前類別對應的識別錯誤比例；

41、當所述識別錯誤比例超過第二預設類別閾值時，將所述類別確定為弱類別，采用所述教師模型生成針對所述弱類別的弱類別樣本；

42、根據(jù)所述識別錯誤比例，確定所述弱類別的訓練次數(shù)，基于所述訓練次數(shù)，將所述弱類別樣本組合得到多組弱類別樣本集；

43、基于所述多組弱類別樣本集對所述學生模型進行交替訓練，得到訓練好的目標內容安全審核模型。

44、本技術實施例提供的一種電子設備，包括處理器和存儲器，所述存儲器存儲有多條指令，所述處理器加載所述指令，以執(zhí)行本技術實施例提供的自適應內容識別方法中的步驟。

45、本技術實施例還提供一種計算機可讀存儲介質，其上存儲有計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現(xiàn)本技術實施例提供的自適應內容識別方法中的步驟。

46、此外，本技術實施例還提供一種計算機程序產(chǎn)品，包括計算機程序或指令，該計算機程序或指令被處理器執(zhí)行時實現(xiàn)本技術實施例提供的自適應內容識別方法中的步驟。

47、本技術實施例提供了一種自適應內容識別方法以及相關設備，可以采集預定數(shù)量的樣本，得到內容安全樣本集；獲取不同量級的預訓練的語言模型，分別作為學生模型和教師模型；采用所述學生模型識別所述內容安全樣本集中的目標樣本，以及所述目標樣本的類別；基于所述教師模型識別出與所述學生模型識別結果不一致的樣本，作為硬樣本，并根據(jù)所述硬樣本的類別，生成對應類別的教師訓練樣本；基于不同類別的所述教師訓練樣本，對所述學生模型進行迭代訓練，得到訓練好的目標內容安全審核模型；采用所述目標內容安全審核模型對待審核的內容進行識別，識別出目標內容以及所述目標內容的類別。本技術通過選取功能強大的教師模型來訓練出學生模型，通過使用不同類別的樣本進行訓練，使其可以在統(tǒng)一的指令響應接口下獲得快速高效處理多個內容安全類別的能力。

技術實現(xiàn)思路