本申請涉及數據處理，特別是一種防御對抗樣本攻擊的方法、系統(tǒng)及存儲介質。

背景技術：

1、對抗樣本攻擊是一種新興的針對深度學習模型的攻擊手段，通過對輸入數據進行微小但有目的性的修改，欺騙模型輸出錯誤結果。針對自然語言處理(natural?languageprocessing，nlp)預訓練模型的對抗攻擊可能會誤導搜索引擎輸出錯誤信息，進而影響輸出結果的可靠性。

2、為實現對對抗樣本攻擊的防御，一種可能的實現方式為計算高維空間中對抗樣本和正常樣本的局部內在維數，以判斷是否發(fā)生對抗樣本攻擊。但是這種實現方式對對抗樣本攻擊檢測的效果較差，導致對對抗樣本攻擊的防御效果較差。因此，如何增強對對抗樣本攻擊的防御效果，成為當前所需解決的技術問題。

技術實現思路

1、鑒于上述問題，本發(fā)明的目的在于提供一種防御對抗樣本攻擊的方法、系統(tǒng)及存儲介質，以增強對抗樣本攻擊的防御效果，具體方案如下：

2、第一方面，本申請實施例提供了一種防御對抗樣本攻擊的方法，所述方法包括：

3、獲取組合不確定性表達式；所述組合不確定性表達式為對神經網絡模型的認知不確定性和偶然不確定性進行組合的表達式；

4、基于所述組合不確定性表達式進行模型訓練，得到對抗樣本檢測模型；

5、在接收到待搜索文本時，將所述待搜索文本輸入至所述對抗樣本檢測模型，確定待搜索文本類型；所述待搜索文本類型包括：正常文本和非正常文本；

6、若所述待搜索文本類型為所述非正常文本，則拒絕搜索請求。

7、可選的，所述獲取組合不確定性表達式，包括：

8、獲取查詢語料集合；所述查詢語料結合包括多個查詢語料；

9、基于所述查詢語料集合，生成第一對抗樣本生成模型；

10、基于所述第一對抗樣本生成模型，確定所述組合不確定性表達式。

11、可選的，所述基于所述查詢語料集合，生成第一對抗樣本生成模型，包括：

12、對預訓練模型進行對抗樣本攻擊，生成第一對抗擾動；

13、在所述對抗擾動中加入隨機噪聲，得到第二對抗擾動；

14、將第二對抗擾動輸入至第二對抗樣本生成模型，生成第一對抗樣本；

15、將所述第一對抗樣本輸入至對抗樣本判斷模型，得到判斷結果；

16、基于所述判斷結果確定第一對抗樣本集合；

17、基于所述第一對抗樣本集合對所述第二對抗樣本生成模型進行訓練，得到所述第一對抗樣本生成模型。

18、可選的，所述基于所述第一對抗樣本生成模型，確定所述組合不確定性表達式，包括：

19、基于所述第一對抗樣本生成模型，生成第二對抗樣本集合；

20、基于所述第一對抗樣本生成模型和所述第二對抗樣本集合，確定認知不確定性和偶然不確定性；所述認知不確定性為所述第一對抗樣本生成模型的參數與對抗樣本的關系；所述偶然不確定性為所述第一對抗樣本生成模型輸出對抗樣本的不確定程度；

21、對所述認知不確定性和所述偶然不確定性進行線性組合，構造所述組合不確定性表達式。

22、可選的，所述基于所述組合不確定性表達式進行模型訓練，得到對抗樣本檢測模型，包括：

23、創(chuàng)建第一神經網絡模型集合；所述對抗樣本檢測模型集合包括多個不同結構的神經網絡模型；

24、基于所述組合不確定性表達式，對所述神經網絡模型集合中的神經網絡模型進行訓練，得到第二神經網絡模型集合；

25、將測試對抗樣本輸入至第二神經網絡模型集合中的各個神經網絡模型，確定各個神經網絡模型的分類準確度；

26、基于各個神經網絡模型的分類準確度，確定所述對抗樣本檢測模型。

27、可選的，所述方法還包括：

28、若所述待搜索文本類型為正常文本類型，則基于所述待搜索文本反饋搜索結果。

29、第二方面，本申請實施例提供了一種防御對抗樣本攻擊的系統(tǒng)，所述系統(tǒng)包括：

30、獲取模塊，用于獲取組合不確定性表達式；所述組合不確定性表達式為對神經網絡模型的認知不確定性和偶然不確定性進行組合的表達式；

31、訓練模塊，用于基于所述組合不確定性表達式進行模型訓練，得到對抗樣本檢測模型；

32、確定模塊，用于在接收到待搜索文本時，將所述待搜索文本輸入至所述對抗樣本檢測模型，確定待搜索文本類型；所述待搜索文本類型包括：正常文本和非正常文本；

33、搜索模塊，用于若所述待搜索文本類型為所述非正常文本，則拒絕搜索請求。

34、可選的，所述獲取模塊具體用于：

35、獲取查詢語料集合；所述查詢語料結合包括多個查詢語料；

36、基于所述查詢語料集合，生成第一對抗樣本生成模型；

37、基于所述第一對抗樣本生成模型，確定所述組合不確定性表達式。

38、可選的，所述獲取模塊具體用于：

39、對預訓練模型進行對抗樣本攻擊，生成第一對抗擾動；

40、在所述對抗擾動中加入隨機噪聲，得到第二對抗擾動；

41、將第二對抗擾動輸入至第二對抗樣本生成模型，生成第一對抗樣本；

42、將所述第一對抗樣本輸入至對抗樣本判斷模型，得到判斷結果；

43、基于所述判斷結果確定第一對抗樣本集合；

44、基于所述第一對抗樣本集合對所述第二對抗樣本生成模型進行訓練，得到所述第一對抗樣本生成模型。

45、第三方面，本申請實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現上述任意一種防御對抗樣本攻擊的方法。

46、相對于現有技術，本申請具有以下有益效果：

47、通過獲取組合不確定性表達式，基于組合不確定性表達式進行模型訓練，得到對抗樣本檢測模型。在接收到待搜索文本時，將待搜索文本輸入至對抗樣本檢測模型，確定待搜索文本類型。若待搜索文本類型為非正常文本，則拒絕搜索請求。以拒絕對對抗樣本攻擊輸入的待搜索文本進行搜索，實現對對抗樣本攻擊的防御。并且，由于組合不確定性表達式為對神經網絡模型的認知不確定性和偶然不確定性進行組合的表達式，從而結合認知不確定性和偶然不確定性挖掘對抗樣本的特征，使得確定出的待搜索文本類型更加準確，以準確識別待搜索文本是否為對抗樣本攻擊輸入的待搜索文本，增強對對抗樣本攻擊的防御效果。

技術特征：

1.一種防御對抗樣本攻擊的方法，其特征在于，所述方法包括：

2.根據權利要求1所述的方法，其特征在于，所述獲取組合不確定性表達式，包括：

3.根據權利要求2所述的方法，其特征在于，所述基于所述查詢語料集合，生成第一對抗樣本生成模型，包括：

4.根據權利要求2所述的方法，其特征在于，所述基于所述第一對抗樣本生成模型，確定所述組合不確定性表達式，包括：

5.根據權利要求1所述的方法，其特征在于，所述基于所述組合不確定性表達式進行模型訓練，得到對抗樣本檢測模型，包括：

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

7.一種防御對抗樣本攻擊的系統(tǒng)，其特征在于，所述系統(tǒng)包括：

8.根據權利要求7所述的系統(tǒng)，其特征在于，所述獲取模塊具體用于：

9.根據權利要求8所述的系統(tǒng)，其特征在于，所述獲取模塊具體用于：

10.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，其中，所述計算機程序被處理器執(zhí)行時實現如權利要求1至6中任意一種防御對抗樣本攻擊的方法。

技術總結
本申請實施例提供了一種防御對抗樣本攻擊的方法、系統(tǒng)及存儲介質，用于增強對抗樣本攻擊的防御效果，所述方法包括：獲取組合不確定性表達式；所述組合不確定性表達式為對神經網絡模型的認知不確定性和偶然不確定性進行組合的表達式；基于所述組合不確定性表達式進行模型訓練，得到對抗樣本檢測模型；在接收到待搜索文本時，將所述待搜索文本輸入至所述對抗樣本檢測模型，確定待搜索文本類型；所述待搜索文本類型包括：正常文本和非正常文本；若所述待搜索文本類型為所述非正常文本，則拒絕搜索請求。

技術研發(fā)人員：邵鴻飛,杜波,蔡玉柱,呂浩,倪宇志,王心怡
受保護的技術使用者：中國農業(yè)銀行股份有限公司
技術研發(fā)日：
技術公布日：2025/3/20