本發明涉及計算機視覺目標檢測，尤其涉及基于噪音擦除和logit損失優化的對抗樣本生成方法和系統。

背景技術：

1、近年來，得益于大規模高質量數據集的出現以及計算機硬件升級帶來的算力提升，深度學習理論和技術取得了令人矚目的發展成果。這種進展推動了眾多視覺任務的發展和實際應用，其中目標檢測是其中應用廣泛的一項技術。目標檢測是許多計算機視覺任務的基礎，例如實例分割(intance?segmentation)、圖像描述(image?captioning)、目標跟蹤(object?tracking)等。但它們也繼承了深度神經網絡的缺點：很容易受到對抗樣本的攻擊，通過加入微小擾動構造的對抗樣本很容易使模型預測出錯，模型的魯棒性存在嚴重不足。隨著深度學習技術的廣泛應用與迅速普及，對抗樣本的范疇已經從圖像分類擴展至包括目標檢測、視覺跟蹤以及自然語言處理在內的多個領域。這一擴展帶來了新的挑戰，對現有基于深度學習的目標檢測技術的可靠性和安全性提出了更為嚴格的要求，所以構建有效的對抗樣本對模型進行訓練，可以很好的提高模型的預測準確率和魯棒性。

2、目標檢測對抗攻擊的研究是建立在圖像分類對抗攻擊的基礎上的。無論是目標檢測還是圖像分類，對抗樣本生成的方法可以使用類似的技術。其中，基于梯度的方法是通用的對抗攻擊方法，它們是用圖像分類任務作為驗證的，但由于它們未能充分適應目標檢測的特點，所以攻擊效果比較差。在目標檢測中，通常會利用目標模型的一個或多個損失生成對抗樣本，例如類別損失，置信度損失和位置損失等。與圖像分類任務類似，基于梯度的攻擊方法會利用梯度信息向原始圖像添加特定的擾動，使得輸入的微小擾動會在被攻擊檢測器的整個向前傳播過程中被放大，從而足以改變模型的預測結果。

3、通常情況下，對抗攻擊可根據攻擊是否需要指定特定的目標類別分為兩種類型：非目標攻擊和有目標攻擊。在非目標攻擊中，攻擊者無需明確指定一個特定的類別，而是旨在引導模型產生錯誤的識別結果；相比之下，有目標攻擊不僅意在使模型識別錯誤，還需要將模型的輸出誤導至特定的類別，這個類別通常不是樣本的正確標簽。相比較而言，有目標攻擊是一項更具挑戰性的任務，因為攻擊者能夠隨意控制模型的輸出，從而帶來潛在的更大危害。然而，與此相對應，有目標攻擊的生成難度也更大，需要更精確的調整。在目標檢測任務中，這兩種攻擊類型的差異如圖1所示，這種區分對于理解不同攻擊類型的挑戰和潛在危害性非常重要。在實際應用中的模型普遍是黑盒模型，現有的針對目標檢測模型的黑盒攻擊相關研究不足；進一步地，以前的工作大多關注非目標對抗攻擊的遷移性，而提高有目標對抗樣本的遷移性則更具挑戰性。

技術實現思路

1、為了至少能夠部分地解決現有的針對目標檢測模型的黑盒攻擊相關研究不足以及對有目標對抗攻擊的遷移性關注不足的問題，本發明提供基于噪音擦除和logit損失優化的對抗樣本生成方法和系統，通過構建目標檢測模型得到擦除梯度值，并通過擦除梯度值和動量結合來生成對抗樣本，有效防止對抗樣本過擬合，提高了黑盒攻擊的成功率以及在不同的目標檢測器上都取得了良好的攻擊效果，具有較好的遷移性。

2、為了實現上述目的，本發明的技術方案是：

3、本發明第一方面提出了基于噪音擦除和logit損失優化的對抗樣本生成方法，包括：

4、步驟一：對給定數據集中的一個原始圖片進行數據增強，便于生成對抗樣本；

5、步驟二：將增強后的圖片輸入預設的目標檢測模型，得到擦除梯度值，便于使對抗樣本變得更具攻擊性，有助于防止對抗樣本在梯度下降時過擬合；

6、步驟三：根據擦除梯度值和動量更新給定數據集中的所述原始圖片，得到對抗樣本，重復上述步驟進行多次迭代，得到所有對抗樣本。

7、進一步地，所述步驟一具體包括：

8、對原始圖片按照預設的概率進行多次顏色隨機變換；其中，所述多次顏色隨機變換包括依次按照預設的概率改變原始圖片色調randomhue、按照預設的概率改變原始圖片飽和度random?saturation、按照預設的概率改變原始圖片亮度randombrightness和按照預設的概率改變原始圖片對比度randomcontrast，防止對抗樣本過擬合；

9、按以下公式表示原始圖片進行顏色隨機變換：

10、

11、其中，transform為數據增強策略集合，為第t次迭代的對抗樣本。

12、進一步地，所述預設的目標檢測模型包括梯度值計算單元和噪音隨機擦除單元；

13、所述梯度值計算單元用于對輸入的增強后的圖片進行檢測，得到本次迭代進行數據增強的個數，并得到原始圖片梯度和圖像增強數據的梯度值，便于得到擦除梯度值；

14、所述噪音隨機擦除單元用于將原始圖片梯度和增強后的輸出梯度進行加權平均得到平均梯度，之后隨機擦除平均梯度的一部分噪音，得到擦除梯度值，便于生成對抗樣本。

15、進一步地，所述圖像增強數據的梯度值按以下公式表示：

16、

17、ltarget_cls(xadv，ytar)＝{maxi≠t(z(xadv)i)}-z(xadv)t

18、其中，n為本次迭代進行數據增強的個數和原始圖像之和，為第t次迭代的對抗樣本，gi為第i種顏色隨機變換對應的圖像增強數據的梯度值，ltarget_cls為基于logit損失優化的目標函數，t為想要攻擊的目標類別，z(·)為相應類別的logit輸出，ytar為目標類別，randomcolor為顏色隨機變換增強。

19、進一步地，所述擦除梯度值按以下公式表示：

20、

21、g′t＝randomerase(gt)

22、其中，gi為第i種顏色隨機變換對應的圖像增強數據的梯度值，randomerase為隨機擦除算法，g′t為擦除梯度值。

23、進一步地，所述根據擦除梯度值和動量更新給定數據集中的所述原始圖片還包括將噪音添加到更新的原始圖片上，使對抗樣本只干擾圖像的前景區域，專注于攻擊物體的類別。

24、進一步地，所述根據擦除梯度值和動量更新給定數據集中的所述原始圖片還包括將噪音添加到更新的原始圖片上，其過程按以下公式表示：

25、

26、g″t+1＝m⊙g′t+1

27、

28、其中，μ為動量項的衰減因子，初始狀態下g0＝0，ε為擾動大小，m為掩碼矩陣，為當前迭代輪次t下目標損失函數對應的標簽ytrue的輸入圖片的梯度值，g″t+1為擾動梯度值，⊙為點乘，clip{·}為裁剪函數，α為迭代步長，sign(·)為符號函數，ytrue為當前迭代輪次t下目標損失函數對應的標簽，g′t+1為擦除梯度值，為第t+1次迭代的對抗樣本。

29、本發明第二方面提出了基于噪音擦除和logit損失優化的對抗樣本生成系統，包括：

30、數據增強模塊，用于對給定數據集中的一個原始圖片進行數據增強，便于生成對抗樣本；

31、目標檢測模型，用于將增強后的圖片輸入預設的目標檢測模型，得到擦除梯度值，便于使對抗樣本變得更具攻擊性，有助于防止對抗樣本在梯度下降時過擬合；

32、對抗樣本生成模塊，用于根據擦除梯度值和動量更新給定數據集中的所述原始圖片，得到對抗樣本，重復上述步驟進行多次迭代，得到所有對抗樣本。

33、本發明第三方面提出了一種電子設備，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序，所述處理器執行所述計算機程序時實現如上述第一方面所述的基于噪音擦除和logit損失優化的對抗樣本生成方法。

34、本發明第四方面提出了一種計算機可讀存儲介質，所述存儲介質包括存儲的計算機程序，其中，在所述計算機程序運行時控制所述存儲介質所在設備執行如上述第一方面所述的基于噪音擦除和logit損失優化的對抗樣本生成方法。

35、本發明的有益效果：

36、(1)本發明在白盒和黑盒的應用場景下都提高了攻擊成功率。從數據增強的角度，提出了的多樣化的數據增強方法可以豐富目標檢測模型回傳的梯度流信息以增加模型的多樣性，有效防止對抗樣本過擬合于白盒模型。另外，本發明沒有將有目標攻擊視為非目標攻擊的簡單擴展，而是設計了基于logit損失優化的目標函數得到梯度值，一方面緩解了交叉熵帶來的噪聲固化問題，另一方面增大了目標類和非目標類的距離，即logit?margin。這使得本發明提高了有目標攻擊的性能和遷移性。最后，本本發明并沒有在整幅圖像上加入擾動噪音，而是通過哈達瑪積計算擾動掩碼，將擾動添加到指定對象的框內，這一方面減少擾動范圍以提高攻擊隱蔽性；另一方面，通過在目標類別影響較大的前景區域引入噪音，可以更高效的生成對抗樣本。

37、(2)在魯棒性方面：本發明可以更全面地評估目標檢測模型在更為復雜的有目標攻擊場景下的魯棒性，現有的攻擊算法難以欺騙黑盒模型，成功率較低，導致對目標檢測模型魯棒性的評估不準確。本發明通過生成有目標對抗樣本，可以評估目標檢測模型在面對有目標攻擊時的表現，提高模型的魯棒性。

38、(3)在攻擊成功率方面：與傳統的對抗樣本生成方法相比，本發明的方法在白盒設置下取得了更高的攻擊成功率，本發明使用yolov8和faster-rcnn在ms?coco數據集上評估了所提出方法的攻擊性能，實驗結果表明，相較于，i-fgsm，tim，sim本發明的攻擊成功率更高。

39、(5)在遷移性方面：本發明的方法在不同的目標檢測器上都取得了良好的攻擊效果，具有較好的遷移性。相較于以i-fgsm為代表的對抗攻擊方法，本發明具有更優秀的表現。