本發明涉及雷達遙感,具體是針對sar圖像目標識別的物理欺騙方法。
背景技術:
1、深度卷積神經網絡(dcnn)已經廣泛應用在遙感圖像識別領域,包括光學遙感影像目標識別、sar自動目標識別(sar?atr)領域。然而,由于對抗樣本的存在,極大地限制了saratr的應用領域。通過這種精心設計的、人眼難以識別的微小擾動,可以誤導dcnn產生錯誤的預測結果。對抗樣本問題已經得到了學術界和工業界的廣泛關注,成為人工智能安全領域的重點關注對象。
2、目前,在遙感領域,已經有許多欺騙干擾的實踐。在sar?atr領域,研究者同樣也在進行欺騙的研究,其中大部分為數字對抗干擾:直接將擾動添加在圖像的像素中,擾動處于數字空間。例如,攻擊者通過將光學遙感影像中的攻擊方法與原理直接應用到sar圖像的欺騙中,或者使用稀疏攻擊的策略,將擾動限制在圖像中的目標區域。這些攻擊方法產生的擾動具有隱蔽性,使得觀察者難以察覺,這對sar?atr的廣泛應用造成了安全威脅。
3、物理欺騙在光學圖像識別領域已經得到廣泛關注,例如基于補丁的對抗和基于偽裝的對抗,這些方法本質上都是通過修改物體表面的圖案來實現攻擊的。然而,這些方法并不能直接遷移到sar領域,因為成像機制的不同,sar圖像記錄的本質上是地物目標的后向散射信息,因此僅僅修改物體表面的圖案不能對sar圖像像素值產生改變,必須改變物體表面材質特性,例如散射系數、表面粗糙度等參數,從而使雷達回波信號產生改變,進而改變sar圖像的像素值。
技術實現思路
1、本發明的目的在于提供了針對sar圖像目標識別的物理欺騙方法,首先在二維圖像空間實現欺騙,通過反向傳播優化的方法將圖像空間的擾動轉化為構成sar影像的模擬光線,并通過坐標轉換、建立點對應到三角面元和強度值到材質參數的對應關系,實現建立構成sar影像的模擬光線與三維模型之間的映射,從而將二維圖像空間擾動反演回三維物理空間,以獲得三維物理空間擾動的位置和強度實現物理欺騙,以解決上述背景技術中提出的問題。
2、為實現上述目的,本發明提供如下技術方案:
3、針對sar圖像目標識別的物理欺騙方法,包括以下步驟:
4、s1:由目標的3d模型生成sar圖像;
5、s2:通過raysar渲染器采用近似的物理光學模型來模擬雷達信號的鏡面反射和漫反射,并記錄決定圖像中回波位置的sar幾何輸出數據;對sar幾何輸出數據進行后處理,生成二維的sar圖像;將sar圖像輸入sar自動目標識別分類網絡,并獲得預測標簽;
6、s3:在數字空間中對sar幾何輸出數據生成對抗擾動;
7、s4:將對抗擾動映射到物理空間中的材質信息中;
8、s5:輸出添加材質信息的sar圖像。
9、優選地,步驟s1具體包括:
10、給定一個3d模型,該3d模型具有格網信息、材質信息和成像參數,其中,格網信息包括頂點坐標和三角面元的信息,材質信息包括反射系數、散射系數和表面粗糙度,成像參數包括雷達信號源坐標、接收天線坐標和指向位置。
11、優選地,步驟s2中sar幾何輸出數據生成的公式表示如下:
12、;
13、sar圖像生成的公式表示如下:
14、;
15、其中,表示后處理模型;表示后處理參數,包括俯仰角的最大/最小值、距離向的最大/最小值和間距、射線最大彈射次數;表示實數域;h表示距離向采樣數;w表示方位向采樣數。
16、優選地,步驟s3具體包括:
17、將對sar幾何輸出數據的對抗擾動生成視為優化問題,優化函數如下:
18、;
19、式中,表示最終的sar幾何輸出數據;表示損失函數;表示真實標簽;表示對抗樣本數據。
20、優選地,步驟s3還包括:
21、使用l2范數來對擾動向量進行限制,即使最小,最終的損失函數如下:
22、;
23、其中,表示優化參數;表示sar幾何輸出數據中的強度值;表示平衡分類損失和限制擾動強度損失的常數;表示交叉熵損失函數;表示虛假標簽。
24、優選地,步驟s3還包括:
25、將強度值的范圍限制在[0,1]之間,設擾動向量為;
26、令,使得,其中,表示原始數據,表示優化參數;
27、在初始化優化參數時,使用sigmoid函數的反函數,以確保擾動向量與原始強度值向量的相似性。
28、優選地,步驟s3具體包括:
29、將對sar幾何輸出數據的擾動通過映射模型映射到物理空間,具體表示為:
30、;
31、其中,表示最終的對抗性物理材質信息。
32、優選地,步驟s3還包括:
33、采用稀疏攻擊的策略,對擾動散射點的范圍進行限制,即限制擾動散射點的數量,具體包括:
34、初始化一個mask向量,其與擾動向量的形狀相同,其中的元素全部為1;生成的擾動向量與mask向量逐元素乘,通過限制mask向量中1元素的個數限制擾動的作用范圍;
35、將擾動向量中的元素按大小順序排列,如果元素小于某個閾值則將mask向量中對應索引的元素設為0,即剔除擾動向量中小于某個閾值的擾動,讓mask向量中的0元素在迭代中不斷增加。
36、優選地,映射模型用于生成最終的對抗性材質信息,該映射模型中具有3個變換關系:
37、坐標轉換:從sar幾何輸出數據中散射點的坐標系到3d模型的坐標系;
38、點對應到三角面元:sar幾何輸出數據中強度值的基本單元是散射點,而3d模型材質參數作用的基本單元是三角面元,存在點對應到三角面元的對應關系;
39、從強度值到材質參數:將sar幾何輸出數據中的強度值的改變對應3d模型中材質參數的改變。
40、優選地,對于坐標轉換,通過raysar渲染器來記錄每個散射點在3d模型的坐標系中對應的坐標,從而實現散射點坐標系到3d模型的坐標系的轉換;
41、對于點對應到三角面元,選取擾動前后強度值變化幅度最大的散射點作為基準,計算三角面元的材質參數。
42、與現有技術相比,本發明的有益效果是:
43、本發明提出了針對sar圖像目標識別的物理欺騙方法,該方法可以將數字空間中人眼難以識別的對抗擾動遷移到物理空間中,并導致sar?atr的錯誤分類,通過一個raysar渲染器來實現物理世界到數字世界的轉換,并通過設計有效的損失函數,通過反向傳播對數字擾動進行更新。最后將最終的數字擾動通過一個映射模型映射回3d模型的材質信息中,從而實現最終的物理擾動。本發明公開的針對sar圖像目標識別的物理欺騙方法可以有效的實現物理世界的sar欺騙,在數字世界中實現了最高99.02%的平均愚弄率,并在物理世界中實現了最高97.87%的平均愚弄率。與現有的方法相比,本發明的方法彌補了數字對抗和物理對抗之間的差距,具有在現實世界中實現的可能性。