本發明涉及圖像處理，特別涉及一種基于雙分支特征融合的文檔圖像篡改檢測方法與系統。

背景技術：

1、隨著計算機行業和影像領域的發展，涵蓋圖像的媒體信息幾乎遍布互聯網和現實世界的每個角落，圖像已經成為信息傳遞以及信息共享的重要載體和傳播途徑。近年來，存在不法分子使用假證件假文件圖像來散播謠言、編造虛假新聞和非法獲取經濟利益的現象。

2、大多數文檔圖像中的文本篡改方法大致可以分為三種類型：(1)拼接，將一個圖像中的區域復制并粘貼到其他圖像中；(2)復制移動，即移動圖像內物體的空間位置；(3)生成，使用其他內容替換圖像原本區域。為了促進圖像取證技術在更廣泛領域的應用，面向文檔類圖像篡改檢測算法也逐漸興起，杜絕非法假圖對各方造成的影響，需要研究發明檢測算法對文檔圖像進行真實性鑒定。

技術實現思路

1、本發明的目的在于針對上述現有技術的不足，提供一種基于雙分支特征融合的文檔圖像篡改檢測方法與系統，以解決現有技術中的問題。

2、本發明具體提供如下技術方案：

3、一種基于雙分支特征融合的文檔圖像篡改檢測方法，包括如下步驟：

4、獲取待檢測圖像；

5、構建篡改檢測與定位模型，所述篡改檢測與定位模型包括細節增強模塊、局部編碼器、全局編碼器和混合注意力模塊；

6、將所述待檢測圖像輸入訓練好的篡改檢測與定位模型，一個分支通過細節增強模塊提取待檢測圖像的高頻信息，并通過局部編碼器提取高頻信息中的局部特征，另一個分支則采用全局編碼器提取待檢測圖像的全局特征，通過混合注意力模塊將局部特征和全局特征進行融合，將融合結果通過解碼器解碼，通過解碼結果定位篡改區域。

7、優選的，所述構建篡改檢測與定位模型中，細節增強模塊通過對待檢測圖像進行離散余弦變換系數量化與bayar卷積的操作，提取待檢測圖像中高頻的信息，為局部編碼器做最初始的增強；局部編碼器基于convnext網絡改進，全局編碼器采用vit結構，混合注意力模塊包括強化自注意力模塊與自適應交叉注意力模塊。

8、優選的，所述局部編碼器基于convnext網絡改進，包括：

9、基于convnext-b設計細節分支網絡塊對圖像進行特征提取，網絡塊共4層，在每層中的通道數和塊數分別為：，；網絡每4層為一個階段，共四個階段，每個階段最后輸出的維度分別為128、256、512和1024。

10、優選的，所述全局編碼器采用vit結構中，全局編碼器構建過程包括：

11、將輸入圖像表示為，將真實標簽表示為，其中h和w分別對應圖像的高度和寬度；

12、將圖像的高度和寬度填充到和，并將作為常量，將傳遞到有12層的有窗口的vit編碼器中，獲得全局編碼器；其中每3層保留一個完整的全局注意力塊；具體表示為：

13、；

14、其中，表示vit編碼器，表示編碼特征映射。

15、優選的，所述混合注意力模塊的具體表達式為：

16、；

17、；

18、其中，為雙分支主要融合特征，為最終融合特征，為強化自注意力塊(enhanced?self-attention?block)，為自適應交叉注意力塊(adaptive?cross-attention?block)，為解碼融合模塊(decoder?blending?module)。

19、優選的，將所述待檢測圖像輸入訓練好的篡改檢測與定位模型之前，還包括：

20、通過損失函數反向傳播訓練篡改檢測與定位模型，獲得訓練好的篡改檢測與定位模型。

21、本發明提供一種基于雙分支特征融合的文檔圖像篡改檢測系統，包括：

22、采集模塊，用于獲取待檢測圖像；

23、模型構建模塊，用于篡改檢測與定位模型，所述篡改檢測與定位模型包括細節增強模塊、局部編碼器、全局編碼器和混合注意力模塊；

24、檢測模塊，用于將所述待檢測圖像輸入訓練好的篡改檢測與定位模型，一個分支通過細節增強模塊提取待檢測圖像的高頻信息，并通過局部編碼器提取高頻信息中的局部特征，另一個分支則采用全局編碼器提取待檢測圖像的全局特征，通過混合注意力模塊將局部特征和全局特征進行融合，將融合結果通過解碼器解碼，通過解碼結果定位篡改區域。

25、本發明提供一種計算機設備，包括存儲器及處理器，所述存儲器中儲存有程序，所述程序被所述處理器執行時，使得所述處理器執行上述一種基于雙分支特征融合的文檔圖像篡改檢測方法的步驟。

26、本發明提供一種存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現上述的一種基于雙分支特征融合的文檔圖像篡改檢測方法的步驟。

27、與現有技術相比，本發明具有如下顯著優點：

28、本發明設計了一種篡改檢測與定位模型，使用兩個分支分別對待檢測圖像的局部和全局進行提取，其中一個分支通過細節增強模塊提取待檢測圖像的高頻信息，并通過局部編碼器提取高頻信息中的局部特征，其注重圖像細節信息，另一分支采用全局編碼器提取待檢測圖像的全局特征，用于捕捉整體結構信息，從而實現對圖像整體信息與文本區域細節的全面解析，促進不同層次特征信息的交互融合，在減少細節信息損失的同時，有效避免了無關信息的干擾，顯著增強了關鍵文本內容區域的表征能力，提高篡改區域定位圖的質量，便于對文檔圖像進行真實性鑒定。

技術特征：

1.一種基于雙分支特征融合的文檔圖像篡改檢測方法，其特征在于，包括：

2.如權利要求1所述的一種基于雙分支特征融合的文檔圖像篡改檢測方法，其特征在于，所述構建篡改檢測與定位模型中，細節增強模塊通過對待檢測圖像進行離散余弦變換系數量化與bayar卷積的操作，提取待檢測圖像中高頻的信息，為局部編碼器做最初始的增強；局部編碼器基于convnext網絡改進，全局編碼器采用vit結構，混合注意力模塊包括強化自注意力模塊與自適應交叉注意力模塊。

3.如權利要求2所述的一種基于雙分支特征融合的文檔圖像篡改檢測方法，其特征在于，所述局部編碼器基于convnext網絡改進，包括：

4.如權利要求2所述的一種基于雙分支特征融合的文檔圖像篡改檢測方法，其特征在于，所述全局編碼器采用vit結構中，全局編碼器構建過程包括：

5.如權利要求2所述的一種基于雙分支特征融合的文檔圖像篡改檢測方法，其特征在于，所述混合注意力模塊的具體表達式為：

6.如權利要求1所述的一種基于雙分支特征融合的文檔圖像篡改檢測方法，其特征在于，將所述待檢測圖像輸入訓練好的篡改檢測與定位模型之前，還包括：

7.一種基于雙分支特征融合的文檔圖像篡改檢測系統，其特征在于，包括：

8.一種計算機設備，其特征在于，包括存儲器及處理器，所述存儲器中儲存有程序，所述程序被所述處理器執行時，使得所述處理器執行如權利要求1至6中任一項所述一種基于雙分支特征融合的文檔圖像篡改檢測方法的步驟。

9.一種存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至6中任一項所述的一種基于雙分支特征融合的文檔圖像篡改檢測方法的步驟。

技術總結
本發明公開了一種基于雙分支特征融合的文檔圖像篡改檢測方法與系統，涉及圖像處理技術領域，包括步驟：獲取待檢測圖像；構建篡改檢測與定位模型，包括細節增強模塊、局部編碼器、全局編碼器和混合注意力模塊；將待檢測圖像輸入篡改檢測與定位模型，一個分支通過細節增強模塊提取待檢測圖像的高頻信息，并通過局部編碼器提取高頻信息的局部特征，另一個分支則采用全局編碼器提取待檢測圖像的全局特征。最后，通過混合注意力模塊將局部特征和全局特征進行融合，將融合結果通過解碼器解碼，定位篡改區域。本發明所提出的文檔類圖像篡改模型，綜合了圖像域和頻率域的特征，提高了模型的檢測精度和性能表現。

技術研發人員：於依科,黃雨馨,朱超宇,吳育金,徐壯,劉春曉
受保護的技術使用者：浙江工商大學
技術研發日：
技術公布日：2025/4/28