本技術涉及圖像處理領域,特別是涉及圖像敏感內容的檢測方法、裝置、電子裝置和存儲介質。
背景技術:
1、每天,數以億計的圖像在互聯網上傳播,這為人們的生活帶來了豐富的娛樂體驗,但同時也引發了一系列與內容安全相關的挑戰和隱患。在相關技術中,通常基于卷積神經網絡(convolutional?neural?network,cnn)或基于自注意力機制的模型(如transformer模型架構),通過對大規模標注數據集的訓練,構建專用分類模型,識別包含常見敏感內容的圖像。然而上述方式存在數據依賴性強、泛化能力有限、隱晦特征識別能力不足等缺點,導致對于圖像敏感內容的檢測準確性較低。
2、目前針對相關技術中圖像敏感內容檢測的準確性低的問題,尚未提出有效的解決方案。
技術實現思路
1、本技術實施例提供了一種圖像敏感內容的檢測方法、裝置、電子裝置和存儲介質,以至少解決相關技術中圖像敏感內容檢測的準確性低的問題。
2、第一方面,本技術實施例提供了一種圖像敏感內容的檢測方法,所述方法包括:
3、獲取待檢測圖像;
4、將所述待檢測圖像輸入至目標多模態大模型中的視覺特征判斷網絡進行視覺檢測處理,得到初始圖像語義信息,并將所述初始圖像語義信息輸入至所述目標多模態大模型中的文本特征判斷網絡進行文本檢測處理,得到目標圖像語義信息;
5、獲取預設的第一向量庫;所述第一向量庫中存儲有敏感語義向量;
6、基于所述目標圖像語義信息與所述第一向量庫中各所述敏感語義向量之間的第一匹配結果,生成所述待檢測圖像的第一敏感內容檢測結果。
7、在其中一些實施例中,所述將所述待檢測圖像輸入至目標多模態大模型中的視覺特征判斷網絡進行視覺檢測處理,得到初始圖像語義信息,包括:
8、將所述待檢測圖像輸入至所述目標多模態大模型中的所述視覺特征判斷網絡,并經由所述視覺特征判斷網絡對所述待檢測圖像進行敏感內容檢測,判斷所述待檢測圖像是否含有敏感內容;
9、若是,則經由所述視覺特征判斷網絡對所述待檢測圖像進行視覺敏感特征提取處理,得到第一敏感語義類型和行為信息,并基于所述第一敏感語義類型和所述行為信息得到所述初始圖像語義信息;反之,則經由所述視覺特征判斷網絡對所述待檢測圖像語義提取處理,得到所述初始圖像語義信息。
10、在其中一些實施例中,所述將所述初始圖像語義信息輸入至所述目標多模態大模型中的文本特征判斷網絡進行文本檢測處理,得到目標圖像語義信息,包括:
11、將所述初始圖像語義信息輸入至所述目標多模態大模型中的所述文本特征判斷網絡,并經由所述文本特征判斷網絡對所述初始圖像語義信息進行敏感內容檢測,判斷所述文本特征網絡是否含有敏感內容;
12、若是,則經由所述文本特征判斷網絡對所述初始圖像語義信息進行文本敏感特征提取處理,得到第二敏感語義類型,并基于所述第二敏感語義類型得到所述目標圖像語義信息;反之,則經由所述文本特征判斷網絡對所述初始圖像語義信息進行語義提取處理,得到所述目標圖像語義信息。
13、在其中一些實施例中,所述基于所述第二敏感語義類型得到所述目標圖像語義信息,包括:
14、利用所述文本特征判斷網絡,對所述初始圖像語義信息進行語義特征壓縮,得到核心圖像語義信息,并根據所述第二敏感語義類型和所述核心圖像語義信息,得到所述目標圖像語義信息。
15、在其中一些實施例中,所述基于所述目標圖像語義信息與所述第一向量庫中各所述敏感語義向量之間的第一匹配結果,生成所述待檢測圖像的第一敏感內容檢測結果,包括:
16、對所述目標圖像語義信息進行向量轉換處理,得到待檢測語義向量;
17、遍歷所述第一向量庫中的所述敏感語義向量;
18、計算遍歷到的敏感語義向量與所述待檢測語義向量之間的相似度結果;基于所述相似度結果判斷所述敏感語義向量與所述目標圖像語義信息是否相匹配,并生成所述第一敏感內容檢測結果。
19、在其中一些實施例中,所述基于所述相似度結果判斷所述敏感語義向量與所述待檢測語義向量是否相匹配,并生成所述第一敏感內容檢測結果,包括:
20、獲取預設的敏感等級信息和類別權重信息;
21、基于所述敏感等級信息和所述類別權重信息,為所述第一向量庫中各個所述敏感語義向量分配對應的相似度閾值;
22、根據所述相似度結果與對應的所述相似度閾值之間的比較結果,判斷所述敏感語義向量是否與所述待檢測語義向量相匹配,生成所述第一敏感內容檢測結果。
23、在其中一些實施例中,所述方法還包括:
24、計算所述初始圖像語義信息和所述待檢測圖像之間的第一語義相似度,并計算所述目標圖像語義信息和所述初始圖像語義信息之間的第二語義相似度;
25、基于所述第一語義相似度和所述第二語義相似度,生成針對所述目標多模態大模型的驗證結果;
26、在所述驗證結果指示所述目標多模態大模型驗證未通過的情況下,獲取預設的第二向量庫;所述第二向量庫存儲有敏感圖像向量;
27、計算所述待檢測圖像的待測圖像向量,并基于所述待測圖像向量與所述第二向量庫中各所述敏感圖像向量之間的第二匹配結果,生成所述待檢測圖像的第二敏感內容檢測結果。
28、第二方面,本技術實施例提供了一種圖像敏感內容的檢測裝置,包括:
29、圖像獲取模塊,用于獲取待檢測圖像;
30、語義檢測模塊,用于將所述待檢測圖像輸入至目標多模態大模型中的視覺特征判斷網絡進行視覺檢測處理,得到初始圖像語義信息,并將所述初始圖像語義信息輸入至所述目標多模態大模型中的文本特征判斷網絡進行文本檢測處理,得到目標圖像語義信息;
31、第一向量庫獲取模塊,用于獲取預設的第一向量庫;所述第一向量庫中存儲有敏感語義向量;
32、生成模塊,用于基于所述目標圖像語義信息與所述第一向量庫中各所述敏感語義向量之間的第一匹配結果,生成所述待檢測圖像的第一敏感內容檢測結果。
33、第三方面,本技術實施例提供了一種電子裝置,包括存儲器和處理器,所述存儲器中存儲有計算機程序,所述處理器被設置為運行所述計算機程序以執行上述第一方面所述的圖像敏感內容的檢測方法。
34、第四方面,本技術實施例提供了一種存儲介質,其上存儲有計算機程序,該程序被處理器執行時實現如上述第一方面所述的圖像敏感內容的檢測方法。
35、相比于相關技術,本技術實施例提供的圖像敏感內容的檢測方法、裝置、電子裝置和存儲介質,通過獲取待檢測圖像;將待檢測圖像輸入至目標多模態大模型中的視覺特征判斷網絡進行視覺檢測處理,得到初始圖像語義信息,并將初始圖像語義信息輸入至目標多模態大模型中的文本特征判斷網絡進行文本檢測處理,得到目標圖像語義信息;獲取預設的第一向量庫;第一向量庫中存儲有敏感語義向量;基于目標圖像語義信息與第一向量庫中各敏感語義向量之間的第一匹配結果,生成待檢測圖像的第一敏感內容檢測結果。
36、基于此,采用綜合利用視覺和文本的多模態大模型,將待檢測圖像信息統一投射到高維語義空間,實現了對圖像和文本特征的深層次理解,增強了圖像復雜內容的敏感性能力分析;同時,通過構建動態敏感語義向量數據庫,可以有效支持敏感類別的實時更新,能夠對于新型敏感內容快速適配,且具備良好的動態擴展能力,從而有效解決了圖像敏感內容檢測的準確性低的問題,實現了準確、高速的圖像敏感內容檢測方法。
37、本技術的一個或多個實施例的細節在以下附圖和描述中提出,以使本技術的其他特征、目的和優點更加簡明易懂。