本技術屬于圖像分割，尤其涉及一種工業缺陷分割方法、裝置及存儲介質。

背景技術：

1、在工業制造領域，產品質量的檢測是至關重要的環節，隨著自動化技術的發展，傳統的人工檢測方法逐漸被基于深度學習的工業檢測技術所取代。基于深度學習的工業檢測技術能夠自動識別和標記產品表面的缺陷，大大提高了檢測效率。

2、相關技術中，已經有不少基于深度學習的缺陷檢測模型應用于工業生產中，如基于卷積神經網絡的類別缺陷檢測、基于生成對抗網絡的類別缺陷檢測等。然而，由于工業產品中的缺陷類型多樣，不同模型對不同缺陷的檢測效果存在差異，通過單一模型進行缺陷檢測導致檢測準確性不夠。

技術實現思路

1、本技術旨在至少解決現有技術中存在的技術問題之一。為此，本技術提出一種工業缺陷分割方法、裝置及存儲介質，以提高缺陷檢測的準確性。

2、第一方面，本技術提供了一種工業缺陷分割方法，包括：

3、將包含目標產品的待檢測圖像輸入到預設的多模態大模型中，得到所述多模態大模型輸出的所述目標產品的類別；

4、確定所述目標產品的類別對應的分割模型；

5、將所述待檢測圖像輸入到與所述目標產品的類別對應的分割模型中，得到所述分割模型輸出的分割結果，所述分割結果包括所述待檢測圖像中所述目標產品的缺陷位置。

6、根據本技術的工業缺陷分割方法，通過將包含目標產品的待檢測圖像輸入到預設的多模態大模型中，得到所述多模態大模型輸出的所述目標產品的類別；確定所述目標產品的類別對應的分割模型；將所述待檢測圖像輸入到與所述目標產品的類別對應的分割模型中，得到所述分割模型輸出的分割結果，所述分割結果包括所述待檢測圖像中所述目標產品的缺陷位置。本技術實施例通過利用多模態大模型對待檢測圖像進行處理，確定目標產品的類別，根據目標產品的類別選擇對應的分割模型，從而能夠根據不同產品特性選擇合適的分割模型，應用專門訓練的分割模型進行缺陷分割，可以充分發揮不同分割模型在捕捉不同產品特征方面的優勢，提高了缺陷檢測的準確性。

7、根據本技術的一個實施例，所述方法還包括：

8、獲取包括與所述目標產品的類別相同產品的參考圖像；所述參考圖像包括標簽，所述標簽標注有參考圖像中產品的缺陷位置和缺陷類型；

9、在所述參考圖像中產品的缺陷類型和所述待檢測圖像中所述目標產品的缺陷類型相同的情況下，根據所述分割結果識別所述待檢測圖像中所述目標產品的缺陷類型；

10、輸出所述待檢測圖像中所述目標產品的缺陷位置和缺陷類型。

11、在該實施例中，通過引入參考圖像及其標簽信息，當參考圖像中的產品缺陷類型與待檢測圖像中目標產品的缺陷類型相匹配時，可以進一步結合分割模型的輸出結果，識別待檢測圖像中目標產品的缺陷類型，最終可以輸出與參考圖像中產品缺陷類型相同的缺陷，提高檢測特定缺陷的準確性和效率。

12、根據本技術的一個實施例，所述方法還包括：

13、根據所述分割結果從所述待檢測圖像中裁剪出包括所述目標產品的缺陷的第一圖像；

14、從參考圖像中裁剪出包括所述目標產品的缺陷的第二圖像；

15、根據所述第一圖像和所述第二圖像判斷所述參考圖像中產品的缺陷類型和所述待檢測圖像中所述目標產品的缺陷類型是否相同。

16、在該實施例中，通過根據分割結果從待檢測圖像中裁剪出包含目標產品缺陷的第一圖像，以及參考圖像中裁剪出包含相同類型缺陷的第二圖像，能夠準確定位缺陷區域，增強了缺陷特定特征的提取，同時保留了相鄰的上下文信息，從而能夠捕獲更有意義的語義特征，增強了對不同缺陷類型的識別能力。

17、根據本技術的一個實施例，所述根據所述第一圖像和所述第二圖像判斷所述參考圖像中產品的缺陷類型和所述待檢測圖像中所述目標產品的缺陷類型是否相同，包括：

18、在所述目標產品的類別為目標類別的情況下，將所述第一圖像和所述第二圖像輸入到與所述目標產品的類別對應的比較分類器中，得到所述比較分類器輸出的第一比較結果。

19、在該實施例中，通過對目標產品的類別進行判斷，如果目標產品的類別為特定類別，則將裁剪出的包含缺陷的第一圖像和參考圖像中的第二圖像輸入到與目標產品類別相對應的比較分類器中，比較分類器可以預先針對特定類別的產品進行訓練和優化，從而在缺陷類型的比較上更加準確。

20、根據本技術的一個實施例，所述根據所述第一圖像和所述第二圖像判斷所述參考圖像中產品的缺陷類型和所述待檢測圖像中所述目標產品的缺陷類型是否相同，包括：

21、在所述目標產品的類別不為目標類別的情況下，將包含所述第一圖像和所述第二圖像輸入到所述多模態大模型中，得到所述多模態大模型輸出的第二比較結果。

22、在該實施例中，通過對目標產品的類別進行判斷，如果目標產品的類別不為特定類別，可以將第一圖像和第二圖像輸入到多模態大模型中，利用模型的跨模態特征提取和融合能力，通過深層次的特征提取和語義理解，提高缺陷類型比較的準確性。

23、根據本技術的一個實施例，所述根據所述分割結果識別所述待檢測圖像中所述目標產品的缺陷類型，包括：

24、將所述第一圖像輸入到與所述目標產品的類別對應的類型識別分類器中，得到所述類型識別分類器輸出的所述目標產品的缺陷類型。

25、在該實施例中，通過根據分割結果裁剪出第一圖像，能夠準確定位缺陷區域，增強了缺陷特定特征的提取，同時保留了相鄰的上下文信息，從而能夠捕獲更有意義的語義特征，將第一圖像輸入到與目標產品類別相對應的類型識別分類器中，從而能夠根據不同產品特性選擇合適的分類器，應用專門訓練的分類器進行類型識別，可以充分發揮不同分類器在捕捉不同產品特征方面的優勢，提高了缺陷類型識別的準確性。

26、根據本技術的一個實施例，所述確定所述目標產品的類別對應的分割模型，包括：

27、在所述目標產品的類別為目標類別的情況下，所述分割模型為mask2former模型；

28、在所述目標產品的類別不為目標類別的情況下，所述分割模型為mask2former模型和patchcore模型。

29、在該實施例中，當目標產品類別為目標類別時，選擇mask2former模型作為分割模型，該模型的優勢在于能夠利用多尺度特征和遮蓋自注意力機制來提高分割的準確性，尤其是在處理小目標場景時；當目標產品類別不為目標類別時，采用mask2former模型和patchcore模型的組合，patchcore模型能夠評估圖像中每個像素的異常程度，這種細致的異常評分機制能夠更加準確地定位到異常發生的具體區域。

30、第二方面，本技術提供了一種工業缺陷分割裝置，包括：

31、輸入模塊，用于將包含目標產品的待檢測圖像輸入到預設的多模態大模型中，得到所述多模態大模型輸出的所述目標產品的類別；

32、確定模塊，用于確定所述目標產品的類別對應的分割模型；

33、輸出模塊，用于將所述待檢測圖像輸入到與所述目標產品的類別對應的分割模型中，得到所述分割模型輸出的分割結果，所述分割結果包括所述待檢測圖像中所述目標產品的缺陷位置。

34、根據本技術的工業缺陷分割裝置，通過將包含目標產品的待檢測圖像輸入到預設的多模態大模型中，得到所述多模態大模型輸出的所述目標產品的類別；確定所述目標產品的類別對應的分割模型；將所述待檢測圖像輸入到與所述目標產品的類別對應的分割模型中，得到所述分割模型輸出的分割結果，所述分割結果包括所述待檢測圖像中所述目標產品的缺陷位置。本技術實施例通過利用多模態大模型對待檢測圖像進行處理，確定目標產品的類別，根據目標產品的類別選擇對應的分割模型，從而能夠根據不同產品特性選擇合適的分割模型，應用專門訓練的分割模型進行缺陷分割，可以充分發揮不同分割模型在捕捉不同產品特征方面的優勢，提高了缺陷檢測的準確性。

35、第三方面，本技術提供了一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上述第一方面所述的工業缺陷分割方法。

36、第四方面，本技術提供了一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如上述第一方面所述的工業缺陷分割方法。

37、第五方面，本技術提供了一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運行程序或指令，實現如上述第一方面所述的工業缺陷分割方法。

38、第六方面，本技術提供了一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述第一方面所述的工業缺陷分割方法。

39、本技術實施例中的上述一個或多個技術方案，至少具有如下技術效果之一：

40、根據本技術的工業缺陷分割方法，通過將包含目標產品的待檢測圖像輸入到預設的多模態大模型中，得到所述多模態大模型輸出的所述目標產品的類別；確定所述目標產品的類別對應的分割模型；將所述待檢測圖像輸入到與所述目標產品的類別對應的分割模型中，得到所述分割模型輸出的分割結果，所述分割結果包括所述待檢測圖像中所述目標產品的缺陷位置。本技術實施例通過利用多模態大模型對待檢測圖像進行處理，確定目標產品的類別，根據目標產品的類別選擇對應的分割模型，從而能夠根據不同產品特性選擇合適的分割模型，應用專門訓練的分割模型進行缺陷分割，可以充分發揮不同分割模型在捕捉不同產品特征方面的優勢，提高了缺陷檢測的準確性。

41、進一步的，在一些實施例中，通過引入參考圖像及其標簽信息，當參考圖像中的產品缺陷類型與待檢測圖像中目標產品的缺陷類型相匹配時，可以進一步結合分割模型的輸出結果，識別待檢測圖像中目標產品的缺陷類型，最終可以輸出與參考圖像中產品缺陷類型相同的缺陷，提高檢測特定缺陷的準確性和效率。

42、進一步的，在一些實施例中，通過根據分割結果從待檢測圖像中裁剪出包含目標產品缺陷的第一圖像，以及參考圖像中裁剪出包含相同類型缺陷的第二圖像，能夠準確定位缺陷區域，增強了缺陷特定特征的提取，同時保留了相鄰的上下文信息，從而能夠捕獲更有意義的語義特征，增強了對不同缺陷類型的識別能力。

43、進一步的，在一些實施例中，通過對目標產品的類別進行判斷，如果目標產品的類別為特定類別，則將裁剪出的包含缺陷的第一圖像和參考圖像中的第二圖像輸入到與目標產品類別相對應的比較分類器中，比較分類器可以預先針對特定類別的產品進行訓練和優化，從而在缺陷類型的比較上更加準確。

44、更進一步的，在一些實施例中，通過對目標產品的類別進行判斷，如果目標產品的類別不為特定類別，可以將第一圖像和第二圖像輸入到多模態大模型中，利用模型的跨模態特征提取和融合能力，通過深層次的特征提取和語義理解，提高缺陷類型比較的準確性。

45、更進一步的，在一些實施例中，通過根據分割結果裁剪出第一圖像，能夠準確定位缺陷區域，增強了缺陷特定特征的提取，同時保留了相鄰的上下文信息，從而能夠捕獲更有意義的語義特征，將第一圖像輸入到與目標產品類別相對應的類型識別分類器中，從而能夠根據不同產品特性選擇合適的分類器，應用專門訓練的分類器進行類型識別，可以充分發揮不同分類器在捕捉不同產品特征方面的優勢，提高了缺陷類型識別的準確性。

46、再進一步的，在一些實施例中，當目標產品類別為目標類別時，選擇mask2former模型作為分割模型，該模型的優勢在于能夠利用多尺度特征和遮蓋自注意力機制來提高分割的準確性，尤其是在處理小目標場景時；當目標產品類別不為目標類別時，采用mask2former模型和patchcore模型的組合，patchcore模型能夠評估圖像中每個像素的異常程度，這種細致的異常評分機制能夠更加準確地定位到異常發生的具體區域。

47、本技術的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術的實踐了解到。