本發(fā)明屬于圖像或視頻識別或理解，具體地，涉及一種基于改進(jìn)segformer網(wǎng)絡(luò)的芯片圖像缺陷分割方法。

背景技術(shù)：

1、芯片作為現(xiàn)代電子設(shè)備的核心組件，其制造過程中的質(zhì)量控制至關(guān)重要。芯片表面的微小缺陷可能嚴(yán)重影響其性能。然而，表面缺陷種類繁多、形狀和尺寸差異較大，使得傳統(tǒng)的人工檢測方法效率不高，且誤報率和漏報率較高。早期的圖像分割方法主要是邊緣檢測和區(qū)域分割等基于機(jī)器學(xué)習(xí)的算法，這些方法通常只考慮圖像的像素強(qiáng)度、形狀、相似性等簡單特征，而忽略了所有的空間、語義等信息，且受噪聲影響較大，因此無法滿足芯片缺陷檢測的要求。深度學(xué)習(xí)的興起為圖像分割帶來了新的解決方案，通過深度卷積神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)端到端的像素級預(yù)測，如fcn、u-net、deeplab等語義分割模型極大地提升了分割的精度。

2、segformer就是一種基于深度學(xué)習(xí)的語義分割模型，它引入了自注意力機(jī)制提升了模型對長距離依賴關(guān)系的捕獲能力和對多尺度特征的融合能力。但是segformer模型對特征提取的粒度不夠細(xì)致，對邊界的分割不夠精確，導(dǎo)致它在芯片表面缺陷分割場景下的準(zhǔn)確率不夠高，因此難以直接運用到生產(chǎn)場景下。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術(shù)中存在的語義分割模型泛化能力差和分割精度不足的問題，提供了一種基于改進(jìn)segformer網(wǎng)絡(luò)的芯片圖像缺陷分割方法，通過構(gòu)建多類別、多尺度的數(shù)據(jù)集，增強(qiáng)了模型理解和處理不同類型和尺度缺陷的能力；優(yōu)化了segformer網(wǎng)絡(luò)在在芯片表面缺陷分割領(lǐng)域的分割效果，提高了模型對于不同類型和尺度缺陷的分割精度；通過改進(jìn)segformer語義分割模型得到缺陷的語義分割圖像，可以為之后的缺陷測量工作提供更加精確的缺陷輪廓。

2、本發(fā)明是通過下述技術(shù)方案來實現(xiàn)的。

3、本發(fā)明的一個方面，提供了一種基于改進(jìn)segformer的芯片圖像缺陷分割方法，包括：

4、構(gòu)建多類別多尺度芯片表面缺陷圖像語義分割數(shù)據(jù)集，數(shù)據(jù)集包括訓(xùn)練集和測試集；

5、構(gòu)建改進(jìn)segformer語義分割網(wǎng)絡(luò)，包括改進(jìn)的編碼器和解碼器：

6、使用segformer網(wǎng)絡(luò)的編碼器部分進(jìn)行特征提取，將編碼器部分的4層transformer?block中的自注意力替換為交叉協(xié)方差注意力crosscovattn；

7、解碼器：解碼器部分改為u形結(jié)構(gòu)，使用多層感知機(jī)mlp調(diào)整編碼器中每層的特征通道數(shù)，添加自適應(yīng)特征融合模塊aff將本層跳躍連接的特征和高層上采樣的特征進(jìn)行融合；

8、使用所述訓(xùn)練集對改進(jìn)segformer語義分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到改進(jìn)segformer語義分割模型；

9、使用所述測試集對訓(xùn)練得到的改進(jìn)segformer語義分割模型進(jìn)行評估，根據(jù)訓(xùn)練日志和評估指標(biāo)調(diào)整訓(xùn)練參數(shù)，得到優(yōu)化模型；

10、選取性能最優(yōu)的改進(jìn)segformer語義分割模型對芯片表面缺陷圖像進(jìn)行語義分割，得到語義分割結(jié)果圖像。

11、作為優(yōu)選，所述構(gòu)建多類別、多尺度芯片表面缺陷圖像語義分割數(shù)據(jù)集，包括：

12、使用光學(xué)攝像頭和光學(xué)顯微鏡采集不同尺寸、不同類別的芯片表面缺陷圖像；

13、對采集到的芯片表面缺陷圖像進(jìn)行預(yù)處理，包括雙邊濾波和直方圖均衡化；

14、對預(yù)處理后的圖像進(jìn)行數(shù)據(jù)集擴(kuò)增，得到擴(kuò)增后的數(shù)據(jù)集；

15、對所述擴(kuò)增后的數(shù)據(jù)集中的圖像進(jìn)行像素級語義分割標(biāo)注，并劃分訓(xùn)練集和測試集，得到芯片表面缺陷圖像語義分割數(shù)據(jù)集。

16、作為優(yōu)選，編碼器部分的transformer?block包括：

17、一個重疊補(bǔ)丁合并overlap?patch?merging，用于將輸入的圖像特征進(jìn)行分塊并嵌入到一個新的圖像特征空間中，完成下采樣操作；

18、n個交叉協(xié)方差注意力crosscovattn與混合前饋網(wǎng)絡(luò)mix-ffn構(gòu)成組合模塊，用于提取和處理圖像特征，增強(qiáng)改進(jìn)segformer語義分割模型的表達(dá)能力和魯棒性。

19、作為優(yōu)選，交叉協(xié)方差注意力crosscovattn，用于關(guān)注特征之間的協(xié)方差關(guān)系，捕捉特征間更細(xì)粒度的關(guān)系，增強(qiáng)改進(jìn)segformer語義分割模型對全局信息的捕捉能力，引入學(xué)習(xí)參數(shù)調(diào)整注意力權(quán)重的分布。

20、作為優(yōu)選，解碼器部分改為u形結(jié)構(gòu)，包括多層感知機(jī)mlp、自適應(yīng)特征融合模塊aff和上采樣upsample；

21、解碼器部分通過跳躍連接分別獲取編碼器中的4層transformer?block中的提取的特征；

22、每層特征經(jīng)過多層感知機(jī)mlp調(diào)整通道數(shù)；

23、使用自適應(yīng)特征融合模塊aff融合跳躍連接的低級語義特征和上采樣來的高級語義特征；

24、經(jīng)過多層感知機(jī)mlp和上采樣upsample進(jìn)一步調(diào)整特征的通道數(shù)和尺寸，作為特征輸出。

25、作為優(yōu)選，自適應(yīng)特征融合模塊aff將跳躍連接的特征圖與上采樣模塊的特征圖進(jìn)行特征融合，通過計算通道級和空間級的特征權(quán)重，自適應(yīng)地調(diào)整每個通道和每個位置的權(quán)重，融合不同層次的特征，提高模型的分割精度。

26、作為優(yōu)選，使用訓(xùn)練集對改進(jìn)segformer語義分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，改進(jìn)segformer網(wǎng)絡(luò)選用mit-b0到mit-b5主干網(wǎng)絡(luò)，加載主干網(wǎng)絡(luò)對應(yīng)的預(yù)訓(xùn)練權(quán)重，優(yōu)化器選擇adamw，損失函數(shù)選擇交叉熵?fù)p失和focal焦點損失。

27、作為優(yōu)選，語義分割模型的評估指標(biāo)包括：平均交并比miou、平均像素準(zhǔn)確率mpa和平均精確度mprecision。

28、作為優(yōu)選，選取性能最優(yōu)的改進(jìn)segformer語義分割模型對芯片表面缺陷圖像進(jìn)行語義分割，包括：

29、將原圖輸入改進(jìn)segformer語義分割模型進(jìn)行分割；

30、基于所述編碼器部分對圖片進(jìn)行特征提取，獲得4個transformer模塊輸出的特征圖；

31、將所述4個transformer模塊輸出的特征圖輸入到所述解碼器部分進(jìn)行特征融合和預(yù)測，最終得到每個像素點屬于每個類別的分?jǐn)?shù)；

32、基于解碼器的輸出，使用softmax分類器將分?jǐn)?shù)轉(zhuǎn)化為概率值，選取概率最高的為該像素點的類別，給不同類別的像素點標(biāo)注不同的顏色，最終生成語義分割結(jié)果圖像。

33、本發(fā)明的另一個方面，提供了一種基于改進(jìn)segformer的芯片圖像缺陷分割裝置，包括：

34、構(gòu)建模塊，用于構(gòu)建包括訓(xùn)練集和測試集的多類別多尺度芯片表面缺陷圖像語義分割數(shù)據(jù)集；

35、調(diào)整模塊，用于改進(jìn)segformer語義分割網(wǎng)絡(luò)，將編碼器部分的4層transformerblock中的自注意力替換為交叉協(xié)方差注意力crosscovattn；將解碼器部分改為u形結(jié)構(gòu)，進(jìn)行特征融合；

36、訓(xùn)練模塊，用于對改進(jìn)segformer語義分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到改進(jìn)segformer語義分割模型；

37、測試模塊，用于對訓(xùn)練得到的改進(jìn)segformer語義分割模型進(jìn)行評估，調(diào)整訓(xùn)練參數(shù)，得到優(yōu)化模型；

38、語義分割模塊，用于選取性能最優(yōu)的改進(jìn)segformer語義分割模型對芯片表面缺陷圖像進(jìn)行語義分割，獲取語義分割結(jié)果圖像。

39、本發(fā)明的另一個方面，提供了一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)所述的一種基于改進(jìn)segformer的芯片圖像缺陷分割方法的步驟。

40、本發(fā)明由于采取以上技術(shù)方案，其具有以下有益效果：

41、1)針對語義分割模型在芯片表面缺陷分割領(lǐng)域泛化能力差的問題，本發(fā)明通過構(gòu)建多類別、多尺度的數(shù)據(jù)集，解決了訓(xùn)練數(shù)據(jù)的缺乏多樣性的問題。模型能夠在訓(xùn)練過程中接觸到更豐富的特征信息，從而提高其對新樣本的適應(yīng)能力和泛化性能。最終，這種增強(qiáng)的數(shù)據(jù)集為模型提供了更全面的學(xué)習(xí)基礎(chǔ)，使其在實際應(yīng)用中能夠更準(zhǔn)確地識別和分割各種芯片表面缺陷，顯著提升了模型的實用性和可靠性。

42、2)針對segformer網(wǎng)絡(luò)編碼器在特征提取方面不夠細(xì)致的問題，本發(fā)明使用交叉協(xié)方差注意力crosscovattn替換原有注意力，使模型能夠捕捉到特征間更細(xì)粒度的關(guān)系，增強(qiáng)對全局信息的捕捉能力。

43、3)針對segformer網(wǎng)絡(luò)對上下文信息捕捉能力弱，邊界分割精度不夠的問題，將segformer網(wǎng)絡(luò)設(shè)計u形解碼器，使模型能夠捕捉不同層次的上下文信息，提高模型對邊界信息的分割能力；設(shè)計自適應(yīng)特征融合模塊aff用于解碼器中的特征融合，通過自適應(yīng)地調(diào)整特征中每個通道和每個位置的權(quán)重，從而更有效地融合不同層次的特征，提高模型的分割精度。

44、4)針對現(xiàn)有缺陷測量方法依賴人工經(jīng)驗，主觀性強(qiáng)的問題，本發(fā)明通過改進(jìn)segformer語義分割模型得到缺陷的語義分割圖像，可以為之后的缺陷測量工作提供更加精確的缺陷輪廓。