本發(fā)明屬于語義分割領(lǐng)域，具體涉及一種基于雙分支可區(qū)分特征的表面缺陷分割方法及系統(tǒng)。

背景技術(shù)：

1、在工業(yè)生產(chǎn)中，產(chǎn)品不可避免地存在各種表面缺陷，如織物瑕疵、板面劃痕、磁性污染等。由于工人的效率容易受到主觀判斷的影響，可能會(huì)出現(xiàn)漏檢、錯(cuò)檢的問題，從而對(duì)產(chǎn)品的質(zhì)量和安全造成負(fù)面影響。因此，將表面缺陷檢測(cè)從人工檢查轉(zhuǎn)變?yōu)樽詣?dòng)化和智能化已成為一項(xiàng)關(guān)鍵任務(wù)。基于計(jì)算機(jī)視覺的圖像分割任務(wù)可以獲得缺陷的精確形狀和位置信息，從而對(duì)產(chǎn)品表面質(zhì)量做出可靠的判斷。

2、早期的計(jì)算機(jī)視覺技術(shù)最初設(shè)計(jì)表示，如haar、hog等，以提取特征，然后使用這些特征來訓(xùn)練adaboost和svm等分類器進(jìn)行缺陷分類。然而，人工特征提取受到人類認(rèn)知局限性的限制，因此關(guān)鍵特征往往被忽視。此外，特征提取和分類器訓(xùn)練是單獨(dú)進(jìn)行的，因此這些方法在缺陷檢測(cè)中往往會(huì)導(dǎo)致次優(yōu)性能。最近，通過深度學(xué)習(xí)進(jìn)行缺陷計(jì)算機(jī)視覺檢測(cè)取得了重大成功。與早期的aoi方法相比，深度學(xué)習(xí)可以自主學(xué)習(xí)并從圖像中提取有效的特征，從而獲得良好且魯棒的檢測(cè)結(jié)果。這些基于深度學(xué)習(xí)方法的缺陷檢測(cè)方法可以分為兩個(gè)主要網(wǎng)絡(luò)：檢測(cè)網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。檢測(cè)網(wǎng)絡(luò)生成邊界框來定位和分類缺陷，包括yolo系列、rcnn系列和detr系列。相比之下，分割網(wǎng)絡(luò)對(duì)圖像中的像素進(jìn)行分類，可以實(shí)現(xiàn)缺陷的準(zhǔn)確定位和分類，并估計(jì)缺陷區(qū)域。因此，分割在缺陷檢測(cè)中得到了廣泛的應(yīng)用。

3、但是在語義分割中目前的眾多算法都面臨著以下問題。表面缺陷往往種類繁多，即使是在同一類別內(nèi)的缺陷，由于材料在制造或使用過程中受到不同的環(huán)境因素(如溫度、濕度、光照、污染等)影響，導(dǎo)致一些不同的缺陷在局部紋理和顏色上表現(xiàn)出相似性。例如，某些類型的裂紋在特定區(qū)域可能與劃痕難以區(qū)分，同一類缺陷也可能因位置不同而表現(xiàn)出各異的特征。因此，在識(shí)別和分割這些缺陷時(shí)，常常會(huì)發(fā)生錯(cuò)誤分類或錯(cuò)誤分割的情況。此外，部分表面缺陷具有模糊邊界，因?yàn)樗鼈兊闹苓厖^(qū)域與正常材料表面非常相似，盡管缺陷的中心區(qū)域可能較易辨認(rèn)。缺陷在尺寸和形狀上的廣泛變化也增加了準(zhǔn)確檢測(cè)的難度。上述這些問題都給表面缺陷的語義分割帶來了巨大的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明技術(shù)方案針對(duì)候選區(qū)域和目標(biāo)分類進(jìn)行了串聯(lián)運(yùn)行導(dǎo)致其運(yùn)行速度較慢的問題，提出一種基于雙分支可區(qū)分特征的表面缺陷分割方法及系統(tǒng)，通過在aspp模塊中采用塊級(jí)多尺度方法以增強(qiáng)感受野、添加二值分割分支以指導(dǎo)語義分割分支、設(shè)計(jì)可區(qū)分特征交叉注意力模塊以構(gòu)建雙分支之間的信息交互，從而實(shí)現(xiàn)精確的表面缺陷分割。

2、一方面，本發(fā)明技術(shù)方案提供一種基于雙分支可區(qū)分特征的表面缺陷分割方法，包括：

3、步驟1：構(gòu)建雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)；

4、所述雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)包括依次串聯(lián)的用于提取視覺信息的主干網(wǎng)絡(luò)、aspp模塊以及并行雙分支解碼器網(wǎng)絡(luò)；

5、所述并行雙分支解碼器網(wǎng)絡(luò)包括可區(qū)分特征交叉注意力模塊、二值分割分支解碼器網(wǎng)絡(luò)和語義分割分支解碼器網(wǎng)絡(luò)，二值分割分支解碼器網(wǎng)絡(luò)和語義分割分支解碼器網(wǎng)絡(luò)并行運(yùn)行，可區(qū)分特征交叉注意力模塊插入并行的二值分割分支解碼器網(wǎng)絡(luò)和語義分割分支解碼器網(wǎng)絡(luò)的中間部分，鏈接二值分割分支解碼器網(wǎng)絡(luò)和語義分割分支解碼器網(wǎng)絡(luò)；

6、步驟2：利用訓(xùn)練集圖像的原始標(biāo)簽，對(duì)訓(xùn)練集圖像進(jìn)行二值化處理，即將原始標(biāo)簽中所有缺陷區(qū)域的像素值統(tǒng)一修改為“1”，獲取訓(xùn)練集圖像對(duì)應(yīng)的二值標(biāo)簽；

7、步驟3：采用訓(xùn)練集圖像的原始標(biāo)簽和二值標(biāo)簽同時(shí)作為監(jiān)督信息，訓(xùn)練雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)，獲取最優(yōu)的雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)模型；

8、步驟4：將待分割的測(cè)試圖像輸入至步驟3獲取到的最優(yōu)雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)模型中，獲取測(cè)試圖像的語義分割結(jié)果圖像。

9、主干網(wǎng)絡(luò)指的圖像特征分辨率階段性下降網(wǎng)絡(luò)；

10、進(jìn)一步地，所述可區(qū)分特征交叉注意力模塊依次進(jìn)行patch?embedding處理、qkv線性變換、多頭交叉注意力計(jì)算以及mlp特征提取與轉(zhuǎn)換；利用二值分割分支解碼器網(wǎng)絡(luò)中二值分割中的缺陷特征來擴(kuò)展語義分割分支解碼器網(wǎng)絡(luò)中語義分割中的類間距離，增強(qiáng)缺陷類別之間以及缺陷與非缺陷之間的可區(qū)分性；

11、所述二值分割分支解碼器網(wǎng)絡(luò)是先通過逐步上采樣恢復(fù)特征圖大小后，再引入跳躍連接將相同分辨率的主干網(wǎng)絡(luò)特征圖和二值分割分支解碼器特征圖進(jìn)行融合、卷積操作，進(jìn)行特征提取和轉(zhuǎn)換，最終生成缺陷與非缺陷兩類的分割結(jié)果圖；

12、所述語義分割分支解碼器網(wǎng)絡(luò)是通過逐步上采樣恢復(fù)特征圖大小、引入跳躍連接將相同分辨率的二值分割分支解碼器特征圖和語義分割分支解碼器特征圖進(jìn)行融合、卷積操作進(jìn)一步特征提取和轉(zhuǎn)換而得到的，最終生成多個(gè)不同類別缺陷的分割結(jié)果圖。

13、進(jìn)一步地，所述可區(qū)分交叉注意力模塊的工作過程為：

14、步驟b1：輸入特征進(jìn)行patch?embedding處理；

15、將二值分割分支解碼器網(wǎng)絡(luò)的輸入特征xbi∈rc×h×w和語義分割分支解碼器網(wǎng)絡(luò)的輸入特征xse∈rc×h×w分別進(jìn)行patch?embedding處理，其中c、h和w分別表示批量大小、通道數(shù)量、高度和寬度，r表示多維張量；

16、步驟b2：qkv線性變換；

17、將語義分割分支解碼器網(wǎng)絡(luò)的輸入特征xse，通過線性變換和維度變換生成查詢向量二值分割分支解碼器網(wǎng)絡(luò)的輸入特征xbi用于生成關(guān)鍵向量k和數(shù)值向量v，xbi通過線性變換生成xbi通過線性變換和維度變換生成以實(shí)現(xiàn)通過利用二值分割信息來增強(qiáng)語義分割效果的目標(biāo)；其中，n表示注意力頭的數(shù)量，r表示多維張量，cemb表示嵌入向量的長(zhǎng)度，e表示中間變量，e＝he×we，he＝h/patch_size，we＝w/patch_size，patch_size表示片大小，取值依據(jù)經(jīng)驗(yàn)設(shè)置；

18、步驟b3：多頭交叉注意力計(jì)算；

19、交叉注意力的定義為：

20、

21、其中，“*”是矩陣乘法操作，“+”是矩陣加法操作；表示經(jīng)多頭交叉注意力計(jì)算后得到注意力特征圖；

22、步驟b4：mlp特征提取與轉(zhuǎn)換；

23、將步驟b3得到的att(q,k,v)進(jìn)行維度變換，得到特征圖attention∈并將該特征圖作為mlp的輸入，然后按照如下方式應(yīng)用串行卷積、激活和drop操作得到輸出特征

24、y＝drop(gelu(conv1(attention)))

25、z＝batchnorm2d(gelu(conv2(y)+attention))

26、output＝drop(conv3(z))

27、其中，conv1和conv3表示卷積核大小為1×1的卷積操作，前者用于調(diào)整特征的維度，后者則用于恢復(fù)特征的維度；gelu表示高斯誤差線性單元激活函數(shù)；conv2表示卷積核大小為3×3的卷積操作，主要用于進(jìn)行特征提取；drop表示droppath正則化操作，y和z均表示中間變量，隨機(jī)刪除模型多分支結(jié)構(gòu)子路徑的概率值設(shè)置為0.5。

28、進(jìn)一步地，所述輸入特征進(jìn)行patch?embedding處理的具體過程如下：

29、輸入特征首先通過卷積核大小和步長(zhǎng)均為patch_size的卷積操作，將圖像的通道數(shù)、高度和寬度分別修改為cemb、he和we，得到和其中，cemb為嵌入向量的長(zhǎng)度，he＝h/patch_size，we＝w/patch_size，此處patch_size設(shè)置為16；接著，將xbi和xse的后兩個(gè)維度進(jìn)行展平，得到和再將xbi和xse的兩個(gè)維度進(jìn)行交換，得到和其中e＝he×we。

30、來自二值分割分支解碼器網(wǎng)絡(luò)層中的特征xbi和語義分割分支解碼器網(wǎng)絡(luò)層中的特征xse，在進(jìn)行patch?embedding處理后，被有效地轉(zhuǎn)換為固定尺寸的嵌入向量；

31、進(jìn)一步地，所述雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)的訓(xùn)練過程如下：

32、以已知的訓(xùn)練集圖像為輸入，利用訓(xùn)練集圖像的原始標(biāo)簽，對(duì)其進(jìn)行二值化處理，即將原始標(biāo)簽中所有缺陷區(qū)域的像素值統(tǒng)一修改為“1”，獲取訓(xùn)練集圖像對(duì)應(yīng)的二值標(biāo)簽，以訓(xùn)練集圖像的原始標(biāo)簽和二值標(biāo)簽為監(jiān)督信息，設(shè)定聯(lián)合損失函數(shù)，訓(xùn)練雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)，得到訓(xùn)練好的雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)模型。

33、進(jìn)一步地，所述聯(lián)合損失函數(shù)ltotal由并行雙分支解碼器網(wǎng)絡(luò)的二值分割分支解碼器網(wǎng)絡(luò)的二分類交叉熵函數(shù)和語義分割分支解碼器網(wǎng)絡(luò)的交叉熵?fù)p失函數(shù)構(gòu)成，具體如下：

34、ltotal＝lseg+lb

35、其中，lseg表示語義分割分支解碼器網(wǎng)絡(luò)的交叉熵?fù)p失函數(shù)：

36、

37、lb表示二值分割分支解碼器網(wǎng)絡(luò)的二分類交叉熵函數(shù)：

38、

39、其中，yi和pi分別表示第i幅圖像的標(biāo)簽和預(yù)測(cè)概率，n表示批大小，k表示缺陷類別的數(shù)量。

40、進(jìn)一步地，將aspp模塊中并行特征塊通過特征塊的串聯(lián)和并聯(lián)的方式組合形成塊級(jí)多尺度得到msaspp模塊，并用msaspp模塊替代雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)中的aspp模塊；所述msaspp模塊的工作過程為：

41、步驟a1：輸入圖像特征；

42、將從主干網(wǎng)絡(luò)提取的最終的最具抽象的語義信息的深層圖像特征x∈rc×h×w輸入到msaspp模塊，其中r表示多維張量，c、h、w分別表示深層圖像特征的通道數(shù)、高度和寬度；

43、步驟a2：1×1卷積；

44、對(duì)深層圖像特征x進(jìn)行1×1卷積實(shí)現(xiàn)特征通道降維，得到第一次操作的輸出特征圖f1∈r256×h×w；

45、f1＝σ(conv1×1(x))

46、式中，conv1×1表示1×1卷積操作，σ表示bn和relu激活操作；

47、步驟a3：并行空洞卷積，并在相鄰卷積操作之間引入塊級(jí)多尺度；

48、將步驟a2中得到的輸出特征圖f1與深層圖像特征x進(jìn)行通道拼接，然后進(jìn)行膨脹率為6的3×3卷積，得到第二次操作的輸出特征圖f2∈r256×h×w；將輸出特征圖f2與深層圖像特征x進(jìn)行通道拼接，然后進(jìn)行膨脹率為12的3×3卷積，得到第三次操作的輸出特征圖f3∈r256×h×w；將輸出特征圖f3與輸入圖像特征x進(jìn)行通道拼接，然后進(jìn)行膨脹率為18的3×3卷積，得到第四次操作的輸出特征圖f4∈r256×h×w；

49、

50、式中，dconv3×3,d表示膨脹率為d的3×3空洞卷積，表示通道拼接操作，d＝(n-1)*6；

51、步驟a4：全局平均池化；

52、對(duì)深層圖像特征x進(jìn)行全局平均池化操作，再依次執(zhí)行1×1卷積、bn、relu激活和上采樣操作，得到第五次操作的輸出特征圖f5∈r256×h×w；

53、f5＝up(σ(conv1×1(pool1×1(x))))

54、式中，pool1×1表示全局平均池化，up表示上采樣；

55、步驟a5：特征拼接融合；

56、將上述步驟的輸出特征圖f1、f2、f3、f4和f5在通道維度上進(jìn)行特征拼接融合，得到融合特征圖fout∈rb×1280×h×w；

57、

58、步驟a6：輸出圖像特征；

59、對(duì)融合特征圖fout依次執(zhí)行1×1卷積、bn和relu激活操作，得到最終的輸出圖像特征fout∈r256×h×w；

60、fout＝σ(conv1×1(fout))。

61、串聯(lián)結(jié)構(gòu)表示上層分支的輸出結(jié)果依次作為下一層分支的輸入，直至最后一層分支結(jié)束，并列結(jié)構(gòu)表示各層分支并行處理，最終輸出結(jié)果匯總；采用塊級(jí)多尺度的思想改進(jìn)原始的aspp模塊，捕獲更細(xì)粒度的多尺度特征，增強(qiáng)感受野，解決表面缺陷的多尺度變化問題。

62、進(jìn)一步地，二值分割分支解碼器網(wǎng)絡(luò)工作過程如下：

63、獲得aspp模塊輸出特征塊進(jìn)行卷積操作并完成二倍上采樣得到特征塊b1；接下來將主干網(wǎng)絡(luò)階段四生成特征塊與b1進(jìn)行合并完成卷積操作得到所述可區(qū)分特征交叉注意力輸入xbi，經(jīng)過可區(qū)分特征交叉注意力模塊后得到輸出ybi；將ybi進(jìn)行二倍上采樣后并與主干網(wǎng)絡(luò)階段三生成的特征塊合并完成卷積操作得到特征塊b2，并將特征塊b2傳送給語義分割分支解碼器網(wǎng)絡(luò)中同分辨率的特征層；將特征塊b2進(jìn)行二倍上采樣后并與主干網(wǎng)絡(luò)階段二生成的特征塊合并完成卷積操作得到特征塊b3，并將特征塊b3傳送給語義分割分支解碼器網(wǎng)絡(luò)中同分辨率的特征層；將特征塊b3進(jìn)行二倍上采樣后得到特征塊b4，再將特征塊b4通過卷積操作和二倍上采樣完成同輸入圖片同分辨率的二值分割預(yù)測(cè)結(jié)果。

64、二值分割主要關(guān)注于缺陷與非缺陷的區(qū)別因此可以為語義分割提供更強(qiáng)的缺陷激活和位置信息預(yù)先定位等的先驗(yàn)信息提高語義分割準(zhǔn)確率。

65、所述主干網(wǎng)絡(luò)可以采用resnet系列、swin-transformer系列和mobilenet系列中的任意一種主干網(wǎng)路；resnet系列網(wǎng)絡(luò)通過殘差塊中的卷積操作，結(jié)合步長(zhǎng)為2的卷積來逐步減少特征圖尺寸，從原始輸入到1/32分辨率，共五個(gè)階段，每個(gè)階段結(jié)束時(shí)特征圖大小減半；swin-transformer系列網(wǎng)絡(luò)使用移位窗口機(jī)制和自注意力機(jī)制捕捉局部與全局信息，經(jīng)歷五個(gè)階段(階段一、階段二、階段三、階段四、階段五)，每次通過patch?merging將空間分辨率減半，最終達(dá)到1/32的輸入分辨率；mobilenet系列網(wǎng)絡(luò)都是通過特定階段內(nèi)的下采樣操作，以步長(zhǎng)為2的方式遞減特征圖的空間維度，經(jīng)歷五個(gè)階段，每個(gè)階段結(jié)束時(shí)特征圖大小減半。

66、進(jìn)一步地，語義分割分支解碼器網(wǎng)絡(luò)工作過程如下：

67、獲得aspp模塊輸出特征塊進(jìn)行卷積操作并完成二倍上采樣得到數(shù)據(jù)s1；接下來對(duì)數(shù)據(jù)s1進(jìn)行卷積操作得到所述可區(qū)分特征交叉注意力輸入xse，得到可區(qū)分特征交叉注意力模塊得到輸出yse；將yse進(jìn)行二倍上采樣后并與二值分割分支解碼器網(wǎng)絡(luò)生成的特征塊b2合并完成卷積操作得到數(shù)據(jù)s2；將數(shù)據(jù)s2進(jìn)行二倍上采樣后并與二值分割分支解碼器網(wǎng)絡(luò)生成的特征塊b3合并完成卷積操作得到數(shù)據(jù)s3；將數(shù)據(jù)s3特征進(jìn)行二倍上采樣后得到數(shù)據(jù)s4，通過卷積操作和二倍上采樣完成同輸入圖片同分辨率的語義分割預(yù)測(cè)結(jié)果。

68、二值分割主要關(guān)注于缺陷與非缺陷的區(qū)別因此可以為語義分割提供更強(qiáng)的缺陷激活和位置信息預(yù)先定位。語義分割可以通過獲得二值分割的先驗(yàn)信息充分提卻缺陷類別的這些判別特征，通過生成的區(qū)域和目標(biāo)增強(qiáng)類間的可分離性并減少誤分類并在一定程度上緩解過擬合問題。

69、第二方面，一種基于上述方法的雙分支可區(qū)分特征的表面缺陷分割系統(tǒng)，包括：

70、網(wǎng)絡(luò)構(gòu)建模塊：用于構(gòu)建雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)，所述雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)包括依次串聯(lián)的主干網(wǎng)絡(luò)、aspp模塊以及并行雙分支解碼器網(wǎng)絡(luò)；

71、利用交叉注意力整合來自二值分割分支和語義分割分支的缺陷語義信息，構(gòu)建雙分支之間的潛在交互并捕獲跨域信息交互，利用二值分割中的缺陷特征來增加語義分割中不同類別缺陷之間的類間距離，獲取增強(qiáng)的語義分割缺陷特征；

72、訓(xùn)練模塊：采用訓(xùn)練集圖像的原始標(biāo)簽和二值標(biāo)簽同時(shí)作為監(jiān)督信息，訓(xùn)練雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)，獲取最優(yōu)的雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)模型；

73、分割模塊：將待分割的測(cè)試圖像輸入至獲取到的最優(yōu)雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)模型中，通過模型中的語義分割分支獲取測(cè)試圖像的語義分割結(jié)果圖像。

74、有益效果

75、與現(xiàn)有方法相比，本發(fā)明的優(yōu)點(diǎn)有：

76、本發(fā)明技術(shù)方案中的雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)，能夠同時(shí)簡(jiǎn)單且高效地完成二值分割和語義分割的任務(wù)；該網(wǎng)絡(luò)利用msaspp模塊捕獲更細(xì)粒度的多尺度特征，增強(qiáng)感受野；該網(wǎng)絡(luò)引入雙分支解碼器，利用二值分割分支來引導(dǎo)語義分割分支，提取更精細(xì)的缺陷邊界；該網(wǎng)絡(luò)通過可區(qū)分特征交叉注意力整合來自二值分割分支和語義分割分支的缺陷語義信息，構(gòu)建雙分支之間的潛在交互并捕獲跨域信息交互，利用二值分割中的缺陷特征來增加語義分割中不同類別缺陷之間的類間距離；

77、本發(fā)明技術(shù)方案還使用聯(lián)合損失訓(xùn)練雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)，語義分割分支使用的損失為交叉熵?fù)p失函數(shù)，二值分割分支使用的損失為二分類交叉熵?fù)p失函數(shù)。

78、具體如下：

79、1、與單分支語義分割網(wǎng)絡(luò)相比，受益于雙分支解碼器的引導(dǎo)機(jī)制，本發(fā)明技術(shù)方案提出的雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)可以有效利用二值分割分支來引導(dǎo)語義分割分支，提取更精細(xì)的缺陷邊界，解決表面缺陷邊界模糊的問題。此外，與雙階段語義分割網(wǎng)絡(luò)相比，雙分支可區(qū)分特征交叉注意力網(wǎng)絡(luò)的兩個(gè)分支并行運(yùn)行，分割效率更高。

80、2、引入塊級(jí)多尺度到aspp模塊，捕獲更細(xì)粒度的多尺度特征，從而增強(qiáng)感受野，有利于解決表面缺陷的多尺度變化問題。

81、3、提出可區(qū)分特征交叉注意力模塊，利用交叉注意力整合來自二值分割分支和語義分割分支的缺陷語義信息，構(gòu)建雙分支之間的潛在交互并捕獲跨域信息交互，利用二值分割中的缺陷特征來增加語義分割中不同類別缺陷之間的類間距離，有利于表面缺陷的精準(zhǔn)分類。