本技術涉及激光焊接圖像處理領域，具體涉及一種基于主動學習檢測激光焊接缺陷的方法及系統。

背景技術：

1、目前工業中普遍使用機器學習或者深度學習方法對激光焊接過程中的缺陷進行檢測，如研究人員會采用激光功率、焊接速度、間隔距離等作為輸入參數，并使用機器學習模型如隨機森林、svm等來預測焊縫是否有缺陷。同時，研究人員基于3d點云數據并利用卷積神經網絡等深度學習方法來檢測激光焊接過程。但是在智能制造中，激光焊接缺乏大量人工標注數據集，同時，缺陷的樣本顯著少于正常樣本，如何在類別不平衡的情況下學習并檢測缺陷是一個亟需解決的問題。

技術實現思路

1、有鑒于此，本技術的目的在于提供一種基于主動學習檢測激光焊接缺陷的方法及系統，以解決如何在類別不平衡的情況下學習并檢測缺陷的技術問題。

2、本技術公開了一種基于主動學習檢測激光焊接缺陷的方法，包括如下步驟：

3、s1、采集第一圖像作為樣本數據集，將所述樣本數據集分為已標記的第一樣本子集和未標記的第二樣本子集；其中，所述第一圖像為激光焊接過程中的圖像；

4、s2、基于主動學習和所述第一樣本子集，學習不同類別的多個視覺概念；對所述第一樣本子集進行卷積操作，輸出所述第一樣本子集的特征向量；計算每個視覺概念與特征向量的相似度；基于所述相似度對所述第一樣本子集的圖像進行二分類；所述二分類包括存在缺陷和不存在缺陷；

5、s3、基于所述視覺概念對所述第二樣本子集中的圖像重新劃分，劃分為常見類數據子集、稀有類數據子集、交叉類數據子集和未見類數據子集；

6、s4、將所述常見類數據子集和稀有類數據子集的圖像數據從所述第二樣本子集中移除，且擴充入所述第一樣本子集中；返回步驟s2，直到滿足預設條件為止，所述預設條件為常見類數據子集或稀有類數據子集的大小達到設定閾值；

7、s5、基于擴充后的所述第一樣本子集的圖像進行學習，建立激光焊接缺陷的分類模型；

8、s6、獲取第二圖像，基于所述分類模型判斷所述第二圖像是否存在缺陷；所述第二圖像為待判斷的激光焊接過程中的圖像。

9、在一些可能的實施方式中，所述計算每個視覺概念與特征向量的相似度，包括：

10、s21、初始化視覺概念，當視覺概念在輸入的特征向量滑過時，生成多個與每個步長對應的特征向量，計算視覺概念與每個特征向量的距離，并確定最小距離；

11、s22、將每個視覺概念與特征向量之間的最小距離存儲在距離矩陣中；基于距離矩陣計算所述相似度，包括：

12、；

13、其中，是計算距離矩陣中的最小值，為相似度。

14、在一些可能的實施方式中，所述基于所述相似度對所述第一樣本子集的圖像進行二分類，包括：

15、基于所述相似度，輸出大小為的向量；其中，是每個類別的視覺概念數量，是類別數量；

16、基于分類模型和向量對第一樣本子集的圖像進行分類，所述分類模型包括一個全連接層和一個softmax激活函數。

17、在一些可能的實施方式中，所述基于所述視覺概念對所述第二樣本子集中的圖像重新劃分，劃分為常見類數據子集、稀有類數據子集、交叉類數據子集和未見類數據子集，包括：

18、s31、對第二樣本子集中每一張圖像，基于主動學習模塊生成個視覺概念的相似度，其中是類別數量，是指定的每個類別的視覺概念數量；

19、s32、判斷第二樣本子集中任一圖像的所有視覺概念是否一半屬于常見類，另一半屬于稀有類，如果是，則該圖像加入交叉類數據子集中，若否執行步驟s33；

20、s33、判斷與所述任一圖像最相似性的視覺概念的覆蓋度分數是否大于閾值，如果是，進入步驟s34，如果否，則進入步驟s35；

21、s34、計算視覺概念與所述任一圖像的相似度，當相似度大于閾值，則將所述任一圖像加入常見類數據子集中，如果相似度小于閾值，則將所述任一圖像加入未見類數據子集中；

22、s35、計算視覺概念與所述任一圖像的唯一性分數，當唯一性分數大于閾值，則將該圖像加入稀有類數據子集，當唯一性分數小于閾值，結束流程，不標記該圖像。

23、作為本技術的第二方面，還提供了一種基于主動學習檢測激光焊接缺陷的系統，包括：數據采集模塊、主動學習模塊、數據劃分模塊、數據調整模塊、分類模型訓練模塊和缺陷判斷模塊；其中，所述數據采集模塊用于采集第一圖像作為樣本數據集，將所述樣本數據集分為已標記的第一樣本子集和未標記的第二樣本子集；其中，所述第一圖像為激光焊接過程中的圖像；所述主動學習模塊用于基于主動學習和所述第一樣本子集，學習不同類別的多個視覺概念；所述主動學習模塊包括特征向量單元、相似度計算單元和二分類單元；其中，所述特征向量單元用于對所述第一樣本子集進行卷積操作，輸出所述第一樣本子集的特征向量；計算每個視覺概念與特征向量的相似度；基于所述相似度對所述第一樣本子集的圖像進行二分類；所述二分類包括存在缺陷和不存在缺陷；所述數據劃分模塊用于基于所述視覺概念對所述第二樣本子集中的圖像重新劃分，劃分為常見類數據子集、稀有類數據子集、交叉類數據子集和未見類數據子集；數據調整模塊用于將所述常見類數據子集和稀有類數據子集的圖像數據從所述第二樣本子集中移除，且擴充入所述第一樣本子集中；返回步驟主動學習模塊，直到滿足預設條件為止；所述預設條件為常見類數據子集或稀有類數據子集的大小達到設定閾值；分類模型訓練模塊用于基于擴充后的所述第一樣本子集的圖像進行學習，建立激光焊接缺陷的分類模型；缺陷判斷模塊用于獲取第二圖像，基于所述分類模型判斷所述第二圖像是否存在缺陷；所述第二圖像為待判斷的激光焊接過程中的圖像。

24、在一些可能的實施方式中，所述相似度計算單元包括第一子單元和第二子單元；所述第一子單元用于初始化視覺概念，當視覺概念在輸入的特征向量滑過時，生成多個與每個步長對應的特征向量，計算視覺概念與每個特征向量的距離，并確定最小距離；所述第二子單元用于將每個視覺概念與特征向量之間的最小距離存儲在距離矩陣中；基于距離矩陣計算所述相似度，包括：

25、；

26、其中，是計算距離矩陣中的最小值，為相似度。

27、在一些可能的實施方式中，所述二分類單元包括第三子單元和第四子單元；所述第三子單元用于基于所述相似度，輸出大小為的向量；其中，m是每個類別的視覺概念數量，c是類別數量；所述第四子單元用于基于分類模型和向量對第一樣本子集的圖像進行分類，所述分類模型包括一個全連接層和一個softmax激活函數。

28、在一些可能的實施方式中，所述數據劃分模塊包括相似度生成單元、交叉分類單元、覆蓋度分數計算單元、未見和常見分類單元和稀有類分類單元；所述相似度生成單元用于對第二樣本子集中每一張圖像，基于主動學習模塊生成個視覺概念的相似度，其中是類別數量，是指定的每個類別的視覺概念數量；所述交叉分類單元用于判斷第二樣本子集中任一圖像的所有視覺概念是否一半屬于常見類，另一半屬于稀有類，如果是，則該圖像加入交叉類數據子集中，若否轉入覆蓋度分數計算單元；所述覆蓋度分數計算單元用于判斷與所述任一圖像最相似性的視覺概念的覆蓋度分數是否大于閾值，如果是，進入未見和常見分類單元執行，如果否，則進入稀有類分類單元執行；所述未見和常見分類單元用于計算視覺概念與所述任一圖像的相似度，當相似度大于閾值，則將所述任一圖像加入常見類數據子集中，如果相似度小于閾值，則說明最相似的一個圖像塊都不與已經訓練過的視覺概念相似，則將所述任一圖像加入未見類數據子集中；所述稀有類分類單元用于計算視覺概念與所述任一圖像的唯一性分數，當唯一性分數大于閾值，則將該圖像加入稀有類數據子集，當唯一性分數小于閾值，結束流程，不標記該圖像。

29、有益效果：將數據集分為已標記的樣本集和未標記的樣本集，其次，基于主動學習學習不同類別的視覺概念，基于視覺概念對圖像未標記的樣本集中的圖像進行分類，將部分分類的圖像并入已標記的樣本集中，經過多輪迭代擴充已標記的樣本集，對擴充后的已標記的樣本集進行學習建立缺陷的分類模型；通過學習新的擴充后的標記的樣本集建立是否存在缺陷的分類模型；實現在類別不平衡的情況下學習并檢測缺陷。

30、本技術的其他優點、目標和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領域技術人員而言將是顯而易見的，或者可以從本技術的實踐中得到教導。本技術的目標和其他優點可以通過下面的說明書來實現和獲得。