本申請涉及圖像處理，尤其涉及一種基于圖像采集的電子元器件封裝缺陷檢測方法及檢測系統。

背景技術：

1、電子元器件作為現代電子設備的基礎組成部分，其質量和可靠性直接影響到整個電子設備的性能。隨著機器視覺技術的發展，它在電子元器件封裝檢測領域得到了廣泛的應用。機器視覺技術通過圖像采集設備獲取電子元器件封裝的圖像，然后利用計算機視覺算法對這些圖像進行分析，以檢測封裝是否存在缺陷。其中，缺陷檢測算法的建立和訓練是實現準確檢測的核心。在現有的機器視覺技術用于電子元器件封裝檢測時，深度神經網絡是一種常用的構建缺陷檢測算法的工具。深度神經網絡由多個層組成，這些層可以大致分為特征提取部分和信息還原部分，類似于編碼器和解碼器的功能。特征提取部分用于從輸入的電子元器件封裝圖像中提取各種特征，而信息還原部分則試圖根據提取的特征來確定是否存在缺陷以及缺陷的類型和位置等信息。

2、在構建深度神經網絡時，每一層中都包含標準化結構，這些標準化結構的位置不同會對網絡性能產生不同的影響。其中，后標準化結構的網絡雖然在性能和泛化性方面表現不錯，但存在穩定性方面的缺陷。當網絡層數較多時，這種后標準化結構的網絡在訓練環節容易出現崩潰的情況。這是因為在深度神經網絡的訓練過程中，隨著網絡層數的增加，梯度在反向傳播過程中可以出現消失或爆炸的問題，而后標準化結構難以有效地緩解這種情況，從而導致網絡訓練不穩定，影響最終訓練得到的缺陷檢測算法的效果。由于后標準化結構網絡的上述問題，導致基于這種網絡構建的缺陷檢測算法在檢測電子元器件封裝缺陷時，存在檢測準確性不足的情況。例如，可以漏檢一些微小的缺陷或者誤判一些正常的封裝為有缺陷的情況。同時，算法的普適性也受到限制，即對于不同類型的電子元器件封裝或者在不同的生產環境下，算法的表現可以出現較大的波動，不能穩定地提供準確的檢測結果。

技術實現思路

1、有鑒于此，本申請提供一種基于圖像采集的電子元器件封裝缺陷檢測方法及檢測系統。本申請的技術方案是這樣實現的：

2、一方面，本申請提供一種基于圖像采集的電子元器件封裝缺陷檢測方法，應用于檢測系統，所述檢測系統設置缺陷檢測算法，所述缺陷檢測算法包括按序排布的u個特征提取子算子和按序排布的v個信息還原子算子，每個所述特征提取子算子和每個所述信息還原子算子包括按序排布的標準化模塊和算子組成模塊，u是不小于2的自然數，v是不小于3的自然數，所述方法包括：獲取電子元器件封裝圖像；將所述電子元器件封裝圖像傳送至所述u個特征提取子算子，采用所述u個特征提取子算子中的每個所述特征提取子算子按序進行描述子挖掘，得到所述u個特征提取子算子輸出的圖像描述子；其中，每個所述特征提取子算子用于按序采用所述標準化模塊和所述算子組成模塊進行描述子挖掘，以及采用所述標準化模塊的輸入端和輸出端的短接路徑，對所述特征提取子算子的描述子挖掘結果進行處理；將所述圖像描述子傳送至所述v個信息還原子算子，采用所述v個信息還原子算子中的每個所述信息還原子算子按序進行描述子挖掘，得到所述v個信息還原子算子輸出的缺陷標注描述子；其中，每個所述信息還原子算子用于按序采用所述標準化模塊和所述算子組成模塊進行描述子挖掘，以及采用所述短接路徑對所述信息還原子算子的描述子挖掘結果進行處理；依據所述缺陷標注描述子預估所述電子元器件封裝圖像的缺陷標注結果；

3、另一方面，本申請提供一種檢測系統，包括存儲器和處理器，所述存儲器存儲有可在處理器上運行的計算機程序，所述處理器執行所述程序時實現以上所述方法中的步驟。

4、本申請的有益效果：本申請采用特征提取子算子和信息還原子算子組成缺陷檢測算法，因為各個子算子中的標準化模塊在算子組成模塊前面，此外子算子中的標準化模塊的輸入端和輸出端短接路徑，構成在前標準化結構上加入后標準化的短接路徑，這個短接路徑能建立一個穩固的梯度傳遞路徑，在缺陷檢測算法的算子層數遞增時，缺陷檢測算法隨之收斂，算法的訓練更加魯棒。進一步地，缺陷檢測算法中后標準化的結構可以讓缺陷檢測算法的缺陷檢測質量提高，同時讓算法的普適性得到加強。

技術特征：

1.一種基于圖像采集的電子元器件封裝缺陷檢測方法，其特征在于，應用于檢測系統，所述檢測系統設置缺陷檢測算法，所述缺陷檢測算法包括按序排布的u個特征提取子算子和按序排布的v個信息還原子算子，每個所述特征提取子算子和每個所述信息還原子算子包括按序排布的標準化模塊和算子組成模塊，u是不小于2的自然數，v是不小于3的自然數，所述方法包括：獲取電子元器件封裝圖像；將所述電子元器件封裝圖像傳送至所述u個特征提取子算子，采用所述u個特征提取子算子中的每個所述特征提取子算子按序進行描述子挖掘，得到所述u個特征提取子算子輸出的圖像描述子；其中，每個所述特征提取子算子用于按序采用所述標準化模塊和所述算子組成模塊進行描述子挖掘，以及采用所述標準化模塊的輸入端和輸出端的短接路徑，對所述特征提取子算子的描述子挖掘結果進行處理；將所述圖像描述子傳送至所述v個信息還原子算子，采用所述v個信息還原子算子中的每個所述信息還原子算子按序進行描述子挖掘，得到所述v個信息還原子算子輸出的缺陷標注描述子；其中，每個所述信息還原子算子用于按序采用所述標準化模塊和所述算子組成模塊進行描述子挖掘，以及采用所述短接路徑對所述信息還原子算子的描述子挖掘結果進行處理；依據所述缺陷標注描述子預估所述電子元器件封裝圖像的缺陷標注結果。

2.根據權利要求1所述的方法，其特征在于，所述缺陷檢測算法的訓練過程包括：獲取電子元器件封裝訓練圖像；將所述電子元器件封裝訓練圖像傳送至所述u個特征提取子算子，采用所述u個特征提取子算子中的各個所述特征提取子算子按序進行描述子挖掘，得到所述u個特征提取子算子輸出的圖像描述子；每個所述特征提取子算子用于按序采用所述標準化模塊和所述算子組成模塊進行描述子挖掘，以及采用所述標準化模塊的輸入端和輸出端的短接路徑，對所述特征提取子算子的描述子挖掘結果進行處理；將所述圖像描述子傳送至所述v個信息還原子算子，采用所述v個信息還原子算子中的每個所述信息還原子算子按序進行描述子挖掘，得到所述v個信息還原子算子輸出的缺陷標注描述子，每個所述信息還原子算子用于按序采用所述標準化模塊和所述算子組成模塊進行描述子挖掘，以及采用所述短接路徑對所述信息還原子算子的描述子挖掘結果進行處理；依據所述缺陷標注描述子預估所述電子元器件封裝訓練圖像的訓練缺陷標注結果；依據所述電子元器件封裝訓練圖像的實際缺陷標注結果與所述訓練缺陷標注結果的區別，迭代所述缺陷檢測算法的算法參數。

3.根據權利要求2所述的方法，其特征在于，所述缺陷檢測算法包括按序排布的p個特征提取算子，每個所述特征提取算子包括所述u個特征提取子算子中按序排布的若干所述特征提取子算子，p是不小于2的自然數；所述將所述電子元器件封裝訓練圖像傳送至所述u個特征提取子算子，采用所述u個特征提取子算子中的各個所述特征提取子算子按序進行描述子挖掘，得到所述u個特征提取子算子輸出的圖像描述子，包括：將所述電子元器件封裝訓練圖像傳送至第一個特征提取算子，采用所述第一個特征提取算子中的每個所述特征提取子算子按序進行描述子挖掘，得到所述第一個特征提取算子的特征提取結果；將第r個特征提取算子的特征提取結果傳送至第r+1個特征提取算子，采用所述第r+1個特征提取算子中的每個所述特征提取子算子按序進行描述子挖掘，得到所述第r+1個特征提取算子的特征提取結果，r為大于0的自然數，r+1＜p；所述缺陷檢測算法包括按序排布的p個信息還原算子，每個所述信息還原算子包括所述v個信息還原子算子中按序排布的不少于2個所述信息還原子算子；所述將所述圖像描述子傳送至所述v個信息還原子算子，采用所述v個信息還原子算子中的每個所述信息還原子算子按序進行描述子挖掘，得到所述v個信息還原子算子輸出的缺陷標注描述子，包括：將第p個特征提取算子的特征提取結果傳送至第一個信息還原算子，采用所述第一個信息還原算子中的每個所述信息還原子算子按序進行描述子挖掘，得到所述第一個信息還原算子的特征提取結果；將所述第p個特征提取算子的特征提取結果和第s個信息還原算子的特征提取結果傳送至第s+1個信息還原算子，采用所述第s+1個信息還原算子中的每個所述信息還原子算子按序進行描述子挖掘，得到所述第s+1個信息還原算子的特征提取結果，s是大于0的自然數，s+1＜p。

4.根據權利要求3所述的方法，其特征在于，每個所述特征提取算子包括按序排布的第一特征提取子算子和第二特征提取子算子，所述第一特征提取子算子的算子組成模塊采用聯合注意力挖掘機制，所述第二特征提取子算子的算子組成模塊為卷積神經網絡；所述將第r個特征提取算子的特征提取結果傳送至第r+1個特征提取算子，采用所述第r+1個特征提取算子中的每個所述特征提取子算子按序進行描述子挖掘，得到所述第r+1個特征提取算子的特征提取結果，包括：將所述第r個特征提取算子的特征提取結果傳送至所述第r+1個特征提取算子的第一特征提取子算子；按序采用所述第一特征提取子算子的所述標準化模塊和所述聯合注意力挖掘機制進行描述子挖掘；將所述第r個特征提取算子的特征提取結果和所述第一特征提取子算子的所述標準化模塊的特征提取結果，采用所述短接路徑與所述第一特征提取子算子的所述聯合注意力挖掘機制的特征提取結果進行加法計算，得到所述第一特征提取子算子的特征提取結果；將所述第一特征提取子算子的特征提取結果傳送至所述第r+1個特征提取算子的第二特征提取子算子；按序采用所述第二特征提取子算子的所述標準化模塊和所述卷積神經網絡進行描述子挖掘；將所述第一特征提取子算子的特征提取結果和所述第二特征提取子算子的所述標準化模塊的特征提取結果，采用所述短接路徑與所述第二特征提取子算子的所述卷積神經網絡的特征提取結果進行加法計算，得到所述第r+1個特征提取算子的特征提取結果。

5.根據權利要求4所述的方法，其特征在于，所述將所述第r個特征提取算子的特征提取結果和所述第一特征提取子算子的所述標準化模塊的特征提取結果，采用所述短接路徑與所述第一特征提取子算子的所述聯合注意力挖掘機制的特征提取結果進行加法計算，得到所述第一特征提取子算子的特征提取結果，包括：確定所述第r個特征提取算子的特征提取結果與第一影響因子的第一求積結果；以及確定所述第一特征提取子算子的所述標準化模塊的特征提取結果與第二影響因子的第二求積結果；將所述第一求積結果和所述第二求積結果，采用所述短接路徑與所述第一特征提取子算子的所述聯合注意力挖掘機制的特征提取結果進行加法計算；所述將所述第一特征提取子算子的特征提取結果和所述第二特征提取子算子的所述標準化模塊的特征提取結果，采用所述短接路徑與所述第二特征提取子算子的所述卷積神經網絡的特征提取結果進行加法計算，得到所述第r+1個特征提取算子的特征提取結果，包括：確定所述第一特征提取子算子的特征提取結果與第三影響因子的第三求積結果；同時，確定所述第二特征提取子算子的所述標準化模塊的特征提取結果與第四影響因子的第四求積結果；將所述第三求積結果和所述第四求積結果，采用所述短接路徑與所述第二特征提取子算子的所述卷積神經網絡的特征提取結果進行加法計算。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：依據所述電子元器件封裝訓練圖像的實際缺陷標注結果與所述訓練缺陷標注結果的區別，迭代所述第一影響因子、所述第二影響因子、所述第三影響因子和所述第四影響因子中的其一或多個。

7.根據權利要求2所述的方法，其特征在于，所述方法還包括：對所述v個信息還原子算子輸出的缺陷標注描述子進行標準化處理，得到標準化缺陷標注描述子。

8.根據權利要求3~6任一項所述的方法，其特征在于，每個所述信息還原算子包括按序排布的第一信息還原子算子、第二信息還原子算子和第三信息還原子算子，所述第一信息還原子算子的算子組成模塊為第一聯合注意力挖掘機制，所述第二信息還原子算子的算子組成模塊為第二聯合注意力挖掘機制，所述第三信息還原子算子的算子組成模塊為卷積神經網絡；所述將所述第p個特征提取算子的特征提取結果和第s個信息還原算子的特征提取結果傳送至第s+1個信息還原算子，采用所述第s+1個信息還原算子中的每個所述信息還原子算子按序進行描述子挖掘，得到所述第s+1個信息還原算子的特征提取結果，包括：將所述第s個信息還原算子的特征提取結果傳送至所述第s+1個信息還原算子的第一信息還原子算子；按序采用所述第一信息還原子算子的所述標準化模塊和所述第一聯合注意力挖掘機制進行描述子挖掘；將所述第s個信息還原算子的特征提取結果和所述第一信息還原子算子的所述標準化模塊的特征提取結果，采用所述短接路徑與所述第一信息還原子算子的所述第一聯合注意力挖掘機制的特征提取結果進行加法計算，得到所述第一信息還原子算子的特征提取結果；將所述第p個特征提取算子的特征提取結果和所述第一信息還原子算子的特征提取結果傳送至所述第s+1個信息還原算子的第二信息還原子算子；按序采用所述第二信息還原子算子的所述標準化模塊和所述第二聯合注意力挖掘機制進行描述子挖掘；將所述第一信息還原子算子的特征提取結果和所述第二信息還原子算子的所述標準化模塊的特征提取結果，采用所述短接路徑與所述第二信息還原子算子的第二聯合注意力挖掘機制的特征提取結果進行加法計算，得到所述第二信息還原子算子的特征提取結果；將所述第二信息還原子算子的特征提取結果傳送至所述第s+1個信息還原算子的第三信息還原子算子；按序采用所述第三信息還原子算子的所述標準化模塊和所述卷積神經網絡進行描述子挖掘；將所述第二信息還原子算子的特征提取結果和所述第三信息還原子算子的所述標準化模塊的特征提取結果，采用所述短接路徑與所述第三信息還原子算子的所述卷積神經網絡的特征提取結果進行加法計算，得到所述第s+1個信息還原算子的特征提取結果。

9.根據權利要求2~6任一項所述的方法，其特征在于，所述方法還包括：在所述缺陷檢測算法的迭代代數不大于第一預設迭代代數的前提下，約束每一代迭代所述缺陷檢測算法迭代的算法參數量小于設定參數量；在所述缺陷檢測算法的迭代代數不小于第二預設迭代代數的前提下，不再約束所述設定參數量，所述第二預設迭代代數大于所述第一預設迭代代數。

10.一種檢測系統，包括存儲器和處理器，所述存儲器存儲有可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1至9任一項所述方法中的步驟。

技術總結
本申請涉及圖像處理領域，具體涉及一種基于圖像采集的電子元器件封裝缺陷檢測方法及檢測系統。本申請采用特征提取子算子和信息還原子算子組成缺陷檢測算法，因為各個子算子中的標準化模塊在算子組成模塊前面，此外子算子中的標準化模塊的輸入端和輸出端短接路徑，構成在前標準化結構上加入后標準化的短接路徑，這個短接路徑能建立一個穩固的梯度傳遞路徑，在缺陷檢測算法的算子層數遞增時，缺陷檢測算法隨之收斂，算法的訓練更加魯棒。進一步地，缺陷檢測算法中后標準化的結構可以讓缺陷檢測算法的缺陷檢測質量提高，同時讓算法的普適性得到加強。

技術研發人員：葉曉剛
受保護的技術使用者：先之科半導體科技（東莞）有限公司
技術研發日：
技術公布日：2025/3/10