本發(fā)明涉及產(chǎn)品零部件缺陷檢測，尤其涉及一種電子產(chǎn)品零部件高度檢測方法、裝置、設備及存儲介質(zhì)。

背景技術：

1、在電子產(chǎn)品的生產(chǎn)過程中，零部件的安裝精度對最終設備的質(zhì)量和性能有著直接的影響。為了保證產(chǎn)品質(zhì)量，制造商通常需要實施嚴格的檢測流程來驗證這些組件是否被正確安裝。

2、目前，行業(yè)內(nèi)常用的檢測手段主要包括人工目視檢查以及基于2d圖像處理技術的自動光學檢查(aoi)。這兩種方法能夠在一定程度上識別出明顯的缺陷，如零件缺失或者位置上的顯著偏差，但面對更加復雜且細微的問題(比如高度方向上的微小差異)時有所局限。因為人眼較容易忽略細微差異，而2daoi技術也無法提供足夠的深度信息以區(qū)分這些細微差別。

3、相關技術中，雖然3daoi技術通過利用激光掃描或結構光原理，能夠同時獲取待測對象的二維平面圖像及其三維空間信息，理論上可以更精確地評估元器件的位置準確性等方面。然而，這類系統(tǒng)往往要求被測物體保持靜止狀態(tài)才能進行準確測量，對處于動態(tài)傳送帶上的連續(xù)生產(chǎn)環(huán)境難以達到期望效果；其次，由于視野范圍有限，3daoi技術視野范圍有限，難以覆蓋像較大尺寸產(chǎn)品的全面檢測需求，只能實現(xiàn)局部區(qū)域的檢查，影響檢測效率。

技術實現(xiàn)思路

1、本發(fā)明提供一種電子產(chǎn)品零部件高度檢測方法、裝置、設備及存儲介質(zhì)，解決了動態(tài)傳送帶上的連續(xù)生產(chǎn)環(huán)境下，大型電子設備中零部件高度缺陷檢測的問題。

2、為達到上述目的，本技術采用如下技術方案：

3、第一方面，提供一種電子產(chǎn)品零部件高度檢測方法，包括：

4、選取沒有缺陷的電子產(chǎn)品作為標準樣本，基于預先配置的3d相機系統(tǒng)獲取標準樣品的三維點云數(shù)據(jù)及二維圖像；其中，獲取的所述三維點云數(shù)據(jù)和所述二維圖像的每個像素點一一對應；

5、將所述標準樣本的三維點云數(shù)據(jù)配置為標準點云；將所述標準樣本的二維圖像配置為標準圖像；在所述標準圖像上標出電子產(chǎn)品的整體感興趣區(qū)以及每個零部件的具體感興趣區(qū)域；

6、對于每一個所述零部件的具體感興趣區(qū)域，在所述標準點云中截取出對應的點云，形成零部件點云；

7、根據(jù)所述零部件點云，計算每個零部件的高度；

8、另采集至少一組不同的標準樣本，基于所述3d相機系統(tǒng)獲取其三維點云數(shù)據(jù)及二維圖像，通過二維仿射變換將獲取的每組所述三維點云數(shù)據(jù)及二維圖像分別對齊到所述標準點云和所述標準圖像上，并進行非剛性變換進一步校正；

9、根據(jù)所述標準圖像上已標出的具體感興趣區(qū)域，在獲取的每組所述二維圖像上標出每個零部件的具體感興趣區(qū)域，并在所述非剛性變換后的點云中截取出對應的點云，并根據(jù)截取的點云計算每個零部件的高度；

10、對于計算獲得的多組所述高度數(shù)據(jù)計算平均高度和標準差；

11、選取待測試樣品，基于所述3d相機系統(tǒng)獲取其三維點云數(shù)據(jù)及二維圖像，記為待測試點云和待測試圖像，通過二維仿射變換將獲取的所述待測試點云和待測試圖像分別對齊到所述標準點云和所述標準圖像上，并進行非剛性變換進一步校正；

12、根據(jù)所述標準圖像上已標出的具體感興趣區(qū)域，在獲取的所述待測試圖像上標出每個零部件的具體感興趣區(qū)域，在所述非剛性變換后的點云中截取出對應的點云，并根據(jù)截取的點云計算每個零部件的當前高度；若滿足條件：

13、

14、則該零部件為缺陷零部件；反之為正常零部件；其中，為當前高度，為所述平均高度，t為一個閾值參數(shù)，σi為所述標準差。

15、在第一方面的第一種可能的實現(xiàn)方式中，所述3d相機系統(tǒng)包括一個高分辨率相機和與其配合使用的兩個移軸光機。

16、在第一方面的第二種可能的實現(xiàn)方式中，記所述標準點云為(xg,yg,zg)，標準圖像為pg；

17、電子產(chǎn)品的整體感興趣區(qū)r0以及每個零部件的具體感興趣區(qū)域ri,i＝1,2,…,n；

18、所述零部件點云為

19、所述的根據(jù)所述零部件點云，計算每個零部件的高度，具體包括：

20、步驟a，對零部件點云進行降采樣，保留m個數(shù)據(jù)點，得到

21、步驟b，對降采樣后獲得的零部件點云根據(jù)三維空間平面公式ax+by+cz+d＝0進行最小二乘法擬合，得到一組參數(shù)a,b,c,d；計算所有數(shù)據(jù)點的殘差對所有殘差進行排序，計算得到第一四分位q1，第三四分位q3和四分位距iqr＝q3-q1；將殘差在[0,q3+α×idr]范圍之外的數(shù)據(jù)點標記為離群數(shù)據(jù)并移除，其中α是一個閾值參數(shù)；

22、步驟c，重復進行上述步驟b，直到不存在任何離群數(shù)據(jù)點時，記錄此時的平面擬合參數(shù)為a',b',c',d′；利用下列公式計算得到零部件的高度：

23、

24、其中，分別為去除離群數(shù)據(jù)點后的平均值。

25、基于第一方面的第二種可能的實現(xiàn)方式，在第一方面的第三種可能的實現(xiàn)方式中，另采集k組無缺陷的電子產(chǎn)品樣品的三維點云數(shù)據(jù)及二維圖像，記采集的三維點云數(shù)據(jù)為測試點云(xk,yk,zk),k＝1,2,…,k，記采集的二維圖像為測試圖像pk；

26、所述的另采集至少一組不同的標準樣本，基于所述3d相機系統(tǒng)獲取其三維點云數(shù)據(jù)及二維圖像，通過二維仿射變換將獲取的每組所述三維點云數(shù)據(jù)及二維圖像分別對齊到所述標準點云和所述標準圖像上，并進行非剛性變換進一步校正，具體包括：

27、對于獲取的每一組測試圖像pk，將其進行二維仿射變換對齊標準圖像pg；記二維仿射變換矩陣為t；

28、根據(jù)所述二維仿射變換矩陣t，對于獲取的每一組測試點云(xk,yk,zk),k＝1,2,…,k，對其進行相同的二維仿射變換對齊標準點云(xg,yg,zg)，記為(xk1,yk1,zk1),k＝1,2,…,k；

29、定義殘差公式為：

30、r(x,y)＝c0+c1y+c2y2+c3y3+c4x+c5xy+c6xy2+c7x2+c8x2y+c9x3

31、定義優(yōu)化目標函數(shù)為：

32、

33、其中，j＝1,2,…,m為電子產(chǎn)品整體感興趣區(qū)域r0中的所有坐標點；對所述優(yōu)化目標函數(shù)進行優(yōu)化得到殘差公式r(x,y)的系數(shù)ci,i＝0,1,…,9；

34、對對齊后的測試點云(xk1,yk1,zk1),k＝1,2,…,k進行非剛性變換：

35、xk2＝xk1

36、yk2＝y(tǒng)k1

37、

38、得到變換后的坐標記為(xk2,yk2,zk2),k＝1,2,…,k。

39、第二方面，提供一種電子產(chǎn)品零部件高度檢測裝置，包括：

40、第一標準樣本模塊，用于選取沒有缺陷的電子產(chǎn)品作為標準樣本，基于預先配置的3d相機系統(tǒng)獲取標準樣品的三維點云數(shù)據(jù)及二維圖像；其中，獲取的所述三維點云數(shù)據(jù)和所述二維圖像的每個像素點一一對應；

41、將所述標準樣本的三維點云數(shù)據(jù)配置為標準點云；將所述標準樣本的二維圖像配置為標準圖像；在所述標準圖像上標出電子產(chǎn)品的整體感興趣區(qū)以及每個零部件的具體感興趣區(qū)域；

42、對于每一個所述零部件的具體感興趣區(qū)域，在所述標準點云中截取出對應的點云，形成零部件點云；

43、根據(jù)所述零部件點云，計算每個零部件的高度；

44、第二標準樣本模塊，用于另采集至少一組不同的標準樣本，基于所述3d相機系統(tǒng)獲取其三維點云數(shù)據(jù)及二維圖像，通過二維仿射變換將獲取的每組所述三維點云數(shù)據(jù)及二維圖像分別對齊到所述標準點云和所述標準圖像上，并進行非剛性變換進一步校正；

45、根據(jù)所述標準圖像上已標出的具體感興趣區(qū)域，在獲取的每組所述二維圖像上標出每個零部件的具體感興趣區(qū)域，并在所述非剛性變換后的點云中截取出對應的點云，并根據(jù)截取的點云計算每個零部件的高度；

46、對于計算獲得的多組所述高度數(shù)據(jù)計算平均高度和標準差；

47、待測試樣品檢測模塊，用于選取待測試樣品，基于所述3d相機系統(tǒng)獲取其三維點云數(shù)據(jù)及二維圖像，記為待測試點云和待測試圖像，通過二維仿射變換將獲取的所述待測試點云和待測試圖像分別對齊到所述標準點云和所述標準圖像上，并進行非剛性變換進一步校正；

48、根據(jù)所述標準圖像上已標出的具體感興趣區(qū)域，在獲取的所述待測試圖像上標出每個零部件的具體感興趣區(qū)域，在所述非剛性變換后的點云中截取出對應的點云，并根據(jù)截取的點云計算每個零部件的當前高度；若滿足條件：

49、

50、則該零部件為缺陷零部件；反之為正常零部件；其中，為當前高度，為所述平均高度，t為一個閾值參數(shù)，σi為所述標準差。

51、在第二方面的第一種可能的實現(xiàn)方式中，所述3d相機系統(tǒng)包括一個高分辨率相機和與其配合使用的兩個移軸光機。

52、在第二方面的第二種可能的實現(xiàn)方式中，記所述標準點云為(xg,yg,zg)，標準圖像為pg；

53、電子產(chǎn)品的整體感興趣區(qū)r0以及每個零部件的具體感興趣區(qū)域ri,i＝1,2,…,n；

54、所述零部件點云為

55、所述第一標準樣本模塊，具體還用于：

56、步驟a，對零部件點云進行降采樣，保留m個數(shù)據(jù)點，得到

57、步驟b，對降采樣后獲得的零部件點云根據(jù)三維空間平面公式ax+by+cz+d＝0進行最小二乘法擬合，得到一組參數(shù)a,b,c,d；計算所有數(shù)據(jù)點的殘差對所有殘差進行排序，計算得到第一四分位q1，第三四分位q3和四分位距iqr＝q3-q1；將殘差在[0,q3+α×iqr]范圍之外的數(shù)據(jù)點標記為離群數(shù)據(jù)并移除，其中α是一個閾值參數(shù)；

58、步驟c，重復進行上述步驟b，直到不存在任何離群數(shù)據(jù)點時，記錄此時的平面擬合參數(shù)為a',b',c',d'；利用下列公式計算得到零部件的高度：

59、

60、其中，分別為去除離群數(shù)據(jù)點后的平均值。

61、基于第二方面的第二種可能的實現(xiàn)方式，在第二方面的第三種可能的實現(xiàn)方式中，另采集k組無缺陷的電子產(chǎn)品樣品的三維點云數(shù)據(jù)及二維圖像，記采集的三維點云數(shù)據(jù)為測試點云(xk,yk,zk),k＝1,2,…,k，記采集的二維圖像為測試圖像pk；

62、所述第二標準樣本模塊，具體用于：

63、對于獲取的每一組測試圖像pk，將其進行二維仿射變換對齊標準圖像pg；記二維仿射變換矩陣為t；

64、根據(jù)所述二維仿射變換矩陣t，對于獲取的每一組測試點云(xk,yk,zk),k＝1,2,…,k，對其進行相同的二維仿射變換對齊標準點云(xg,yg,zg)，記為(xk1,yk1,zk1),k＝1,2,…,k；

65、定義殘差公式為：

66、r(x,y)＝c0+c1y+c2y2+c3y3+c4x+c5xy+c6xy2+c7x2+c8x2y+c9x3

67、定義優(yōu)化目標函數(shù)為：

68、

69、其中，j＝1,2,…,m為電子產(chǎn)品整體感興趣區(qū)域r0中的所有坐標點；對所述優(yōu)化目標函數(shù)進行優(yōu)化得到殘差公式r(x,y)的系數(shù)ci,i＝0,1,…,9；

70、對對齊后的測試點云(xk1,yk1,zk1),k＝1,2,…,k進行非剛性變換：

71、xk2＝xk1

72、yk2＝y(tǒng)k1

73、

74、得到變換后的坐標記為(xk2,yk2,zk2),k＝1,2,…,k。

75、第三方面，提供一種電子設備，所述電子設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執(zhí)行時實現(xiàn)如第一方面所述電子產(chǎn)品零部件高度檢測方法的步驟。

76、第四方面，提供一種可讀存儲介質(zhì)，所述可讀存儲介質(zhì)上存儲有程序或指令，所述程序或指令被處理器執(zhí)行時實現(xiàn)如第一方面所述電子產(chǎn)品零部件高度檢測方法的步驟。

77、有益效果：

78、本技術明能夠高精度的檢測零部件在高度方向的微小差異，提高了缺陷檢測的準確率；能夠在不影響流水線生產(chǎn)速度的情況下，快速、準確地檢測出大型電子設備中零部件的高度方向缺陷，確保產(chǎn)品質(zhì)量和生產(chǎn)效率，適應于流水線上移動的電子產(chǎn)品，不需要額外的定位裝置，大大提升了檢測效率，更適合現(xiàn)代化的高效生產(chǎn)環(huán)境。