本技術涉及三維重建，尤其是涉及一種基于圖像和點云信息融合的齒輪三維彩色重建方法和系統。

背景技術：

1、航空齒輪的設計和制造在過去的幾十年已經取得了長足的進步，但是航空齒輪檢測仍以坐標測量機采點和人工視覺檢查等為主，自動化智能化水平較低，已不適應當前航空工業高速智能化數字化的發展需求。

2、航空齒輪檢測的內容較為復雜多樣，包括齒形、齒向、表面缺陷以及接觸印痕等。其中，表面缺陷和接觸印痕測量主要依靠人工視覺檢查完成，具體為質檢員將齒輪內外表面進行觀察是否存在劃傷、碰傷和銹蝕等表面缺陷，再記錄所檢產品的檢查結果；通過手工貼取接觸印痕、卡尺測量接觸印痕參數并記錄。這些人工方法不僅存在效率低、數據存儲、可維護性差以及人為主觀誤差大等問題，還無法定量地對缺陷尺寸、類別以及接觸印痕評價參數進行高精度地測量，無法滿足航空發動機對航空齒輪性能和質量一致性提升的要求。

技術實現思路

1、本技術旨在提出一種基于圖像和點云信息融合的齒輪三維彩色重建方法和系統，通過實現高精度的齒輪三維彩色重建，以便提高齒輪的檢測效率，提高齒輪檢測的精確度，并且能夠為齒輪的多維度檢測奠定重要基礎。

2、第一方面，本技術實施例提供了一種基于圖像和點云信息融合的齒輪三維彩色重建方法，所述方法包括：

3、采集不同高度和不同位置的校準塊的第一圖像和第一點云數據，得到多張第一圖像和多組第一點云數據，以及，采集齒輪的第二圖像和第二點云數據，其中，同一高度和同一位置的校準塊的第一圖像和第一點云數據被同時采集；

4、基于所述多張第一圖像，粗識別出每張所述第一圖像對應的第一粗二維角點坐標；

5、基于每張所述第一圖像對應的第一粗二維角點坐標，確定多組第一目標二維角點坐標；

6、基于所述多組第一點云數據，確定多組目標三維角點坐標；

7、計算所述多組第一目標二維角點坐標和所述多組目標三維角點坐標之間的多維度數據轉換關系，得到轉換矩陣；

8、基于所述轉換矩陣、所述第二圖像和所述第二點云數據，重建齒輪三維彩色模型。

9、與現有技術相比，本技術第一方面具有以下有益效果：

10、本方法通過采集不同高度和不同位置的校準塊的第一圖像和第一點云數據，得到多張第一圖像和多組第一點云數據，以及，采集齒輪的第二圖像和第二點云數據，其中，同一高度和同一位置的校準塊的第一圖像和第一點云數據被同時采集；基于多張第一圖像，粗識別出每張第一圖像對應的第一粗二維角點坐標；基于每張第一圖像對應的第一粗二維角點坐標，確定多組第一目標二維角點坐標；基于多組第一點云數據，確定多組目標三維角點坐標；計算多組第一目標二維角點坐標和多組目標三維角點坐標之間的多維度數據轉換關系，得到轉換矩陣；基于轉換矩陣、第二圖像和第二點云數據，重建齒輪三維彩色模型。如此，通過采用第一粗二維角點坐標進一步確定更加精確的第一目標二維角點坐標，然后采用同樣的方式確定目標三維角點坐標，再根據精確的第一目標二維角點坐標和目標三維角點坐標，計算準確的轉換矩陣，最后基于準確的轉換矩陣，重建齒輪三維彩色模型，能夠實現高精度的齒輪三維彩色重建，以便提高齒輪的檢測效率，提高齒輪檢測的精確度，并且能夠為齒輪的多維度檢測奠定重要基礎。

11、在一些實施方式中，所述基于所述多張第一圖像，粗識別出每張所述第一圖像對應的第一粗二維角點坐標，包括：

12、對所述多張第一圖像中的校準塊進行濾波和邊緣檢測，得到每張所述第一圖像中校準塊的邊緣二維像素點；

13、對每張所述第一圖像中校準塊的邊緣二維像素點進行降采樣，得到多組采樣后校準塊的邊緣像素點，其中，一組采樣后校準塊的邊緣像素點對應一張所述第一圖像；

14、對每組所述采樣后校準塊的邊緣像素點按照首尾相連進行排序，得到多組排序后校準塊的邊緣像素點；

15、從每組所述排序后校準塊的邊緣像素點中任意選取四個排序后的邊緣像素點，計算所述四個排序后的邊緣像素點的面積，得到多個第一面積；

16、將所述多個第一面積中面積最大的四個邊緣二維像素點確定為粗二維角點坐標，得到每張所述第一圖像對應的第一粗二維角點坐標。

17、在一些實施方式中，所述基于每張所述第一圖像對應的第一粗二維角點坐標，確定多組第一目標二維角點坐標，包括：

18、將每張所述第一圖像對應的第一粗二維角點坐標中相鄰兩個粗二維角點坐標之間的其他邊緣二維像素點保存至一個集合，得到每張所述第一圖像對應的四個點集；

19、對每個所述點集進行迭代直線擬合，得到四條直線；

20、對所述四條直線進行交點坐標計算，得到每張所述第一圖像對應的四個交點坐標；

21、將所述四個交點坐標作為一組目標二維角點坐標，得到多組第一目標二維角點坐標。

22、在一些實施方式中，所述基于所述多組第一點云數據，確定多組目標三維角點坐標，包括：

23、對每組所述第一點云數據進行平面擬合，得到每組所述第一點云數據對應的擬合平面，所述第一點云數據為線激光掃描儀采集的所述校準塊頂部平面的點云數據；

24、計算每組所述第一點云數據對應的擬合平面的法向量，得到多個法向量；

25、計算每個所述法向量與線激光掃描儀坐標系中z軸的夾角，得到多個夾角；

26、根據每組所述第一點云數據對應的所述法向量和所述夾角，將每組所述第一點云數據對應的所述擬合平面上的點云數據投影至平面，得到多個投影后的平面；

27、對每個所述投影后的平面上的點進行編碼，得到多組編碼坐標值；

28、基于每組所述編碼坐標值，粗識別出每個所述投影后的平面對應的第二粗二維角點坐標；

29、基于每個所述投影后的平面對應的第二粗二維角點坐標，確定多組第二目標二維角點坐標；

30、將所述多組第二目標二維角點坐標進行逆變換，得到多組目標三維角點坐標。

31、在一些實施方式中，所述根據每組所述第一點云數據對應的所述法向量和所述夾角，將每組所述第一點云數據對應的所述擬合平面上的點云數據投影至平面，得到多個投影后的平面，包括：

32、將每組所述第一點云數據對應的所述法向量與所述線激光掃描儀坐標系中z軸平行，使每組所述第一點云數據對應的所述擬合平面和所述線激光掃描儀坐標系中的xoy平面平行；

33、在每組所述第一點云數據對應的所述擬合平面和所述線激光掃描儀坐標系中的xoy平面平行后，將每組所述第一點云數據對應的所述擬合平面上的點云數據投影至xoy平面，得到多個投影后的平面。

34、在一些實施方式中，所述對每個所述投影后的平面上的點進行編碼，得到多組編碼坐標值，包括：

35、預設編碼區域間隔；

36、將每個所述投影后的平面中x值和y值最小的平面點坐標作為編碼坐標系原點坐標；

37、將每個所述投影后的平面中所有平面點的坐標減去所述編碼坐標系原點坐標后除以所述編碼區域間隔，得到多組編碼坐標值。

38、在一些實施方式中，所述基于所述轉換矩陣、所述第二圖像和所述第二點云數據，重建齒輪三維彩色模型，包括：

39、根據所述轉換矩陣，將所述第二點云數據投影至所述第二圖像上，記錄每個第二點云數據對應第二圖像上的像素值的rgb信息；

40、將所述rgb信息通過轉換矩陣映射至具有三維空間的第二點云數據上，得到彩色點云數據；

41、基于所述彩色點云數據，重建齒輪三維彩色模型。

42、第二方面，本技術實施例還提供了一種基于圖像和點云信息融合的齒輪三維彩色重建系統，所述系統包括：

43、數據采集單元，用于采集不同高度和不同位置的校準塊的第一圖像和第一點云數據，得到多張第一圖像和多組第一點云數據，以及，采集齒輪的第二圖像和第二點云數據，其中，同一高度和同一位置的校準塊的第一圖像和第一點云數據被同時采集；

44、粗識別單元，用于基于所述多張第一圖像，粗識別出每張所述第一圖像對應的第一粗二維角點坐標；

45、第一數據確定單元，用于基于每張所述第一圖像對應的第一粗二維角點坐標，確定多組第一目標二維角點坐標；

46、第二數據確定單元，用于基于所述多組第一點云數據，確定多組目標三維角點坐標；

47、轉換矩陣計算單元，用于計算所述多組第一目標二維角點坐標和所述多組目標三維角點坐標之間的多維度數據轉換關系，得到轉換矩陣；

48、彩色模型重建單元，用于基于所述轉換矩陣、所述第二圖像和所述第二點云數據，重建齒輪三維彩色模型。

49、第三方面，本技術實施例還提供了一種電子設備，包括至少一個控制處理器和用于與所述至少一個控制處理器通信連接的存儲器；所述存儲器存儲有可被所述至少一個控制處理器執行的指令，所述指令被所述至少一個控制處理器執行，以使所述至少一個控制處理器能夠執行如上所述的一種基于圖像和點云信息融合的齒輪三維彩色重建方法。

50、第四方面，本技術實施例還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機可執行指令，所述計算機可執行指令用于使計算機執行如上所述的一種基于圖像和點云信息融合的齒輪三維彩色重建方法。

51、可以理解的是，上述第二方面至第四方面與相關技術相比存在的有益效果與上述第一方面與相關技術相比存在的有益效果相同，可以參見上述第一方面中的相關描述，在此不再贅述。