本發明涉及特征融合，尤其是涉及一種管道缺陷圖像多模態特征融合方法及裝置。

背景技術：

1、目前現有的管道缺陷特征提取有以下技術以及存在的缺陷如下：1）灰度共生矩陣法（gray-level?co-occurrence?matrix，glcm），即通過計算特定空間中像素點出現的次數，獲得圖像內部像素點之間灰度與空間的相互關系。這種方法在分類正確率方面表現良好，但灰度級數的增加會顯著增加計算量和時間消耗；2）改進的灰度共生矩陣復合特征向量提取法與上述灰度共生矩陣法相比，在特征提取效率上有所提高，但隨著分區的減小，提取時間會逐漸增加；3）gabor濾波法，即使用不同尺度和方向上的濾波器，對圖像進行特征提取，這種方法的特征維度較大，且隨著尺度和方向的增加，需要進行降維處理，計算效率和結果受尺度和方向的影響較大。

2、進一步的，當采取多種方法對管道缺陷圖像進行特征提取時，缺少相應的特征融合方法，這將影響訓練后的機器模型在后續對圖像進行識別時的準確度。

技術實現思路

1、本發明的目的在于提供一種管道缺陷圖像多模態特征融合方法及裝置，以緩解了現有技術缺少相應的特征融合方法，這將影響訓練后的機器模型在后續對圖像進行識別時的準確度的技術問題，以實現特征融合，進一步提升對圖像進行識別時的準確度。

2、第一方面，本發明實施例提供了一種管道缺陷圖像多模態特征融合方法，包括：獲取缺陷管道圖像；對上述缺陷管道圖像的管道缺陷進行形態特征提取，得到管道缺陷形態特征；并，對上述缺陷管道圖像的管道缺陷進行局部紋理特征提取，得到管道缺陷局部紋理特征；以及，對上述缺陷管道圖像進行統計特征提取，得到管道缺陷統計特征；分別構建上述管道缺陷形態特征、上述管道缺陷局部紋理特征以及上述管道缺陷統計特征對應的特征向量；根據上述特征向量以及上述特征向量對應的預設權重進行特征融合，得到融合向量。

3、在本發明較佳的實施方式中，根據上述特征向量以及上述特征向量對應的預設權重進行特征融合，得到融合向量的步驟之后，上述方法包括：基于上述融合向量對初始機器學習模型進行訓練，直至達到預設的訓練條件，得到訓練好的機器學習模型。

4、在本發明較佳的實施方式中，對上述缺陷管道圖像的管道缺陷進行形態特征提取，得到管道缺陷形態特征的步驟，包括：通過下述公式對上述管道缺陷的缺陷部位面積與上述缺陷管道圖像中管道面積的第一占比進行計算：其中，a1為上述第一占比，adefect為上述缺陷部位面積，apipe為上述管道面積；通過下述公式對上述管道缺陷中的缺陷部位周長與上述缺陷管道圖像中管道周長的第二占比進行計算：其中，a2為上述第二占比，pdefect為上述缺陷部位周長，ppipe為上述管道周長；通過下述公式對上述管道缺陷中的缺陷部位當量直徑與上述缺陷管道圖像中管道直徑的第三占比進行計算：；；其中，a3為上述第三占比，deq為上述缺陷部位當量直徑，dpip為上述管道直徑；通過下述公式計算包圍上述管道缺陷的最小面積矩形的矩形長寬比：其中，a4為上述矩形長寬比，width為上述最小面積矩形的長，height為上述最小面積矩形的寬；通過下述公式計算包圍上述管道缺陷的最小面積形狀的幾何特性：其中，a5為上述幾何特性，當上述最小面積形狀為圓形時，a5的值取1；通過下述公式對上述管道缺陷中的缺陷部位的凸包面積與上述缺陷部位面積的第四占比進行計算：其中，a6為上述第四占比，aconvexhull為上述凸包面積；將上述第一占比、上述第二占比、上述第三占比、上述第四占比、上述矩形長寬比以及上述幾何特性進行提取，得到上述管道缺陷的形態特征。

5、在本發明較佳的實施方式中，對上述缺陷管道圖像的管道缺陷進行局部紋理特征提取，得到管道缺陷局部紋理特征的步驟，包括：基于下述步驟，通過上述缺陷管道圖像中每個像素點周圍的預設尺寸參數的鄰域圖像窗口對上述每個像素點所在的目標窗口進行紋理分析，得到上述管道缺陷的局部紋理特征：步驟1，通過下述公式將上述缺陷管道圖像按照預設尺寸參數，劃分為多個圖像窗口；上述多個圖像窗口之間相互重疊；window=i(i:i+2，j:j+2),?i={1,2,…,w?2},?j={1,2,…,h?2}；其中，window為以像素坐標點(i,?j)為中心的目標窗口，i(i:i+2，j:j+2)為上述目標窗口的鄰域圖像窗口；步驟2，通過下述公式通過符號函數將上述目標窗口的中心像素與上述中心像素周圍的上述鄰域圖像窗口的鄰域像素進行比較，生成二進制位結果；；signum(g,h)為當上述目標窗口的中心像素大于或等于上述鄰域圖像窗口的鄰域像素時為1，否則為0，g為上述中心像素，h為上述鄰域像素，步驟3，通過下述公式將上述二進制位結果轉化為十進制結果；；其中，為以像素坐標點(i,?j)為中心的上述目標窗口的上述鄰域圖像窗口的十進制結果；步驟4，統計每個圖像窗口對應的上述十進制結果，生成特征直方圖；步驟5，將上述特征直方圖，確定上述管道缺陷的局部紋理特征。

6、在本發明較佳的實施方式中，對上述缺陷管道圖像進行統計特征提取，得到管道缺陷統計特征的步驟之前，上述方法包括：獲取無缺陷管道圖像；對上述缺陷管道圖像進行統計特征提取，得到管道缺陷統計特征的步驟，包括：對上述無缺陷管道圖像和上述缺陷管道圖像進行統計特征提取，得到上述管道缺陷的統計特征。

7、在本發明較佳的實施方式中，對上述無缺陷管道圖像和上述缺陷管道圖像進行統計特征提取，得到上述管道缺陷的統計特征的步驟，包括：按照預設尺寸，將上述無缺陷管道圖像和上述缺陷管道圖像劃分為多個子圖像；統計上述多個子圖像中每個子圖像的像素值的總和、像素值的標準差、像素值平方和的平方根、像素值的熵、像素值與上述像素值的平均值乘積的總和減去上述平均值的平方、相鄰像素值差的絕對值之和、基于像素值的三階中心矩、基于像素值的四階中心矩、像素值的中間值、亮度最低的像素點的像素值、亮度最高的像素點的像素值、上述平均值與上述標準差的乘積、像素值平方和的平方根與像素總數的比值、圖像最大值與像素值平方和平方根的乘積、上述圖像最大值與像素值總和的乘積除以像素總數的值、上述圖像最大值、圖像對比度以及圖像最大值與平均值之差；將上述像素值的總和、上述像素值的標準差、上述像素值平方和的平方根、上述像素值的熵、上述像素值與上述像素值的平均值乘積的總和減去上述平均值的平方、上述相鄰像素值差的絕對值之和、上述基于像素值的三階中心矩、上述基于像素值的四階中心矩、上述像素值的中間值、上述亮度最低的像素點的像素值、上述亮度最高的像素點的像素值、上述平均值與上述標準差的乘積、上述像素值平方和的平方根、上述像素值平方和的平方根與像素總數的比值、上述圖像最大值與像素值平方和平方根的乘積、上述圖像最大值與像素值總和的乘積除以像素總數的值、上述圖像最大值、上述圖像對比度以及圖像最大值與平均值之差，確定為上述管道缺陷的統計特征。

8、在本發明較佳的實施方式中，通過下述公式統計上述多個子圖像中每個子圖像的像素值的總和、像素值的標準差、像素值平方和的平方根、像素值的熵、像素值與上述像素值的平均值乘積的總和減去上述平均值的平方、相鄰像素值差的絕對值之和、基于像素值的三階中心矩、基于像素值的四階中心矩、像素值的中間值、亮度最低的像素點的像素值、亮度最高的像素點的像素值、上述平均值與上述標準差的乘積、像素值平方和的平方根與像素總數的比值、圖像最大值與像素值平方和平方根的乘積、上述圖像最大值與像素值總和的乘積除以像素總數的值、上述圖像最大值、圖像對比度以及圖像最大值與平均值之差：

9、

10、

11、

12、

13、

14、

15、

16、

17、

18、

19、

20、

21、

22、

23、

24、

25、

26、

27、其中，w和h分別代表上述子圖像的寬度和高度，iw?h為在上述子圖像預設位置點(w，h)的像素強度，ij為在上述子圖像的位置點j的像素強度；iij為上述子圖像的位置(i，j)的像素強度；i+1j為上述子圖像的位置(i+1，j)的像素強度；i,為上述子圖像的所有像素強度的平均值，f（1）為上述像素值的總和、f（2）為上述像素值的標準差、f（3）為上述像素值平方和的平方根、f（4）為上述像素值的熵、f（5）為上述像素值與上述像素值的平均值乘積的總和減去上述平均值的平方、f（6）為上述相鄰像素值差的絕對值之和、f（7）為上述基于像素值的三階中心矩、f（8）為上述基于像素值的四階中心矩、f（9）為上述像素值的中間值、f（10）為上述亮度最低的像素點的像素值、f（11）為上述亮度最高的像素點的像素值、f（12）為上述平均值與上述標準差的乘積、f（13）為上述像素值平方和的平方根、f（14）為上述像素值平方和的平方根與像素總數的比值、f（15）為上述圖像最大值與像素值平方和平方根的乘積、f（16）為上述圖像最大值與像素值總和的乘積除以像素總數的值、f（17）為上述圖像最大值、f（18）為上述圖像對比度以及圖像最大值與平均值之差。

28、在本發明較佳的實施方式中，構建上述統計特征對應的特征向量的步驟，包括：基于上述多個子圖像中每個子圖像的上述像素值的總和、上述像素值的標準差、上述像素值平方和的平方根、上述像素值的熵、上述像素值與上述像素值的平均值乘積的總和減去上述平均值的平方、上述相鄰像素值差的絕對值之和、上述基于像素值的三階中心矩、上述基于像素值的四階中心矩、上述像素值的中間值、上述亮度最低的像素點的像素值、上述亮度最高的像素點的像素值、上述平均值與上述標準差的乘積、上述像素值平方和的平方根、上述像素值平方和的平方根與像素總數的比值、上述圖像最大值與像素值平方和平方根的乘積、上述圖像最大值與像素值總和的乘積除以像素總數的值、上述圖像最大值、上述圖像對比度以及圖像最大值與平均值之差、像素強度、對比度、亮度以及飽和度進行冗余分析，得到冗余分析結果；根據上述冗余分析結果，構建上述統計特征對應的特征向量。

29、在本發明較佳的實施方式中，根據上述特征向量以及上述特征向量對應的預設權重進行特征融合，得到融合向量的步驟，包括：將上述特征向量作為初始支持向量機的輸入，將上述特征向量對應的缺陷類型作為上述初始支持向量機的輸出，對上述初始支持向量機進行訓練，直到達到預設的訓練標準，得到中間態支持向量機；基于上述中間態支持向量機，確定上述特征向量對應的準確度；根據上述準確度，確定上述特征向量的預設權重；根據上述特征向量以及上述預設權重，對上述特征向量進行歸一化處理，得到融合特征向量。

30、第二方面，本發明實施例還提供了一種管道缺陷圖像多模態特征融合裝置，包括：數據獲取模塊，用于獲取缺陷管道圖像；特征提取模塊，用于對上述缺陷管道圖像的管道缺陷進行形態特征提取，得到管道缺陷形態特征；并，對上述缺陷管道圖像的管道缺陷進行局部紋理特征提取，得到管道缺陷局部紋理特征；以及，對上述缺陷管道圖像進行統計特征提取，得到管道缺陷統計特征；特征向量構建模塊，用于分別構建上述管道缺陷形態特征、上述管道缺陷局部紋理特征以及上述管道缺陷統計特征對應的特征向量；特征融合模塊，用于根據上述特征向量以及上述特征向量對應的預設權重進行特征融合，得到融合向量。

31、本發明實施例具有下述有益技術效果：

32、本發明實施例提供了一種管道缺陷圖像多模態特征融合方法及裝置，包括：獲取缺陷管道圖像；對上述缺陷管道圖像的管道缺陷進行形態特征提取，得到管道缺陷形態特征；并，對上述缺陷管道圖像的管道缺陷進行局部紋理特征提取，得到管道缺陷局部紋理特征；以及，對上述缺陷管道圖像進行統計特征提取，得到管道缺陷統計特征；分別構建上述管道缺陷形態特征、上述管道缺陷局部紋理特征以及上述管道缺陷統計特征對應的特征向量；根據上述特征向量以及上述特征向量對應的預設權重進行特征融合，得到融合向量。該方法分別構建形態特征、局部紋理特征以及統計特征對應的特征向量，將特征向量進行融合得到融合向量，基于融合向量對機器學習模型進行訓練提升模型的識別精度。