本發明涉及管道巡視，具體是一種基于深度學習的管道滴漏狀態識別系統及方法。

背景技術：

1、為了幫助電力行業巡檢機器人在巡檢過程中能夠自動識別電力場所內管道是否存在漏水漏油狀態，機器人需要通過自身攜帶的攝像頭去拍攝管道，然后通過分析這些圖片，識別出管道是否存在滴漏狀態。

2、在電力場所內，輸水或者輸油管道的安全性對設備的正常運行至關重要。電力設備通常需要持續運行，這些管道系統負責提供關鍵的冷卻水或潤滑油，一旦出現滴漏現象，冷卻水不足會導致設備過熱停機，影響設備運行；而潤滑油的泄漏可能導致機械設備磨損加劇，引發故障。管道的形狀比較不規則，很容易和背景信息混淆在一起。傳統的人工巡檢方式，需要巡檢人員仔細檢查管道每一個細節，很容易發生遺漏現象。因此開發一種高效、實時、自動化的檢測方法以確保管道密閉性和設備安全具有重要意義。

技術實現思路

1、本發明為了解決現有技術的問題，提供了一種基于深度學習的管道滴漏狀態識別系統及方法，采用深度學習技術，設計了多任務網絡模型系統，該模型對采集的照片進行分析，判斷管道是否存在滴漏情況，相比于人工巡檢大幅提高了檢測效率，對于確保管道密閉性和設備安全具有重要意義。

2、本發明提供了一種基于深度學習的管道滴漏狀態識別系統，其特征在于：包括拍攝模塊、圖片預處理模塊、基礎特征提取模塊、管道分割模塊和滴漏狀態識別模塊；拍攝模塊拍攝管道圖像；圖片預處理模塊對拍攝的管道圖像進行預處理；基礎特征提取模塊為一個u型網絡，u型網絡分為兩個部分，編碼模塊和解碼模塊，編碼模塊負責提取預處理后的圖像的特征，將輸入圖像逐漸縮小并提取高層次特征；解碼部分則通過上采樣和跳躍鏈接將特征逐步放大到原始圖像的大?。还艿婪指钅K通過網絡的分割分支對管道進行分割，獲取管道所在區域掩碼，將得到的掩碼和基礎特征提取模塊獲取的特征圖相乘，得到管道區域特征的同時，屏蔽相關背景區域特征；滴漏狀態識別模塊對特征圖特征圖進行處理，輸出推理結果，再對推理結果進行極大值抑制操作，最終得到是否管道滴漏識別結果。

3、本發明還提供了一種基于深度學習的管道滴漏狀態識別方法，包括以下步驟：

4、步驟1)巡檢機器人的拍攝模塊拍攝管道圖像，發送到圖片預處理模塊，對圖片進行預處理，獲取圖像的輸入數據；

5、步驟2)在基礎特征提取模塊的主干網絡中輸入步驟1)預處理過的輸入數據，主干網絡是一個u型網絡，包括編碼模塊和解碼模塊，編碼模塊負責提取特征，將輸入的圖像逐漸縮小并提取高層次特征；解碼部分通過上采樣和跳躍鏈接將特征逐步放大到原始圖像的大小，得到特征圖；

6、步驟3)管道分割模塊通過網絡的分割分支對管道進行分割，獲取管道所在區域掩碼，再將得到的掩碼和步驟2)中獲取的特征圖相乘，得到管道區域特征圖的同時，屏蔽相關背景區域特征；

7、步驟4)通過滴漏狀態識別模塊對步驟3)獲得的管道區域特征圖進行處理，通過幾層卷積和檢測頭后，輸出推理結果，再對推理結果進行極大值抑制操作，最終得到是否管道滴漏識別結果。

8、進一步改進，步驟1)所述預處理過程，首先對將圖片調整大小和填充操作，保證輸入數據滿足神經網絡輸入要求，再對調整后的圖片先歸一化，減去均值后除以方差，獲得圖像的輸入數據，具體為：

9、1.1)調整圖片大小，將圖片的長邊調整到512個像素，短邊按比例調整的相應的大小；

10、1.2)對短板進行填充處理，保證送入網絡的圖片大小是512*512；

11、1.3)對三個通道每個像素值除以255，使得像素值范圍在0～1之間。再對r通道、g通道和b通道依次減去均值0.485、0.456、0.406，再除以標準差0.229、0.224、0.225，得到網絡的最終輸入。

12、進一步改進，步驟2)中所述基礎特征提取模塊主干網絡是一個u型網絡，u型網絡包含編碼部分和解碼部分，具體提取過程如下：

13、步驟2.1)編碼部分，包含3個階段，每一個階段特征圖的尺寸逐漸減小，但通道數逐漸增加，分辨率從512*512最后變成64*64，通道數最后變成512；

14、步驟2.11)對輸入的尺寸是512*512的3通道圖像進行卷積操作，將通道數變成64；

15、步驟2.12)通過bottleneck模塊對特診進一步提取，使用殘差結構，通過bottleneck模塊先使用1x1卷積進行升維，再使用深度可分離卷積進行卷積操作，接著使用1x1卷積進行降維，最后進行短接操作；bottleneck的激活函數是frelu,它的表達式如下所示：

16、y＝frelu(x)＝max(x,f(x))

17、其中f(x)是一個基于局部鄰域的卷積,表達式如下：

18、f(x)＝w*x+b；

19、步驟2.13)進行下采樣操作，在步驟2.12)bottleneck模塊基礎上，在卷積時將步長設置為2，使特征圖尺寸減半，以更好的提取全局特征。

20、步驟2.2)解碼部分，包含3個階段，每一個階段特征圖的尺寸逐漸減小，但通道數逐漸降低，特征圖分辨率變成512*512，通道數變成192，經過卷積操作之后，最終得到主干網絡輸出512*512*64的特征圖。

21、步驟2.21)對編碼部分得到的64*64的特征圖進行雙線性插值上采樣操作，將分辨率提高到128*128；

22、步驟2.22)和編碼部分對應的同分辨率的特征圖進行concat操作，特征圖的通道數變成768,再通卷積操作，通道數變成256；

23、步驟2.23)通過bottleneck模塊進行進一步的提取特征，使特征圖分辨率變成512*512，通道數變成192，經過卷積操作之后，最終得到主干網絡輸出512*512*64的特征圖。

24、進一步改進，步驟3)所述管道分割模塊通過網絡的分割分支對管道進行分割具體過程如下，管道分割模塊對主干網絡輸出的特征圖進行2次卷積操作，最后得到單通道的輸出圖，輸出圖的每個值的大小表示該點是否是管道的概率值，取閾值0.5,大于0.5的認為是管道所在區域，最終得到管道的分割圖；將分割圖的管道所在區域特征值設置成1，非管道區域設置成0；設置完成后和主干網絡的輸出的64通道特征圖相乘，得到管道區域特征圖。

25、進一步改進，步驟4)所述通過滴漏狀態識別模塊對步驟3)獲得的管道區域特征圖進行處理具體過程如下：

26、步驟4.1)將步驟3)中得到的管道區域特征圖送入檢測分支,檢測分支通過4次卷積和下采樣之后，得到64*64*512d的特征圖，將特征圖送入檢測頭模塊；

27、步驟4.2)檢測頭對輸入的特征圖進行卷積操作，輸出特征圖的尺寸是64*64*54，54個通道表示有每個像素點輸出9組預測值，每組表示一個可能的檢測結果，每組有6個輸出，第一個值表示前景得分，緊接后面4個值表示如果目標坐標預測值，最后一個值表示滴漏預測得分值；

28、步驟4.3)如果前景概率超過設定閾值，并且滴漏分類得分也超過閾值，表示該預測值是一個滴漏檢測目標，坐標值表示滴漏所在的位置；

29、步驟4.4)得到所有的滴漏目標預測值之后，進行極大值抑制操作，除去多余重復的預測；

30、步驟4.5)如果有滴漏目標被檢測到，表示這張圖片的管道存在滴漏現象。

31、本發明有益效果在于：

32、1、相比于人工巡檢大幅提高了檢測效率。

33、2、采用深度學習技術，設計了多任務網絡模型系統。該模型對采集的照片進行分析，判斷管道是否存在滴漏情況。電力場所內管道所在環境較為復雜，有很多的背景信息。如果直接對圖片進行檢測，會極大的影響識別準確率。通過深度學習技術去除背景信息，極大提高了識別準確率，對于確保管道密閉性和設備安全具有重要意義。