本發(fā)明涉及既有建筑維護(hù)領(lǐng)域，特別涉及一種基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法、系統(tǒng)及設(shè)備。

背景技術(shù)：

1、既有建筑特別是歷史建筑隨著使用年限的增加，會(huì)出現(xiàn)不同程度的損壞，其中以墻面污染、開裂、缺損、風(fēng)化等損傷最為普遍。出于歷史建筑保留保護(hù)價(jià)值高的特征，對(duì)墻面損傷識(shí)別與診斷是歷史建筑預(yù)防性保護(hù)工作中的重要組成部分，是建立科學(xué)有效維修保養(yǎng)方法的基礎(chǔ)。傳統(tǒng)的表觀損傷識(shí)別診斷工作依賴于專業(yè)技術(shù)人員的不定期檢查及標(biāo)注，工作開展滯后，以定性描述為主，易漏檢、效率低。對(duì)于寬幅墻面、垂直墻面等具有某一方向呈現(xiàn)連續(xù)性的整體墻面，受高度、長(zhǎng)度或者寬度的上限問題人工無法實(shí)現(xiàn)對(duì)整體墻面的損傷檢測(cè)及標(biāo)注，由此通過數(shù)字化技術(shù)對(duì)整體墻面損傷情況進(jìn)行識(shí)別和診斷，其缺點(diǎn)在于，需要對(duì)整體墻面進(jìn)行劃分區(qū)域拍照形成若干墻面區(qū)域圖片，且相鄰墻面區(qū)域圖片之間需要有一定的重疊率，以全覆蓋墻面整體，通過人工對(duì)墻面區(qū)域圖片中的損傷情況進(jìn)行人工檢測(cè)識(shí)別及標(biāo)注，從而導(dǎo)致對(duì)整體墻面的損傷情況的檢測(cè)效率低，且由于相鄰墻面區(qū)域圖片之間的重疊率的問題，人工對(duì)墻面區(qū)域圖片進(jìn)行拼接時(shí)，拼接工作量大，拼接效率低，視覺容易疲勞而導(dǎo)致拼接錯(cuò)誤，導(dǎo)致各墻面區(qū)域圖片的損傷情況不能準(zhǔn)確地定位反映在整體墻面的相應(yīng)位置上。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是，提供一種基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法、系統(tǒng)及設(shè)備，以解決現(xiàn)有技術(shù)中對(duì)在至少某一方向呈連續(xù)性分布的整體墻面的損傷情況進(jìn)行檢測(cè)識(shí)別效率低及損傷位置難以匹配定位在整體墻面上的問題。

2、為了解決上述技術(shù)問題，本發(fā)明提供一種基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法，包括：

3、模型訓(xùn)練：將人工檢測(cè)有無損傷情況的墻面圖像作為樣本數(shù)據(jù)通過實(shí)例分割神經(jīng)網(wǎng)絡(luò)模型進(jìn)行墻面圖像損傷情況的自動(dòng)檢測(cè)及自動(dòng)標(biāo)注的訓(xùn)練；

4、視頻動(dòng)態(tài)采集：平行于既有建筑墻面采集既有建筑某一面墻體的整體墻面視頻影像；

5、區(qū)域墻面圖像序列提取：將整體墻面視頻影像提取為連續(xù)的區(qū)域墻面圖像序列；

6、墻面全景圖像融合：對(duì)各區(qū)域墻面圖像的特征點(diǎn)進(jìn)行提取，將相鄰區(qū)域墻面圖像的特征點(diǎn)進(jìn)行匹配，使所有區(qū)域墻面圖像融合成覆蓋整體墻面的墻面全景圖像；

7、墻面損傷自動(dòng)檢測(cè)：通過訓(xùn)練后的實(shí)例分割神經(jīng)網(wǎng)絡(luò)模型對(duì)墻面全景圖像按照神經(jīng)網(wǎng)絡(luò)壓縮的像素大小進(jìn)行自適應(yīng)分割為連續(xù)的墻面區(qū)塊圖像序列及對(duì)各墻面區(qū)塊圖像進(jìn)行墻面損傷情況的自動(dòng)檢測(cè)及自動(dòng)標(biāo)注；對(duì)自動(dòng)檢測(cè)及自動(dòng)標(biāo)注后的所有墻面區(qū)塊圖像進(jìn)行拼接形成覆蓋整體墻面的墻面損傷全景圖像，通過墻面損傷全景圖像對(duì)既有建筑整體墻面的墻面損傷位置分布情況進(jìn)行總體概覽展示及對(duì)各墻面損傷位置的損傷信息進(jìn)行詳圖標(biāo)注展示。

8、進(jìn)一步地，本發(fā)明提供的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法，所述實(shí)例分割神經(jīng)網(wǎng)絡(luò)模型為mask?r-cnn、yolact或者?yolo改進(jìn)版。

9、進(jìn)一步地，本發(fā)明提供的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法，所述區(qū)域墻面圖像序列提取的方法包括：

10、利用視頻編解碼技術(shù)，通過視頻解壓縮、色彩空間轉(zhuǎn)換、圖片編碼及時(shí)間戳管理方式，將整體墻面視頻影像通過自適應(yīng)關(guān)鍵幀選擇算法計(jì)算關(guān)鍵幀提取間隔，按幀數(shù)間隔向下取整的方式對(duì)整體墻面視頻影像進(jìn)行區(qū)域墻面圖像提取，以將整體墻面視頻影像分解為連續(xù)的區(qū)域墻面圖像序列。

11、進(jìn)一步地，本發(fā)明提供的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法，在所述區(qū)域墻面圖像序列提取之后、墻面全景圖像融合之前，還包括：

12、墻面圖像預(yù)處理：包括：

13、圖像增強(qiáng)：對(duì)存在光照不均和低對(duì)比度的墻面區(qū)域圖像，運(yùn)用直方圖均衡化和自適應(yīng)直方圖均衡化技術(shù)，局部自適應(yīng)增強(qiáng)圖像的對(duì)比度，突出墻面區(qū)域圖像的墻面紋理和損傷特征；

14、降噪處理：采用引導(dǎo)濾波和/或中值濾波的方法，對(duì)圖像增強(qiáng)后的墻面區(qū)域圖像進(jìn)行分級(jí)降噪，在去除墻面區(qū)域圖像的噪聲時(shí)，保留其損傷特征；

15、圖像校正：對(duì)存在畸變的墻面區(qū)域圖像，通過在墻面區(qū)域圖像中識(shí)別特征點(diǎn)，利用透視變換、仿射變換算法對(duì)墻面區(qū)域圖像進(jìn)行校正，使墻面在墻面區(qū)域圖像中呈現(xiàn)為規(guī)則的矩形。

16、進(jìn)一步地，本發(fā)明提供的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法，所述墻面全景圖像融合的方法包括：

17、特征提?。翰捎贸叨炔蛔兲卣髯儞Q和加速穩(wěn)健特征算法提取墻面區(qū)域圖像中的特征點(diǎn)和特征描述；

18、特征匹配：采用基于距離度量的匹配算法，將相鄰墻面區(qū)域圖像的特征點(diǎn)進(jìn)行匹配；

19、配準(zhǔn)融合：根據(jù)匹配的特征點(diǎn)，利用仿射變換、單應(yīng)性變換方法對(duì)墻面區(qū)域圖像進(jìn)行配準(zhǔn)，使相鄰墻面區(qū)域圖像的相同區(qū)域在空間位置上對(duì)齊；通過計(jì)算變換矩陣，將墻面區(qū)域圖像變換到統(tǒng)一的坐標(biāo)系下，為墻面區(qū)域圖像重疊的中心部分賦予較高的融合權(quán)重，邊緣部分賦予較低的融合權(quán)重，使融合后的墻面區(qū)域圖像過渡自然，形成完整的墻面全景圖像。

20、進(jìn)一步地，本發(fā)明提供的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法，在所述特征匹配的步驟中：對(duì)于匹配結(jié)果，通過隨機(jī)抽樣一致性算法計(jì)算模型參數(shù)并驗(yàn)證，去除誤匹配點(diǎn)，提高匹配精度。

21、為了解決上述技術(shù)問題，本發(fā)明還提供一種基于視頻流的整體墻面損傷自動(dòng)檢測(cè)系統(tǒng)，采用上述的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法，包括：

22、模型訓(xùn)練模塊，用于將人工檢測(cè)有無損傷情況的墻面圖像作為樣本數(shù)據(jù)通過實(shí)例分割神經(jīng)網(wǎng)絡(luò)模型進(jìn)行墻面圖像損傷情況的自動(dòng)檢測(cè)及自動(dòng)標(biāo)注的訓(xùn)練；

23、視頻動(dòng)態(tài)采集模塊，用于平行于既有建筑墻面采集既有建筑某一面墻體的整體墻面視頻影像；

24、區(qū)域墻面圖像序列提取模塊，用于將整體墻面視頻影像提取為連續(xù)的區(qū)域墻面圖像序列；

25、墻面全景圖像融合模塊，用于對(duì)各區(qū)域墻面圖像的特征點(diǎn)進(jìn)行提取，將相鄰區(qū)域墻面圖像的特征點(diǎn)進(jìn)行匹配，使所有區(qū)域墻面圖像融合成覆蓋整體墻面的墻面全景圖像；

26、墻面損傷自動(dòng)檢測(cè)模塊，用于通過訓(xùn)練后的實(shí)例分割神經(jīng)網(wǎng)絡(luò)模型對(duì)墻面全景圖像按照神經(jīng)網(wǎng)絡(luò)壓縮的像素大小進(jìn)行自適應(yīng)分割為連續(xù)的墻面區(qū)塊圖像序列及對(duì)各墻面區(qū)塊圖像進(jìn)行墻面損傷情況的自動(dòng)檢測(cè)及自動(dòng)標(biāo)注；對(duì)自動(dòng)檢測(cè)及自動(dòng)標(biāo)注后的所有墻面區(qū)塊圖像進(jìn)行拼接形成覆蓋整體墻面的墻面損傷全景圖像，通過墻面損傷全景圖像對(duì)既有建筑整體墻面的墻面損傷位置分布情況進(jìn)行總體概覽展示及對(duì)各墻面損傷位置的損傷信息進(jìn)行詳圖標(biāo)注展示。

27、為了解決上述技術(shù)問題，本發(fā)明還提供一種基于視頻流的整體墻面損傷自動(dòng)檢測(cè)設(shè)備，采用上述的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)系統(tǒng)。

28、進(jìn)一步地，本發(fā)明提供的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)系統(tǒng)，還包括：

29、墻面圖像預(yù)處理模塊，用于對(duì)墻面區(qū)域圖像進(jìn)行圖像增強(qiáng)、降噪處理和圖像校正。

30、進(jìn)一步地，本發(fā)明提供的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)設(shè)備，所述設(shè)備為搭載有高清攝像頭的無人機(jī)、地面機(jī)器人或者爬墻機(jī)器人。

31、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：

32、本發(fā)明提供的基于視頻流的整體墻面損傷自動(dòng)檢測(cè)方法、系統(tǒng)及設(shè)備，通過對(duì)既有建筑墻面的某一面墻體的整體墻面進(jìn)行視頻影像采集，對(duì)采集后的視頻影像的進(jìn)行區(qū)域墻面圖像序列提取，通過區(qū)域墻面圖像序列融合成墻面全景圖像，通過訓(xùn)練后的實(shí)例分割神經(jīng)網(wǎng)絡(luò)模型對(duì)墻面全景圖像進(jìn)行自動(dòng)分割為墻面區(qū)塊圖像序列并對(duì)其進(jìn)行墻面損傷情況的自動(dòng)檢測(cè)及自動(dòng)標(biāo)注，對(duì)自動(dòng)檢測(cè)及自動(dòng)標(biāo)注后的所有墻面區(qū)塊圖像進(jìn)行拼接形成覆蓋整體墻面的墻面損傷全景圖像，通過墻面損傷全景圖像對(duì)既有建筑整體墻面的墻面損傷位置分布情況進(jìn)行總體概覽展示及對(duì)各墻面損傷位置的損傷信息進(jìn)行詳圖標(biāo)注展示，從而實(shí)現(xiàn)對(duì)既有建筑的寬幅墻面、垂直墻面等具有某一方向呈現(xiàn)連續(xù)性的整體墻面損傷情況的自動(dòng)化檢測(cè)和智能化檢測(cè)，能夠?qū)崿F(xiàn)對(duì)既有建筑整體墻面損傷位置分布情況進(jìn)行全局性展示及對(duì)損傷位置節(jié)點(diǎn)的詳圖展示的雙重展示效果，使損傷位置及其損傷信息相匹配，避免二者不匹配導(dǎo)致錯(cuò)亂的情形。相對(duì)于人工對(duì)墻面實(shí)體進(jìn)行損傷情況檢測(cè)及人工對(duì)大量的墻面區(qū)域圖片的損傷情況進(jìn)行人工檢測(cè)標(biāo)注來說，具有檢測(cè)效率高、智能化水平高的優(yōu)點(diǎn)，能夠?yàn)闅v史建筑預(yù)防性保護(hù)提供指導(dǎo)。