本發(fā)明涉及一種電力變電站的監(jiān)控方法,特別是一種電力變電站的全景視頻監(jiān)控方法。

背景技術(shù)：
：

電力系統(tǒng)設(shè)施具有高度危險(xiǎn)性，為了保障電力變電站正常安全工作，需要實(shí)時(shí)對(duì)變電站場(chǎng)所進(jìn)行視頻監(jiān)控，以便及時(shí)發(fā)現(xiàn)安全隱患，如危險(xiǎn)目標(biāo)入侵、火災(zāi)等，避免造成嚴(yán)重后果。然而，由于變電站場(chǎng)所范圍較廣，監(jiān)控區(qū)域較多，因此需要架設(shè)多架攝像機(jī)進(jìn)行監(jiān)控。但多攝像機(jī)系統(tǒng)的監(jiān)視畫面較復(fù)雜，不利于監(jiān)控人員及時(shí)發(fā)現(xiàn)險(xiǎn)情所在位置，且現(xiàn)場(chǎng)指揮救援時(shí)需要直觀清楚地把握變電站的整體情況，因此需要對(duì)多攝像機(jī)拍攝畫面進(jìn)行全景拼接和展示。

在進(jìn)行全景圖像拼接之前，首先對(duì)各攝像機(jī)拍攝畫面進(jìn)行焦距調(diào)整和視角變換，將所有攝像機(jī)拍攝畫面變換到近似統(tǒng)一的焦距和視角成像平面上，從而能夠解決現(xiàn)有方法拼接失效的問(wèn)題。本發(fā)明的背景技術(shù)為計(jì)算機(jī)視覺(jué)中的單目攝像機(jī)三維場(chǎng)景標(biāo)定和立體視覺(jué)中的投影變換技術(shù)，其理論基礎(chǔ)是攝像成像模型。

攝像機(jī)成像原理可以用小孔透視投影模型來(lái)描述，如圖2所示，該模型中存在三種坐標(biāo)系：世界坐標(biāo)系、攝像機(jī)標(biāo)系和圖像坐標(biāo)系。世界坐標(biāo)系中的一個(gè)點(diǎn)P(X_w, Y_w, Z_w)在攝像坐標(biāo)系中的對(duì)應(yīng)位置為P(X_c, Y_c, Z_c)，該點(diǎn)在圖像平面上的投影為圖像坐標(biāo)系中的點(diǎn)P(u, v)。三個(gè)點(diǎn)之間的變換關(guān)系可以用下面的式子來(lái)表示：

式中，M_w叫做外參數(shù)矩陣，R為旋轉(zhuǎn)矩陣，t為平移向量；M_n叫做內(nèi)參數(shù)矩陣，和分別是圖像平面水平和垂直方向歸一化焦距，(u₀, v₀)是圖像坐標(biāo)系原點(diǎn)的像素坐標(biāo)。

求解攝像機(jī)參數(shù)通常采用張正友標(biāo)定法，用待標(biāo)定攝像機(jī)采集3幅以上標(biāo)定圖像（黑白格棋盤平面）即可獲得攝像機(jī)的內(nèi)參數(shù)。通過(guò)拍攝地面上擺放的位置固定的標(biāo)記，可以標(biāo)定攝像機(jī)外部參數(shù)和方向角。

為了對(duì)攝像機(jī)拍攝畫面進(jìn)行視角變換，需要求解從目標(biāo)攝像機(jī)坐標(biāo)系向主視角平面的投影變換矩陣。選定一個(gè)攝像機(jī)視角為主視角，則目標(biāo)攝像機(jī)和主視角攝像機(jī)所獲取的圖像滿足極線幾何約束關(guān)系，如圖3所示。其中，C和C’分別是兩個(gè)攝像機(jī)的光心，I和I’是兩攝像機(jī)的成像平面，物理世界中的點(diǎn)X在成像平面上的成像點(diǎn)分別為x和x’，光心連線CC’叫做基線，基線與成像平面的交點(diǎn)分別為e和e’，叫做極點(diǎn)，點(diǎn)C，C’，x，x’，e，e’和X共面于，叫做極平面。極平面與成像平面相交的直線叫做極線。設(shè)x和x’對(duì)應(yīng)的極線分別為l和l’。則I平面上的x點(diǎn)對(duì)應(yīng)I’平面上的極線l’，同理I’平面上的x’點(diǎn)對(duì)應(yīng)I平面上的極線l。極線約束關(guān)系描述如下：

其中M₀和M₁分別是圖像I和I’的透視變換矩陣，可由兩個(gè)攝像機(jī)的參數(shù)得到，e=[e_x, e_y, e_z]^T是極點(diǎn)e的坐標(biāo)，[e]_x是e的反對(duì)稱矩陣。其中叫做基本矩陣，滿足關(guān)系：。只要獲得基本矩陣就能得到從一個(gè)攝像機(jī)圖像平面到另一個(gè)攝像機(jī)圖像平面的投影變換矩陣，進(jìn)而實(shí)現(xiàn)攝像機(jī)間視角變換。

基本矩陣包含8個(gè)獨(dú)立參數(shù)，因此需要找到兩個(gè)圖像中至少8對(duì)匹配點(diǎn)來(lái)求解，通常使用8點(diǎn)法來(lái)求解基本矩陣。此外，由于存在匹配誤差，還需要增加更多的匹配點(diǎn)來(lái)從中優(yōu)選一個(gè)基本矩陣使匹配誤差最小化，這里可以使用RANSAC算法來(lái)求解。

由于變電站場(chǎng)景電力設(shè)施分布情況復(fù)雜，監(jiān)控?cái)z像機(jī)架設(shè)限于地理因素，其位置和拍攝角度差異較大，這給全景拼接帶來(lái)較大困難。現(xiàn)有的基于特征點(diǎn)匹配的全景拼接技術(shù)往往僅考慮視角平行或差異較小的情況，而在拼接拍攝角度差異較大的圖像時(shí)往往失效。

技術(shù)實(shí)現(xiàn)要素：
：

本發(fā)明目的在于提供一種電力變電站的全景視頻監(jiān)控方法，解決現(xiàn)有的基于特征點(diǎn)匹配的全景拼接技術(shù)往往僅考慮視角平行或差異較小的情況，而在拼接拍攝角度差異較大的圖像時(shí)往往失效的問(wèn)題。

一種電力變電站的全景視頻監(jiān)控方法，其具體步驟為：

第一步. 搭建電力變電站全景視頻監(jiān)控系統(tǒng)

電力變電站全景視頻監(jiān)控系統(tǒng)，包括:攝像機(jī)以及計(jì)算機(jī)，所述攝像機(jī)的數(shù)量是2-4個(gè),所述計(jì)算機(jī),包括:數(shù)據(jù)采集模塊、圖像預(yù)處理模塊、標(biāo)識(shí)識(shí)別模塊、攝像機(jī)立體標(biāo)定模塊和圖像融合與顯示模塊。

數(shù)據(jù)采集模塊的功能為：解析從攝像頭傳輸過(guò)來(lái)的圖像數(shù)據(jù)并存儲(chǔ)數(shù)據(jù)供后續(xù)的模塊調(diào)用；圖像預(yù)處理模塊的功能為：對(duì)原始的圖像數(shù)據(jù)進(jìn)行濾波、對(duì)比度拉伸、直方圖均衡操作；標(biāo)識(shí)識(shí)別模塊的功能為：使用圖像處理識(shí)別出預(yù)先擺放好的標(biāo)記，并且獲取標(biāo)記在圖像中的精確坐標(biāo)；攝像機(jī)立體標(biāo)定模塊的功能為：根據(jù)識(shí)別出的標(biāo)識(shí)的坐標(biāo)計(jì)算兩個(gè)攝像機(jī)之間的基本矩陣，根據(jù)基本矩陣完成圖像的視角變換，將不同視角的圖片統(tǒng)一到同一個(gè)視角上，并且在此基礎(chǔ)上完成圖像的配準(zhǔn)；圖像融合與顯示模塊的功能為：使用多波段融合方式將視角變換后的多張圖像融合為一張完整的全景圖像，最后根據(jù)實(shí)際情況調(diào)整全景圖像的顯示視角。

攝像機(jī)的安裝位置要保證相鄰的兩個(gè)攝像機(jī)至少有20%的畫面重疊。攝像機(jī)的輸出數(shù)據(jù)線與計(jì)算機(jī)的網(wǎng)口相連。計(jì)算機(jī)將計(jì)算好的全景視頻畫面輸出到控制中心的屏幕上。

當(dāng)計(jì)算機(jī)的網(wǎng)口數(shù)量小于攝像機(jī)的數(shù)量時(shí)，需要使用交換機(jī)將多個(gè)攝像機(jī)的圖像數(shù)據(jù)匯總后再與計(jì)算機(jī)的網(wǎng)口相連。計(jì)算機(jī)將計(jì)算好的全景視頻畫面輸出到控制中心的屏幕上。攝像機(jī)的輸出數(shù)據(jù)線與交換機(jī)的網(wǎng)口相連，交換機(jī)的網(wǎng)口與計(jì)算機(jī)的網(wǎng)口相連。

另外在實(shí)際的室內(nèi)場(chǎng)景中要根據(jù)攝像機(jī)中的視野，在相鄰攝像機(jī)的重疊區(qū)域擺放用于識(shí)別的標(biāo)記。

第二步.數(shù)據(jù)采集模塊采集數(shù)據(jù)并標(biāo)定攝像機(jī)

對(duì)架設(shè)好的多臺(tái)攝像機(jī)，通過(guò)數(shù)據(jù)采集模塊讀入圖像數(shù)據(jù)，然后用圖像預(yù)處理模塊對(duì)圖像數(shù)據(jù)進(jìn)行濾波、對(duì)比度拉伸、直方圖均衡處理。

采用張正友標(biāo)定法通過(guò)數(shù)據(jù)采集模塊讀入圖像數(shù)據(jù)，對(duì)攝像機(jī)進(jìn)行標(biāo)定和求解攝像機(jī)內(nèi)部參數(shù)。

第三步.攝像機(jī)圖像視角變換

比較各攝像機(jī)間的重合區(qū)域和覆蓋面積，從中選取覆蓋面積最廣且與其他攝像機(jī)圖像重合區(qū)域最多的攝像機(jī)作為主視角攝像機(jī)，其對(duì)應(yīng)視角作為主視角。

在監(jiān)控場(chǎng)景中粘貼顏色形狀各異的醒目標(biāo)記，并保證每個(gè)攝像機(jī)與主視角攝像機(jī)的重合區(qū)域中包含超過(guò)10個(gè)標(biāo)記。這樣，兩個(gè)攝像機(jī)中同一標(biāo)記中心位置處為一對(duì)匹配點(diǎn)。標(biāo)記識(shí)別模塊識(shí)別和定位圖像中的標(biāo)記物。

然后攝像機(jī)立體標(biāo)定模塊求得攝像機(jī)視角變換所需的基本矩陣。首先對(duì)各攝像機(jī)拍攝圖像做焦距調(diào)整伸縮變換，使各攝像機(jī)畫面變換到同一焦距平面上。然后在攝像機(jī)拍攝圖像上檢測(cè)標(biāo)記匹配點(diǎn)，再結(jié)合攝像機(jī)參數(shù)，使用8點(diǎn)求解法和RANSAC算法來(lái)求解各攝像機(jī)最佳投影變換矩陣，對(duì)各圖像做視角調(diào)整。

第四步圖像融合與顯示模塊進(jìn)行全景圖像拼接

圖像融合與顯示模塊處理視角變換過(guò)之后的圖像。使用基于SIFT特征提取的圖像匹配技術(shù)對(duì)視角變換后的各攝像機(jī)圖像進(jìn)行圖像配準(zhǔn)、定位和圖像融合，形成全景圖像，采用插值技術(shù)對(duì)圖像匹配中缺失的部分進(jìn)行修補(bǔ)。

至此，完成了電力變電站的全景視頻監(jiān)控。

現(xiàn)有的基于特征點(diǎn)匹配的全景拼接技術(shù)無(wú)法實(shí)現(xiàn)電力變電站場(chǎng)景中攝像機(jī)的圖像拼接工作，因?yàn)楝F(xiàn)有技術(shù)需要圖像重疊的部分信息差異很小，這就要求拍攝圖像的攝像機(jī)之間的相對(duì)位置相對(duì)于相機(jī)與拍攝的物體之間的距離可以忽略不計(jì)或者所拍攝的物體含有很少的立體物信息，但是顯然在電力變電站場(chǎng)景中不滿足以上要求。本發(fā)明通過(guò)借助標(biāo)識(shí)物獲取攝像機(jī)相對(duì)視角的方法不依賴于現(xiàn)實(shí)場(chǎng)景本身的信息，可以有效的解決該問(wèn)題。

附圖說(shuō)明

圖1一種電力變電站的全景視頻監(jiān)控方法中全景圖像拼接系統(tǒng)的結(jié)構(gòu)圖；

圖2一種電力變電站的全景視頻監(jiān)控方法中所述攝像機(jī)成像模型中的世界坐標(biāo)系、攝像機(jī)標(biāo)系和圖像坐標(biāo)系；

圖3一種電力變電站的全景視頻監(jiān)控方法中所述立體視覺(jué)中的極線幾何約束關(guān)系示意圖；

圖4一種電力變電站的全景視頻監(jiān)控方法實(shí)施例中所述變電站現(xiàn)場(chǎng)多攝像機(jī)監(jiān)控示意圖；

圖5一種電力變電站的全景視頻監(jiān)控方法實(shí)施例中求解投影變換矩陣所采用的標(biāo)記，圖中只顯示了黑色的標(biāo)記，實(shí)際中要有紅綠藍(lán)白黑5套標(biāo)記；

圖6一種電力變電站的全景視頻監(jiān)控方法實(shí)施例中三維空間中的標(biāo)記點(diǎn)在攝像機(jī)成像示意圖；

圖7一種電力變電站的全景視頻監(jiān)控方法實(shí)施例中投影變換匹配點(diǎn)偏差示意圖。

1.計(jì)算機(jī) 2.攝像機(jī) 3.交換機(jī)。

具體實(shí)施方式：

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。本發(fā)明的實(shí)施例中公開了一種針對(duì)電力變電站的全景監(jiān)控方法，其具體步驟為：

第一步. 搭建電力變電站全景視頻監(jiān)控系統(tǒng)

電力變電站全景視頻監(jiān)控系統(tǒng)，包括:攝像機(jī)、計(jì)算機(jī)和交換機(jī)，本例中的攝像機(jī)的數(shù)量是3個(gè),所述計(jì)算機(jī),包括:數(shù)據(jù)采集模塊、圖像預(yù)處理模塊、標(biāo)識(shí)識(shí)別模塊、攝像機(jī)立體標(biāo)定模塊和圖像融合與顯示模塊。

數(shù)據(jù)采集模塊的功能為：解析從攝像頭傳輸過(guò)來(lái)的圖像數(shù)據(jù)并存儲(chǔ)數(shù)據(jù)供后續(xù)的模塊調(diào)用；圖像預(yù)處理模塊的功能為：對(duì)原始的圖像數(shù)據(jù)進(jìn)行濾波、對(duì)比度拉伸、直方圖均衡操作；標(biāo)識(shí)識(shí)別模塊的功能為：使用圖像處理識(shí)別出預(yù)先擺放好的標(biāo)記，并且獲取標(biāo)記在圖像中的精確坐標(biāo)；攝像機(jī)立體標(biāo)定模塊的功能為：根據(jù)識(shí)別出的標(biāo)識(shí)的坐標(biāo)計(jì)算兩個(gè)攝像機(jī)之間的基本矩陣，根據(jù)基本矩陣完成圖像的視角變換，將不同視角的圖片統(tǒng)一到同一個(gè)視角上，并且在此基礎(chǔ)上完成圖像的配準(zhǔn)；圖像融合與顯示模塊的功能為：使用多波段融合方式將視角變換后的多張圖像融合為一張完整的全景圖像，最后根據(jù)實(shí)際情況調(diào)整全景圖像的顯示視角。

根據(jù)變電站房間的大小以及設(shè)備在房間中的分布情況，選擇合適的攝像機(jī)安裝位置以及分辨率合適的攝像機(jī)，攝像機(jī)的安裝位置分布盡量均勻，使得設(shè)備需要監(jiān)控的區(qū)域能夠被攝像機(jī)拍攝到，且相鄰攝像機(jī)所拍攝到的場(chǎng)景有至少有20%的重疊，本實(shí)施例中，變電站現(xiàn)場(chǎng)多攝像機(jī)監(jiān)控示意圖如圖4所示，變電站場(chǎng)景區(qū)域被三臺(tái)視角方向各不相同的攝像機(jī)所覆蓋。選擇性能較好的計(jì)算機(jī)，能夠流暢的處理全景圖像的融合。三個(gè)攝像機(jī)的輸出數(shù)據(jù)線與交換機(jī)的網(wǎng)口相連，交換機(jī)的網(wǎng)口與計(jì)算機(jī)的網(wǎng)口相連，三個(gè)攝像機(jī)的輸出數(shù)據(jù)線與交換機(jī)的網(wǎng)口相連，交換機(jī)的網(wǎng)口與計(jì)算機(jī)的網(wǎng)口相連。

第二步. 數(shù)據(jù)采集模塊采集數(shù)據(jù)并標(biāo)定攝像機(jī)

將攝像機(jī)的圖像數(shù)據(jù)傳入圖像采集模塊，根據(jù)采集到的圖像的情況，調(diào)整圖像預(yù)處理環(huán)節(jié)每個(gè)算法的參數(shù)，使得圖像達(dá)到最佳清晰度，然后用張正友標(biāo)定法對(duì)各個(gè)攝像機(jī)進(jìn)行標(biāo)定得到其各自的內(nèi)參數(shù)，并在地面上擺放固定標(biāo)記，標(biāo)記的形狀圖案如圖5所示，用于標(biāo)定攝像機(jī)外部參數(shù)和方向角。

第三步. 攝像機(jī)圖像視角變換

從覆蓋區(qū)域來(lái)看，攝像機(jī)2覆蓋了監(jiān)控區(qū)域的主要部分，并且其覆蓋區(qū)域與另兩臺(tái)攝像機(jī)的覆蓋區(qū)域重合部分較多，因此選擇攝像機(jī)2的視角為主視角，另兩臺(tái)攝像機(jī)所拍攝的圖像需要進(jìn)行視角變換，轉(zhuǎn)換到主視角平面上。

在變電站場(chǎng)景目標(biāo)物上粘貼醒目標(biāo)記作為求解投影變換矩陣所需的圖像匹配特征點(diǎn)。由于求解投影變換矩陣需要用到至少8對(duì)匹配點(diǎn)，在本實(shí)施例中，選用了5種顏色和3種形狀組合成的共計(jì)15種醒目標(biāo)記，每個(gè)標(biāo)記上用十字標(biāo)示其中心點(diǎn)，黑色的標(biāo)記如圖4所示，不同顏色的標(biāo)記則用不同的顏色填充。觀察相鄰攝像機(jī)監(jiān)控圖像的重合區(qū)域，在各重合區(qū)域的變電站設(shè)施不同位置處分別粘貼至少10種不同類型標(biāo)記。之后，標(biāo)記點(diǎn)在各個(gè)攝像機(jī)的圖像平面上成像，如圖5所示。

首先根據(jù)各攝像機(jī)拍攝焦距不同對(duì)其拍攝畫面進(jìn)行伸縮變換，做焦距調(diào)整。

然后，在攝像機(jī)1和攝像機(jī)2獲取的圖像上利用形狀和顏色信息找到相同標(biāo)記，并在標(biāo)記內(nèi)部檢測(cè)十字中心獲取標(biāo)記中心點(diǎn)，從而得到兩幅圖像的匹配點(diǎn)。使用8點(diǎn)法和RANSAC算法來(lái)求解攝像機(jī)1向攝像機(jī)2的投影變換矩陣F₁₂。同理獲得攝像機(jī)3向攝像機(jī)2的投影變換矩陣F₃₂。

由于攝像機(jī)拍攝角度不同，即使變換到同一視角平面，圖像上的對(duì)應(yīng)點(diǎn)也會(huì)有所偏差，如圖6中A，B點(diǎn)所示。此時(shí)，需要對(duì)投影變換矩陣F₁₂，F(xiàn)₃₂均進(jìn)行調(diào)整以便使匹配點(diǎn)的偏差整體最小化。同時(shí)攝像機(jī)1和攝像機(jī)3之間也會(huì)存在匹配點(diǎn)，如圖5中B點(diǎn)所示。因此，攝像機(jī)1和攝像機(jī)3之間的投影變換矩陣F₁₃也要同時(shí)調(diào)整。用歐式距離來(lái)度量投影變換后匹配點(diǎn)之間的偏差，然后使用Levenberg-Marquardt算法迭代求解各攝像機(jī)最優(yōu)變換矩陣。

記錄下各攝像機(jī)的投影變換矩陣，以后各攝像機(jī)拍攝的所有圖像都用該對(duì)應(yīng)矩陣進(jìn)行投影變換。

第四步 圖像融合與顯示模塊進(jìn)行全景圖像拼接

根據(jù)獲得的各攝像機(jī)最優(yōu)投影變換矩陣，對(duì)攝像機(jī)1和攝像機(jī)3拍攝的圖像進(jìn)行投影變換，得到伸縮和旋轉(zhuǎn)后的變換圖像；使用SIFT特征檢測(cè)算法在相鄰攝像機(jī)圖像上尋找特征點(diǎn)，并進(jìn)行特征匹配；對(duì)攝像機(jī)1和攝像機(jī)3的投影變換后的圖像進(jìn)行平移，選擇合適的平移量使匹配特征點(diǎn)偏差最小化；使用平均法對(duì)重合區(qū)域進(jìn)行融合；檢測(cè)全景圖像中的缺損區(qū)域，使用二次線性插值法進(jìn)行插值修補(bǔ)；用0填補(bǔ)全景圖像外部不規(guī)則區(qū)域，生成矩形全景圖像，投影到全景監(jiān)控顯示器上顯示。

至此，完成了電力變電站的全景視頻監(jiān)控。