專利名稱：一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實用新型涉及一種視覺系統(tǒng)，尤其涉及一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)。
背景技術(shù)：
隨著社會數(shù)字化、信息化的不斷發(fā)展，電力供應(yīng)的連續(xù)性和可靠性顯得尤為重要。高壓帶電作業(yè)作為一種在高壓電氣設(shè)備不停電情況下進行檢修、測試的作業(yè)方法，是避免檢修停電，保證正常供電的有效措施。傳統(tǒng)的高壓帶電作業(yè)可以分為三種:等電位作業(yè)、地電位作業(yè)、中間電位作業(yè)等。等電位作業(yè)中操作者直接接觸高壓帶電部分，通過絕緣衣褲、絕緣鞋襪、絕緣帽子和絕緣手套等保證操作人員的安全；地電位作業(yè)時，人體處于接地的桿塔或構(gòu)架上，通過絕緣工具實現(xiàn)帶電作業(yè)；中間電位作業(yè)系通過絕緣棒等工具進入高壓電場中某一區(qū)域，但還未直接接觸高壓帶電體，是前兩種作業(yè)的中間狀況。無論那種作業(yè)方式，作業(yè)人員都處于高電壓、高空環(huán)境中，具有作業(yè)勞動量大，條件惡劣，作業(yè)危險性大等缺點。隨著機器人技術(shù)的發(fā)展，使用機器人代替人來完成高壓帶電作業(yè)業(yè)務(wù)成為各研究機構(gòu)的研究熱點。國外在該領(lǐng)域的研究起步較早，日本于1984年開始高壓帶電作業(yè)機器人的研究，并在九州地區(qū)得到現(xiàn)場應(yīng)用。西班牙、美國、法國和加拿大等國也在20世紀(jì)八十年代中期開始開展相應(yīng)的研究，并且取得了一些科研成果。相對于國外，國內(nèi)在高壓帶電作業(yè)的起步較晚，20世紀(jì)九十年代末期才開始相應(yīng)領(lǐng)域的技術(shù)研究，其中以山東電力研究院實用新型的專利號201210095860的“一種高壓帶電作業(yè)主從控制機器人作業(yè)平臺”為主要的代表。該實用新型通過液壓升降平臺將放置于絕緣斗內(nèi)的機器人操作系統(tǒng)提升至作業(yè)高度，操作人員站在絕緣斗內(nèi)，操控主手遙控機械臂夾持專用工具接觸線路完成各種高壓帶電作業(yè)。上述研究都取得了一定程度上的有益效果，但該實用新型對操作人員的技術(shù)要求較高，操作人員須熟練掌握機械臂操作的相關(guān)理論和技術(shù)，培訓(xùn)難度較大，另外操作人員仍需在高空環(huán)境中作業(yè)，依然存在一定的作業(yè)風(fēng)險。

實用新型內(nèi)容本實用新型的目的就是為了解決上述問題，提供一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)及工作方法，它具有使操作人員在地面遙控端即可方便、高效的完成帶電作業(yè)業(yè)務(wù)的優(yōu)點。為了實現(xiàn)上述目的，本實用新型采用如下技術(shù)方案:一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，它包括操作端，所述操作端包括左機械臂和右機械臂，左機械臂和右機械臂均安裝在絕緣斗上，在左機械臂上安裝有左立體攝像機，在左立體攝像機上方安裝左立體相機，在右機械臂上安裝有右立體攝像機，在右立體攝像機上方安裝右立體相機；在絕緣斗左機械臂和右機械臂的前側(cè)設(shè)有可見光攝像機I，在絕緣斗左機械臂和右機械臂的后側(cè)設(shè)有攝像機支柱，在支柱的頂端設(shè)有可見光攝像機
II;左立體攝像機、右立體攝像機、左立體相機、右立體相機、可見光攝像機I和可見光攝像機II均與地面遙控端連接。所述地面遙控端包括機器人控制系統(tǒng)、視頻處理器和人機接口 ；操作端通過光纖與機器人控制系統(tǒng)連接，視頻處理器連接通過RJ45與左立體攝像機、右立體攝像機、左立體相機、右立體相機、可見光攝像機I和可見光攝像機II，視頻處理器分別與人機接口、機器人控制系統(tǒng)連接。所述操作端安裝在液壓升降平臺。所述可見光攝像機I和可見光攝像機II采用高清數(shù)字(XD攝像機，通過RJ45線與視頻處理器連接。所述左立體攝像機和右立體攝像機采用全高清裸眼立體攝像機，均通過RJ45線與視頻處理器連接。所述左立體相機和右立體相機通過千兆網(wǎng)與視頻處理器相連，通過分析左立體相機和右立體相機視頻，實現(xiàn)觀測物體的空間信息的識別，包括空間的三維坐標(biāo)和姿態(tài)。所述視頻處理器采用圖形工作站，通過RS232與機器人控制系統(tǒng)連接，為機器人控制系統(tǒng)提供伺服控制信號。所述人機接口采用VGA線與視頻處理器連接，為操作人員提供操作時的視頻指導(dǎo)。所述高壓帶電作業(yè)機器人為山東電力研究院實用新型的專利號201210095860的“一種高壓帶電作業(yè)主從控制機器人作業(yè)平臺”中所述機器人，該機器人包括機器人作業(yè)平臺支承架、液壓升降平臺控制集成、機器人操作系統(tǒng)和絕緣斗。一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)其主要特點是將所述雙目立體相機、所述視頻處理器、所述機器人控制系統(tǒng)和所述高壓帶電作業(yè)機器人通過視頻處理算法有機結(jié)合為一視覺伺服系統(tǒng)。所述視頻處理器接受所述雙目立體相機采集的視頻信息，通過視頻處理算法獲取目標(biāo)物的三維信息，將該三維信息與目標(biāo)三維信息進行比較，得到機器人控制量信息，所述機器人控制系統(tǒng)接受該控制信息，實現(xiàn)機器人的伺服控制，進而實現(xiàn)高壓帶電作業(yè)機器人的自主作業(yè)。對雙目相機所獲取的左右圖像分別利用上述算法計算目標(biāo)的三維信息，若兩者計算結(jié)果一致則說明該信息為準(zhǔn)確的信息，否則認為該信息無效，這樣可以保證方法的魯棒性。基于一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)的工作方法，具體步驟為:步驟一:高壓帶電作業(yè)機器人通過液壓升降平臺將機器人操作系統(tǒng)上送到作業(yè)高度；步驟二:地面操作人員在人機接口中展示的由操作端安裝的可見光攝像機1、可見光攝像機I1、左立體攝像機和右立體攝像機回傳的信息指導(dǎo)下，人工控制機器人到適當(dāng)?shù)挠^察位置，保證被操作設(shè)備位于操作端的左立體相機和右立體相機的視野中；步驟三:切換為自動控制模式，視頻處理器對左立體相機和右立體相機回傳的視頻進行處理，通過視覺伺服方法實現(xiàn)被操作設(shè)備的空間信息的識別；[0025]步驟四:將視頻處理器處理的信息通過串口發(fā)送給機器人操作系統(tǒng)，實現(xiàn)機器人的伺服控制，自主完成帶電作業(yè)業(yè)務(wù)。所述步驟三的具體步驟為:(3-1)根據(jù)目標(biāo)的實際形狀和大小，在三維畫圖軟件中建立目標(biāo)的三維模型；(3-2)以目標(biāo)三維模型為中心，以R為半徑的球面上經(jīng)度為P、緯度為Q處設(shè)置虛擬相機，對三維模型進行觀察，得到三維目標(biāo)的二維模型；(3-3)對目標(biāo)三維模型的建立中獲取的二維圖像序列經(jīng)行邊緣信息進行邊緣提取，生成與向量(R，P，Q) 一一對應(yīng)的目標(biāo)圖像的形狀模型，從而建立形狀模型庫；(3-4)對右立體相機和左立體相機獲取的圖像信息提取邊緣，將圖像邊緣信息與形狀模型庫中的所有的模板進行匹配，在形狀模型庫中利用模板匹配算法搜索與該圖像邊緣信息最為匹配的邊緣信息；搜索到的形狀模型所對應(yīng)的由半徑R，經(jīng)度P，緯度Q組成的向量即目標(biāo)的三維信息。所述步驟(3-2)中半徑R的最小值為目標(biāo)外接球體半徑，最大為目標(biāo)外界球體半徑的5倍，采樣間隔為最小球體半徑的二分之一，經(jīng)度P和緯度Q的采樣間隔為5度。所述步驟(3-3)中的邊緣是指二維圖像周圍像素灰度有階躍變化的像素集合，邊緣的銳利程度由圖像灰度的梯度決定，選取其銳利程度大于給定閾值的信息為二維圖像的
邊緣，圖像梯度的計算公式如下，其中f為圖像函數(shù)，I為橫坐標(biāo)方向的一階導(dǎo)數(shù)，I為縱
dx辦
坐標(biāo)方向的一階導(dǎo)數(shù)，X 為各像素點的橫坐標(biāo)，y為各像素點的縱坐標(biāo)，G =小蚤)2+(暫f。所述步驟(3-4)中模板匹配算法，公式如下 M N，IX.1, I) = ZZ[/(/ + /r/,../' + ) —,廠(講，")]_
m 二I W 二I其中，f為圖像函數(shù)，T為模板圖像函數(shù)，M為模板圖像的寬度，N為模板圖像的高度，1、m為圖像橫坐標(biāo)變量，j、n為縱坐標(biāo)變量，T(m, n)為模板圖像在(m, n)坐標(biāo)處的灰度值，D(i，j)為圖像f中在(i，j)坐標(biāo)處與模板T的相似度的度量。對雙目相機所獲取的左右圖像分別利用模板匹配算法計算目標(biāo)的三維信息，若兩者計算結(jié)果一致則說明該信息為準(zhǔn)確的信息，否則認為該信息無效，這樣可以保證方法的魯棒性。本實用新型的有益效果:1、采用該視覺系統(tǒng)可以使操作人員徹底擺脫高空、高危的工作環(huán)境，降低勞動強度，大大提高工作安全性。2、采用雙目立體相機，實現(xiàn)對被操作物體位置和姿態(tài)的自動識別，利用該位置和姿態(tài)信息驅(qū)動機械臂的運動，自動實現(xiàn)高壓帶電作業(yè)業(yè)務(wù)，提高作業(yè)的自動化、智能化水平。3、通過安裝于不同固定位置的多個CXD攝像機，實現(xiàn)高壓帶電作業(yè)機器人作業(yè)的視頻監(jiān)視，并對操作過程提供視頻指導(dǎo)。4、采用全高清裸眼立體攝像機，使操作者具有良好的立體視覺效果，方便操作者操作，提高作業(yè)效率。
圖1為一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)總體框圖；圖2為一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)操作端結(jié)構(gòu)圖；圖3為一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)視覺伺服系統(tǒng)原理圖。圖4為一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)工作流程圖。其中，1.操作端，2.地面遙控端，3.視頻處理器，4.人機接口，5.機器人控制系統(tǒng)，6.液壓升降平臺，7.攝像機支柱，8.可見光攝像機II，9.可見光攝像機I，10.左機械臂，11.右機械臂，12.右立體相機，13.右立體攝像機，14.左立體相機，15.左立體攝像機，
16.絕緣斗。
具體實施方式
以下結(jié)合附圖與實施例對本實用新型作進一步說明。如圖1、圖2所示，一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，包括位于操作端I的可見光攝像機118和可見光攝像機19、左立體攝像機15和右立體攝像機13、左立體相機14和右立體相機12，位于地面遙控端2的高性能視頻處理器3和人機接口 4、機器人控制系統(tǒng)5。所述高壓帶電作業(yè)機器人為山東電力研究院實用新型的專利號201210095860的“一種高壓帶電作業(yè)主從控制機器人作業(yè)平臺”中所述機器人，該機器人包括液壓升降平臺
6、機器人控制系統(tǒng)5和絕緣斗16。所述可見光攝像機118和可見光攝像機19采用高清數(shù)字CXD攝像機，其通過RJ45線與視頻處理器3相連，本實用新型使用2個可見光攝像機，分別安裝于所述高壓帶電機器人中所述的絕緣斗16的底部、頂部，其中頂部的可見光攝像機118安裝于攝像機支柱7上方。所述右立體攝像機13和左立體攝像機15采用全高清裸眼立體攝像機，右立體攝像機13和左立體攝像機15分別安裝于所述高壓帶電作業(yè)機器人的右機械臂11末端的手臂末端和左機械臂10末端的手臂末端，通過RJ45線與視頻處理器3相連。所述左立體相機14和右立體相機12通過RJ45與視頻處理器3相連，左立體相機14和右立體相機12分別安裝于所述高壓帶電作業(yè)機器人所述左機械臂10末端的手臂末端和右機械臂11末端的手臂末端，左立體攝像機15和右立體攝像機13之上，通過分析左立體相機14和右立體相機12視頻的視差，實現(xiàn)觀測物體的空間信息的識別，包括空間的三維坐標(biāo)和姿態(tài)。所述視頻處理器3采用高性能圖形工作站，其通過R232與機器人控制系統(tǒng)5相連，為其提供伺服控制信號。所述人機接口 4采用VGA線與視頻處理器3相連，為操作人員提供操作時的視頻指導(dǎo)。如圖3所示，一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)其主要特點是將所述雙目立體相機、所述視頻處理器3、所述機器人控制系統(tǒng)5和所述高壓帶電作業(yè)機器人通過視頻處理算法有機結(jié)合為一視覺伺服系統(tǒng)。所述視頻處理器3接受所述雙目立體相機采集的視頻信息，通過視頻處理算法獲取目標(biāo)物的三維信息，將該三維信息與目標(biāo)三維信息進行比較，得到機器人控制量信息，所述機器人控制系統(tǒng)5接受該控制信息，實現(xiàn)機器人的伺服控制，進而實現(xiàn)高壓帶電作業(yè)機器人的自主作業(yè)。所述視頻處理算法，其主要包括三個步驟:目標(biāo)三維模型的建立、形狀模型庫的建立、目標(biāo)三維信息的獲取。1、目標(biāo)三維模型的建立所述目標(biāo)三維模型的建立首先是通過三維畫圖軟件，對目標(biāo)建立準(zhǔn)確的三維模型，其次在以目標(biāo)中心為中心，以R為半徑的球面上經(jīng)度為P、緯度為Q處設(shè)置虛擬相機對三維模型進行觀察，得到三維目標(biāo)的二維模型，該二維模型與半徑R，經(jīng)度P，緯度Q組成的向量(R，P，Q) —一對應(yīng)。遍歷不同的半徑R，經(jīng)度P和緯度Q，其中R的最小值為目標(biāo)外接球體半徑，最大為目標(biāo)外界球體半徑的5倍，采樣間隔為最小球體半徑的二分之一，經(jīng)度P和緯度Q的采樣間隔為5度，這樣可以得到一二維圖像序列。2、形狀模型庫的建立所述形狀模型庫的建立為對所述目標(biāo)三維模型的建立中獲取的二維圖像序列經(jīng)行邊緣信息的提取，以此邊緣信息作為圖像的形狀信息來實現(xiàn)目標(biāo)的識別。所述邊緣是指圖像周圍像素灰度有階躍變化的像素集合，圖像的邊緣很少是從一個灰度跳到另一個灰度這樣的理想狀況，真實圖像的邊緣通常都具有有限的寬度呈現(xiàn)出陡峭的斜坡狀。邊緣的銳利程度由圖像灰度的梯度決定，選取其銳利程度大于某給定閾值的
信息為圖像邊緣，其中圖像梯度的計算公式如下，其中f為圖像函數(shù)，
權(quán)利要求1.一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，其特征是，它包括操作端，所述操作端包括左機械臂和右機械臂，左機械臂和右機械臂均安裝在絕緣斗上，在左機械臂上安裝有左立體攝像機，在左立體攝像機上方安裝左立體相機，在右機械臂上安裝有右立體攝像機，在右立體攝像機上方安裝右立體相機；在絕緣斗左機械臂和右機械臂的前側(cè)設(shè)有可見光攝像機I，在絕緣斗左機械臂和右機械臂的后側(cè)設(shè)有攝像機支柱，在支柱的頂端設(shè)有可見光攝像機II ;左立體攝像機、右立體攝像機、左立體相機、右立體相機、可見光攝像機I和可見光攝像機II均與地面遙控端連接。
2.如權(quán)利要求1所述一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，其特征是，所述地面遙控端包括機器人控制系統(tǒng)、視頻處理器和人機接口 ；操作端通過光纖與機器人控制系統(tǒng)連接，視頻處理器連接通過RJ45與左立體攝像機、右立體攝像機、左立體相機、右立體相機、可見光攝像機I和可見光攝像機II，視頻處理器分別與人機接口、機器人控制系統(tǒng)連接。
3.如權(quán)利要求1所述一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，其特征是，所述操作端安裝在液壓升降平臺。
4.如權(quán)利要求1所述一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，其特征是，所述可見光攝像機I和可見光攝像機II采用高清數(shù)字CXD攝像機，通過RJ45線與視頻處理器連接。
5.如權(quán)利要求1所述一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，其特征是，所述左立體攝像機和右立體攝像機采用全高清裸眼立體攝像機，均通過RJ45線與視頻處理器連接。
6.如權(quán)利要求1所述一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，其特征是，所述左立體相機和右立體相機通過千兆網(wǎng)與視頻處理器相連，通過分析左立體相機和右立體相機視頻的視差，實現(xiàn)觀測物體的空間信息的識別，包括空間的三維坐標(biāo)和姿態(tài)。
7.如權(quán)利要求2所述一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，其特征是，所述視頻處理器采用圖形工作站，通過RS232與機器人控制系統(tǒng)連接，為機器人控制系統(tǒng)提供伺服控制信號。
8.如權(quán)利要求2所述一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，其特征是，所述人機接口采用VGA線與視頻處理器連接，為操作人員提供操作時的視頻指導(dǎo)。
專利摘要本實用新型公開了一種用于高壓帶電作業(yè)機器人的視覺系統(tǒng)，它包括操作端，所述操作端包括左機械臂和右機械臂，左機械臂和右機械臂均安裝在絕緣斗上，在左機械臂上安裝有左立體攝像機和左立體相機，在右機械臂上安裝有右立體攝像機和右立體相機；在絕緣斗的前側(cè)設(shè)有可見光攝像機I，在絕緣斗后側(cè)設(shè)有攝像機支柱，在支柱的頂端設(shè)有可見光攝像機II；左立體攝像機、右立體攝像機、左立體相機、右立體相機、可見光攝像機I和可見光攝像機II均與地面遙控端連接，采用本實用新型可以使操作人員徹底擺脫高空、高危的工作環(huán)境，降低勞動強度，大大提高工作安全性，實現(xiàn)對被操作物體位置和姿態(tài)的自動識別，提高作業(yè)的自動化、智能化水平。
文檔編號B25J13/08GK203031618SQ20132004697
公開日2013年7月3日 申請日期2013年1月29日 優(yōu)先權(quán)日2013年1月29日
發(fā)明者王振利, 魯守銀, 李健, 呂曦晨, 趙玉良 申請人:山東電力集團公司電力科學(xué)研究院, 國家電網(wǎng)公司