專利名稱：一種適用于工業機器人的操作物位置姿態識別方法
技術領域：
本發明涉及一種適用于工業機器人的操作物位置姿態識別方法，屬于工業機器人領域。
背景技術：
目前，工業機器人主要應用于結構化環境中，采用試教再現方式完成相應的功能，即首先由人工導引機器人末端執行器使機器人完成預期的動作，機器人將該動作序列進行存儲，然后機器人憑記憶不斷重復該動作，完成作業功能。為使機器人能夠勝任復雜的非結構化環境中的工作，不但要有更好的控制系統，還需要更多地感知環境的變化。其中機器人視覺以其信息量大、信息完整成為最重要的機器人感知功能，因此機器人視覺伺服系統應運而生。視覺伺服系統按照攝像機的數目的不同，可分為單目視覺伺服系統、雙目視覺伺服系統以及多目視覺伺服系統；按照攝像機放置位置的不同，可以分為手眼系統和固定攝像機系統；按照系統反饋控制量的不同，視覺伺服系統分為基于位置的視覺伺服系統和基于圖像的視覺伺服系統。目前，國內外對該領域的相應研究相對較少，且主要集中在基于圖像的單目手眼系統，其中主要研究成果包括:國家知識產權局2011年10月15日公開的專利號為201020685635.7的“基于視覺伺服的移動機器人精確定位云臺系統”發明中公開了一種基于視覺伺服的移動機器人精確定位云臺系統，該發明為典型的基于圖像的視覺伺服系統，發明通過單目相機獲取圖像，通過相應的算法提取圖像特征，并與模板圖像比較，實現伺服功能。國家知識產權局2005年3月30公告的專利號為CN200410067328.1的“焊接機器人伺服雙目視覺傳感器”發明中公開了一種應用于焊接機器人的雙目視覺傳感器，該發明為典型的基于位置的視覺伺服系統，發明采用雙目視覺算法實現操作物的三維信息的獲取，將該位置信息反饋機器人系統實現伺服功能。上述研究都取得了一定程度上的有益效果，但仍存在如下問題:“基于視覺伺服的移動機器人精確定位云臺系統”中由于采用單目相機，只能獲取操作物的二維信息，無法獲取深度信息，控制精度不高。“焊接機器人伺服雙目視覺傳感器”中由于雙目算法的復雜度較高，算法運算時間長，無法實現機器人系統的實時控制。

發明內容
本發明的目的在于解決上述問題，提供一種適用于工業機器人的操作物位置姿態識別方法，該方法可以應用于基于位置的視覺伺服系統中，采用雙目立體相機，通過立體視覺算法、目標跟蹤算法、卡爾曼濾波算法，實時為系統提供操作物的位置和姿態信息，方法運算時間短，精度高，能適應室內室外等不同光照條件，為工業機器人在非結構化環境內的使用提供技術支撐。
為實現上述目的，本發明采用如下技術方案:一種適用于工業機器人的操作物位置姿態識別方法，步驟如下:步驟1，初始化操作，將左右相機和操作物初始進行標定，然后利用左右相機獲取圖像數據；步驟2，利用圖像采集過程中前后兩幀圖像的對運動的操作物進行跟蹤；步驟3，通過卡爾曼濾波平滑前后兩幀圖像中操作物跟蹤窗口的變化；步驟4，采用圖像數據降維方式，將雙目相機采集的整幅圖像的立體視覺數據即位置和姿態數據限定在步驟3的跟蹤窗內進行處理，從而降低數據處理的維數；步驟5，計算操作物的立體位置和姿態，并將數據反饋給機器人伺服控制系統實現伺服控制。所述步驟I中,左右相機圖像采集頻率應大于每秒8幀；所述左右相機的標定包括左右相機的內參標定和左右相機相對位置的標定，其中左右相機內參的畸變校正；左右相機相對位置標定為確定左右相機的相對位置；所述操作物初始位置標定為人工在左相機采集到的圖像中對操作物初始位置進行標定。所述步驟2中，跟蹤過程為:2-1)在前一幀圖像中初始化操作物跟蹤窗；

2-2)計算跟蹤窗 內圖像的顏色概率分布；2-3)運用均值漂移算法，獲得圖像中操作物新的大小和位置；2-4)在后一幀視頻圖像中用2-3)中的值重新初始化跟蹤窗的大小和位置，再跳轉到2-2)繼續進行。所述跟蹤窗為圖像中的包含操作物的矩形區域，初始位置由步驟I中所述操作物初始位置標定操作來確定。所述顏色概率分布為所述均值漂移算法的輸入數據，其主要實現過程如下:I)首先將圖像從RGB空間轉換到HSV空間；2 )然后對其中的H分量作統計直方圖，直方圖數據代表了不同H分量值在圖像中出現的概率；3)將圖像中每個像素的值用其H分量出現的概率替換，就得到了顏色概率分布。所述均值漂移算法是一種密度函數梯度估計的非參數方法，該算法通過迭代尋優找到概率分布的極值來定位目標，其實現過程如下:a在圖像顏色概率分布中選取跟蹤窗；b計算跟蹤窗內圖像零階距M。。、一階距M1Q，MQ1和跟蹤窗質心，其中I(x，y)為圖像方程，X為圖像橫坐標，y為圖像縱坐標，(x。，yc)為跟蹤窗質心；
權利要求
1.一種適用于工業機器人的操作物位置姿態識別方法，其特征是，步驟如下: 步驟1，初始化操作，將左右相機和操作物初始進行標定，然后利用左右相機獲取圖像數據； 步驟2，利用圖像采集過程中前后兩幀圖像的對運動的操作物進行跟蹤； 步驟3，通過卡爾曼濾波平滑前后兩幀圖像中操作物跟蹤窗口的變化； 步驟4，采用圖像數據降維方式，將雙目相機采集的整幅圖像的立體視覺數據即位置和姿態數據限定在步驟3的跟蹤窗內進行處理，從而降低數據處理的維數； 步驟5，計算操作物的立體位置和姿態，并將數據反饋給機器人伺服控制系統實現伺服控制。
2.如權利要求1所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述步驟I中,左右相機圖像采集頻率應大于每秒8幀； 所述左右相機的標定包括左右相機的內參標定和左右相機相對位置的標定，其中左右相機內參的畸變校正；左右相機相對位置標定為確定左右相機的相對位置； 所述操作物初始位置標定為人工在左相機采集到的圖像中對操作物初始位置進行標定。
3.如權利要求1所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述步驟2中，跟蹤過程為: 2-1)在前一幀圖像中初始化操作物跟蹤窗；2-2)計算跟蹤窗內圖像的顏色概率分布； 2-3)運用均值漂移算法，獲得圖像中操作物新的大小和位置； 2-4)在后一幀視頻圖像中用2-3)中的值重新初始化跟蹤窗的大小和位置，再跳轉到2-2)繼續進行。
4.如權利要求3所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述跟蹤窗為圖像中的包含操作物的矩形區域，初始位置由步驟I中所述操作物初始位置標定操作來確定。
5.如權利要求3所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述顏色概率分布為所述均值漂移算法的輸入數據，其主要實現過程如下: 1)首先將圖像從RGB空間轉換到HSV空間； 2)然后對其中的H分量作統計直方圖，直方圖數據代表了不同H分量值在圖像中出現的概率； 3)將圖像中每個像素的值用其H分量出現的概率替換，就得到了顏色概率分布。
6.如權利要求3所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述均值漂移算法是一種密度函數梯度估計的非參數方法，該算法通過迭代尋優找到概率分布的極值來定位目標，其實現過程如下: a在圖像顏色概率分布中選取跟蹤窗； b計算跟蹤窗內圖像零階距Mtltl、一階距Mltl,Mtll和跟蹤窗質心，其中I (x，y)為圖像方程，X為圖像橫坐標，y為圖像縱坐標，(X。，y。)為跟蹤窗質心；
7.如權利要求1所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述步驟5中，計算操作物位置和姿態的過程為: 5-1)圖像校正； 5-2)位差圖獲取； 5-3)三維點云獲取； 5-4)操作物位置姿態獲取。
8.如權利要求7所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述步驟5-1)中，圖像校正是通過步驟I中獲取的左右相機的內參和左右相機的相對位置關系，對左右相機獲取的圖像進行畸變校正和雙目校正，其中畸變校正用于消除相機自身存在的畸變，而雙目校正的就是要把消除畸變后的兩幅圖像嚴格地行對應，使得兩幅圖像的極線恰好在同一水平線上，這樣一幅圖像上任意一點與其在另一幅圖像上的對應點就必然具有相同的行號，在所述步驟2中只需在該行進行一維搜索即可匹配到對應點。
9.如權利要求7所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述步驟5-2)位差圖獲取是在所述步驟5-1)所得的校正后的左右圖像中的相同行中進行匹配點搜索；匹配點搜索是在規定匹配窗口內采用平方和距離方法搜索相應的匹配點，其原理公式如下，其中gl為左圖像方程；g2為右圖像方程；gl(r，c)為左圖像在坐標(r，c)位置的灰度值；g2(r，c)為右圖像在坐標(r，c)位置的灰度值；規定匹配窗口寬度為2m+l，高度為2n+l,m和n取3，5，7，9，11 ；d為位差，即左右圖像中匹配點的像素距離,其取值范圍為O到圖像寬度；s為位差函數；s(r，c，d)為左圖像中在坐標(r，c)位置不同位差d情況下的值；
10.如權利要求7所述的適用于工業機器人的操作物位置姿態識別方法，其特征是，所述步驟5-3)三維點云獲取是通過左右相機的內參和位差圖，獲取圖像中各點三維坐標信息進行計算；所述操作物位置姿態獲取即通過三維點云信息獲取操作物的位置和姿態，其中位置通過計算三維點云的重心得到，位置使用三維點云中與重心距離最遠的點與重心間的矢量表示為操作物的位姿。
全文摘要
本發明涉及一種適用于工業機器人的操作物位置姿態識別方法，該方法可以應用于基于位置的視覺伺服系統中，實時為系統提供操作物的位置和姿態信息，方法運算時間短，精度高，能適應室內室外等不同光照條件，為工業機器人在非結構化環境內的使用提供技術支撐。其步驟如下步驟1，初始化操作，將左右相機和操作物初始進行標定，然后利用左右相機獲取圖像數據；步驟2，利用圖像采集過程中前后兩幀圖像的對運動的操作物進行跟蹤；步驟3，通過卡爾曼濾波平滑前后兩幀圖像中操作物跟蹤窗口的變化；步驟4，采用圖像數據降維方式，從而降低數據處理的維數；步驟5，計算操作物的立體位置和姿態，并將數據反饋給機器人伺服控制系統實現伺服控制。
文檔編號B25J19/04GK103112015SQ20131003422
公開日2013年5月22日 申請日期2013年1月29日 優先權日2013年1月29日
發明者王振利, 魯守銀, 趙玉良, 呂曦晨, 李健 申請人:山東電力集團公司電力科學研究院, 國家電網公司