專利名稱：視覺機器人離線編程方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種機器人技術領域，屬于半導體自動化加工領域的設備，尤其涉及一種能實現(xiàn)離線生成機器人運動軌跡的作業(yè)程序的視覺機器人離線編程方法和視覺機器人離線編程系統(tǒng)。
背景技術：
人類進入21世紀，科技高速發(fā)展，已經(jīng)開始積極的向地球外的領域開拓，開發(fā)太空和利用空間的能力已經(jīng)成為衡量一個國家綜合實力和大國地位的重要特征。機器人正逐漸成為未來開發(fā)太空的一種重要手段。遙控操作時機器人的一種重要控制方式，用遙控操作機器人進行作業(yè)能提高作業(yè)的安全性以及經(jīng)濟性。目前，幾乎所有的機器人操作平臺都具有視覺系統(tǒng)，視覺系統(tǒng)也是實際操作過程中取得機器人運作信息的重要途徑。但現(xiàn)有機器人的操作平臺采用的視覺系統(tǒng)缺乏主動視覺功能，從而還需要人工的調(diào)整，重新搜索目標物，效果還不好，不能最大限度的發(fā)揮視覺系統(tǒng)的作用。此外，現(xiàn)有的視覺系統(tǒng)僅具有單目視覺，其視野有限，不能精確定位，從而限制了視覺系統(tǒng)的應用，不利于操作任務的順利完成。在專利號為CN101152717A的名稱為“一種用于離線生成機器人切割作業(yè)程序的方法”中，該專利利用相配套開發(fā)的離線編程軟件讀取待加工工件的圖形文件，自動編程直接生成切割機器人的控制程序。該技術方案利用已有的成熟的三維制圖軟件CAD構造工件的幾何圖形，并在圖形中利用給線著色的方式對待加工部位進行標識，運行離線編程軟件讀取圖形的IGS文件生成機器人的控制程序，傳送至機器人后完成切割作業(yè)。該方法應用讀取含有加工信息的工件的CAD圖形的方法來直接生成完整的可用于生成加工的機器人的作業(yè)程序。但是，該技術方案中，根據(jù)生成的CAD圖，需要被機器人加工的部位要用顏色線標識出，而且需用約定好的不同的顏色標識出來，這樣明顯增加了工作量，而且精確度不夠聞。在專利號為CN101698299A名稱為“一種用于氣浮機械臂遙操作的三目視覺裝置”的專利中，本專利根據(jù)三目視覺攝像頭中三個攝像頭的相對位置關系和目標物體在三個攝像頭圖像界面中的位置坐標，計算出目標物體到三目視覺攝像頭重主攝像頭得深度信息，從而提供給遙操作人員進行輔助決策。本技術方案，不對目標物體進行精確定位。集成電路(IC)是電子信息產(chǎn)業(yè)的核心，是推動國民經(jīng)濟和社會信息化發(fā)展的最主要的高新技術之一，一個國家半導體行業(yè)的先進程度顯示了這個國家高新技術的先進程度。潔凈機器人是用于半導體生產(chǎn)中負責在不同的生產(chǎn)工序中搬運晶圓的任務，像日本、韓國和臺灣等半導體工業(yè)發(fā)達的國家和地區(qū)已經(jīng)在20世紀八九十年代研發(fā)了自己的IC機器人。國家在十五“863”計劃中，將集成電路制造裝備列入了重大專項計劃，實現(xiàn)我國集成電路制造裝備的局部突破和IC裝備產(chǎn)業(yè)的跨越式發(fā)展。在晶圓自動化生產(chǎn)線上，晶圓托盤一般放置在機器人機械手臂的末端，由機器人去完成晶圓的傳輸。傳統(tǒng)的機器人作業(yè)程序的生成是車間現(xiàn)場由操作人員一邊操縱機器人在工件表面示教特征點，一邊在示教編程器上編制程序的方法完成。傳統(tǒng)的示教方法由于需要較多的人的參與，即使操作者有較高的技能也會有不同程度的誤差存在。如選點是否合理、示教點的準確與否、工具與工件的夾角是否準確等問題都可能導致實際工件加工時產(chǎn)生較大的誤差。另外，工件越復雜，需要示教點就越多，往往在示教程序時就需要投入較多的時間，導致機器人的使用效率不夠高。總之，這種示教方式存在諸多的缺點:1、機器人在示教過程中不能工作，影響工作效率；2、示教過程中需要工作人員在機器人附近進行引導，而潔凈機器人是需要工作在一定潔凈度等級的潔凈環(huán)境中，工作人員的進入會在一定程度上給潔凈室?guī)砦廴荆?、工作人員在對機器人示教的過程中，若出現(xiàn)失誤會導致機器人手臂與人發(fā)生碰撞，給機器人結構和工作人員帶來傷害。

發(fā)明內(nèi)容
本發(fā)明主要解決的技術問題是提供一種實現(xiàn)對機器人運動軌跡進行離線編程的方法，通過該機器人，自動完成晶圓傳輸?shù)裙ぷ鳎瑴p少了人工的介入，避免了工作人員給潔凈室等帶來一定程度的污染等。為解決上述技術問題，本發(fā)明采用的一個技術方案是提供一種視覺機器人離線編程方法，包括以下步驟:SlOO:設定機器人各軸的旋轉(zhuǎn)角度作為運動的約束條件；S200:應用攝像機采集目標圖像；S300:應用采集的圖像，提取目標的邊緣和頂點信息；S400:應用目標的邊緣和頂點信息構建目標的三維模型；S500:應用目標的三維模型生成目標模型的點云數(shù)據(jù)；S600:機器人獲取晶圓片的存放位置的坐標信息；S700:依據(jù)存放位置的坐標信息以及點云數(shù)據(jù)計算機器人電機相關運動參數(shù)，并存儲運動參數(shù)。具體的，步驟S300中，提取目標的邊緣信息的方法包括:S311:制作橫向差分模板；S312:對差分模板濾波；S313:檢測圖像中各像素點的八鄰域點的值是否滿足角點條件，若滿足角點條件，則保留；若不滿足，則剔除掉；S314:計算角點響應函數(shù)值；S315:應用角點響應函數(shù)值對保留下的角點值再次進行檢測，剔除掉非角點像素點，從而取得目標的邊緣信息。在一改進的方案中，提取邊緣信息采用的是Priwitt邊緣檢測算法。具體的，步驟S300中，提取目標的頂點信息的方法包括:S321:對圖像的角點進行檢測；S322:對圖像像素坐標和世界坐標做歸一化處理；S323:獲取攝像機內(nèi)參數(shù)以及外參數(shù)值；S324:優(yōu)化攝像機內(nèi)參數(shù)以及外參數(shù)值，從而取得目標的頂點信息。在一改進的方案中，提取目標的頂點信息采用的是Harris角點檢測方法。
具體的，所述運動目標的運動軌跡文件包括運動目標的位移以及運動目標的方向。為了解決上述技術問題，本發(fā)明采用的另一個技術方案是提供一種視覺機器人離線編程系統(tǒng)，包括操作單元、攝像單元、轉(zhuǎn)換單元、圖像編輯單元、圖像處理單元、數(shù)據(jù)轉(zhuǎn)換單元、位移分析單元以及運動分析單元；所述操作單元用于設定機器人各軸的旋轉(zhuǎn)角度作為運動的約束條件，即；所述攝像單元用于采集目標的圖像；所述轉(zhuǎn)換單元將采集的目標圖像轉(zhuǎn)為數(shù)字圖像，并提取目標的邊緣和頂點信息；所述圖像處理單元用于應用目標的邊緣和頂點信息構建目標的三維模型；所述數(shù)據(jù)轉(zhuǎn)換單元用于生成目標模型的點云數(shù)據(jù)；所述位移分析單元用于獲取晶圓片的存放位置的坐標信息；所述運動分析單元用于依據(jù)存放位置的坐標信息以及點云數(shù)據(jù)計算機器人電機相關運動參數(shù)，并存儲運動參數(shù)。其中，所述攝像單元包括多個攝像機、相機固定座、旋轉(zhuǎn)軸以及底座；所述攝像機固定于相機固定座上；相機固定座通過旋轉(zhuǎn)軸與底座相連，通過底座安裝于機器人本體上。其中，所述攝像機為三個，三個攝像機在相機固定座上位于同一水平線上。其中，固定于相機固定座上的攝像機位置根據(jù)特定參數(shù)設定，所述參數(shù)包括:基線距離、坐標變換矩陣以及每個攝像機的單應性矩陣。本發(fā)明的有益效果是:通過視覺機器人的攝像單元獲取目標的圖像信息，提取目標的邊緣以及頂點信息后，確定目標的三維坐標，最后通過目標的三維坐標信息對機器人的運動軌跡進行規(guī)劃，從而得到機器人相關部件如手臂以及腿部等的運動軌跡。該技術方案中的機器人能針對目標的圖像信息，自動離線編程生成機器人的運動軌跡，無需工作人員的控制，從而使工作人員遠離工作車間，避免給工作車間帶來污染。該機器人自動化程度高，機器人運動軌跡完全由計算機計算出。


圖1是本發(fā)明技術方案的視覺機器人離線編程方法的流程圖。圖2是本發(fā)明技術方案的提取目標的邊緣信息的流程圖。圖3是本發(fā)明技術方案的提取目標的頂點信息的流程圖。圖4是本發(fā)明技術方案的八領域點的位置圖。圖5是本發(fā)明技術方案的攝像單元的正面視圖。圖6是本發(fā)明技術方案的攝像單元的俯視圖。標注說明:I攝像機；2相機固定座；3旋轉(zhuǎn)軸；4底座。
具體實施例方式為詳細說明本發(fā)明的技術內(nèi)容、構造特征、所實現(xiàn)目的及效果，以下結合實施方式并配合附圖詳予說明。請參閱圖1，本發(fā)明提供的一種視覺機器人離線編程方法，包括以下步驟:SlOO:設定機器人各軸的旋轉(zhuǎn)角度作為運動的約束條件；S200:應用攝像機采集目標圖像；S300:應用采集的圖像，提取目標的邊緣和頂點信息；
S400:應用目標的邊緣和頂點信息構建目標的三維模型；S500:應用目標的三維模型生成目標模型的點云數(shù)據(jù)；S600:機器人獲取晶圓片的存放位置的坐標信息；S700:依據(jù)存放位置的坐標信息以及點云數(shù)據(jù)計算機器人電機相關運動參數(shù)，并存儲運動參數(shù)。本技術方案經(jīng)過步驟S500至S700生成機器人的運動軌跡文件以及機器人電機相關運動參數(shù)，從而使機器人的機械手臂以及相關部件向特定的方向做預定的動作，實現(xiàn)了離線自動編程，滿足了用戶的需求。具體的，步驟S300中，應用現(xiàn)有的角點檢測算法以及邊緣檢測算法的原理取得目標的邊緣信息以及頂點信息。常見的基于模板的角點檢測算法有Kitchen-Rosenfeld角點檢測算法、Harris角點檢測算法、KLT角點檢測算法及SUSAN角點檢測算法。角點作為圖像上的特征點包含有重要的信息，在圖像融合和目標跟蹤以及三維重建中具有重要的應用價值，但是基于實際應用需求，從角點檢測的快速性、準確性、魯棒性等要求出發(fā)，可以看出以上的基于模板的角點檢測算法各有弊益，至極基于圖像的角點檢測基本上是全局搜索，基于邊緣輪廓的角點檢測數(shù)據(jù)量較少，可以采用多分辨分析并行處理，從灰度圖像得到邊緣輪廓曲線要經(jīng)過兩次以上的全局搜索，速度并不是很快，但對角點的誤檢和漏檢要比直接基于圖像的方法好很多。如果在得到輪廓曲線的過程中應用一些其他的變換方法，就計算的速度而言，下降不少，所以一般速度較快、較準確的角點檢測使用直接基于圖像模板的方法就完全可以滿足需要，但是如果對角點的完備性要求較高，那么使用基于輪廓線的多角度分析方法應該給予考慮。由于目標頂點的位置信息是機器人準確操作晶圓片的關鍵因素，所以本技術方案中提取目標的頂點信息采用的是Harris角點檢測方法，該方法具有準確的定位性能、很高的重復檢測率、具有對噪聲的魯棒性和具有較高的計算效率，參考圖3所示，其在本技術方案中的應用具體包括以下步驟:S321:對圖像的角點進行檢測；S322:對圖像像素坐標和世界坐標做歸一化處理，以方便做矩陣運算；S323:獲取攝像機內(nèi)參數(shù)和外參數(shù)值；該內(nèi)參數(shù)具體為相機的畸變，外參數(shù)具體為攝像機的旋轉(zhuǎn)和平移值；S324:優(yōu)化攝像機內(nèi)參數(shù)以及外參數(shù)值,從而取得目標的頂點信息。Harris角點檢測方法具有準確的定位性能、很高的重復檢測率、對噪聲魯棒性好以及計算效率較高等優(yōu)點。該技術方案，應用Harris角點檢測方法確定角點后，再對圖像的像素坐標以及世界坐標做歸一化處理，獲取攝像機的內(nèi)參數(shù)以及外參數(shù)。具體的，應用了單應性矩陣獲取內(nèi)參數(shù)以及外參數(shù)。在視覺信息計算中，單應性矩陣的求解在攝像機標定的過程中具有重要的意義，單應性矩陣中包含著攝像機的內(nèi)參數(shù)矩陣、旋轉(zhuǎn)向量和平移向量。假設三維空間有一點Q= [X Y Z1]T，到成像儀上的q[x y I] T映射，設單應性矩陣以Hs為比例系數(shù)。則Q和q之間的關系可表示為q = ShQ0在點映射過程中，點要經(jīng)過旋轉(zhuǎn)和平移的物理變換，所以設物理變換坐標W= [R T]，R為旋轉(zhuǎn)向量，T為平移向量。然后再投射過程中，根據(jù)得到的攝像機的內(nèi)參矩陣M，所以q= sMWQ，從而推算出H= s麗。通過單應性矩陣，把源圖像平面上的點擊位置與目標圖像平面的點擊位置聯(lián)系了起來。本技術方案中，在張正友標定方法中，將目標三維坐標和圖像坐標之間的由內(nèi)外參數(shù)構成的矩陣稱為單應性矩陣H，具體的，張正友標定方法需要拍攝若干張標定模板的圖像，為了提高最后非線性優(yōu)化求解的精度，需要從不同角度拍攝圖片。具體的，該攝像機標定方法采用張正友標定方法的步驟如下:1、先將三目相機固定在機器人上，并將機器人手臂停留在初始化位置上；2、打印一張模板并貼在一個平面上；3、變換模板的位置和角度，使得相機從不同角度拍攝若干張模板圖象；4、檢測出圖象中的特征點，本實施例中，特征點具體的為數(shù)字圖像的黑白格的交
占.
5、求出攝像機的內(nèi)參數(shù)和外參數(shù)；6、求出畸變系數(shù)；7、優(yōu)化求精。在該標定方法中，由于圖像坐標系為一個3*1階矩陣，目標坐標系為一個4*1階矩陣，則H為3*4階矩陣，但張正友標定方法事先約定標定模板所在平面在目標坐標系中z=O處,這樣H為3*3階矩陣,通過圖像坐標和目標坐標可求出H。假設H = Qi1 h2 h3]=XAlir1 r2 t],其中A為攝像機內(nèi)參數(shù)，Lr1 r2 t]為攝像機外參數(shù)，λ為尺度因子。由坐標正交的關系和坐標系矢量模為I的兩個約束條件可以得到下面兩個方程式:
權利要求
1.一種視覺機器人離線編程方法，其特征在于，包括以下步驟: SlOO:設定機器人各軸的旋轉(zhuǎn)角度作為運動的約束條件； S200:應用攝像機采集目標圖像； S300:應用采集的圖像，提取目標的邊緣和頂點信息； S400:應用目標的邊緣和頂點信息構建目標的三維模型； S500:應用目標的三維模型生成目標模型的點云數(shù)據(jù)； S600:機器人獲取晶圓片的存放位置的坐標信息； S700:依據(jù)存放位置的坐標信息以及點云數(shù)據(jù)計算機器人電機相關運動參數(shù)，并存儲運動參數(shù)。
2.根據(jù)權利要求1所述的視覺機器人離線編程方法，其特征在于，步驟S300中，提取目標的邊緣信息的方法包括: 5311:制作橫向差分模板； 5312:對差分模板濾波； 5313:檢測圖像中各像素點的八鄰域點的值是否滿足角點條件，若滿足角點條件，則保留；若不滿足，則剔除掉； 5314:計算角點響應函數(shù)值； 5315:應用角點響應函數(shù)值對保留下的角點值再次進行檢測，剔除掉非角點像素點，從而取得目標的邊緣信息。
3.根據(jù)權利要求2中所述的視覺機器人離線編程方法，其特征在于，提取邊緣信息采用的是Priwitt邊緣檢測算法。
4.根據(jù)權利要求1所述的視覺機器人離線編程方法，其特征在于， 步驟S300中，提取目標的頂點信息的方法包括: 5321:對圖像的角點進行檢測； 5322:對圖像像素坐標和世界坐標做歸一化處理； 5323:獲取攝像機內(nèi)參數(shù)和外參數(shù)值； 5324:優(yōu)化攝像機內(nèi)參數(shù)以及外參數(shù)值，從而取得目標的頂點信息。
5.根據(jù)權利要求4所述的視覺機器人離線編程方法，其特征在于，提取目標的頂點信息采用的是Harris特征點檢測方法。
6.根據(jù)權利要求1所述的視覺機器人離線編程方法，其特征在于，所述運動目標的運動軌跡文件包括運動目標的位移以及運動目標的方向。
7.—種視覺機器人離線編程系統(tǒng)，其特征在于:包括操作單元、攝像單元、轉(zhuǎn)換單元、圖像編輯單元、圖像處理單元、數(shù)據(jù)轉(zhuǎn)換單元、位移分析單元以及運動分析單元； 所述操作單元用于設定各軸的旋轉(zhuǎn)角度作為機器人運動的約束條件； 所述攝像單元用于采集目標的圖像； 所述轉(zhuǎn)換單元將采集的目標圖像轉(zhuǎn)為數(shù)字圖像，并提取目標的邊緣和頂點信息；所述圖像處理單元用于應用目標的邊緣和頂點信息構建目標的三維模型； 所述數(shù)據(jù)轉(zhuǎn)換單元用于生成目標模型的點云數(shù)據(jù)； 所述位移分析單元用于獲取晶圓片的存放位置的坐標信息； 所述運動分析單元用于依據(jù)存放位置的坐標信息以及點云數(shù)據(jù)計算機器人電機相關運動參數(shù)，并存儲運動參數(shù)。
8.根據(jù)權利要求7所述的視覺機器人離線編程系統(tǒng)，其特征在于:所述攝像單元包括多個攝像機、相機固定座、旋轉(zhuǎn)軸以及底座； 所述攝像機固定于相機固定座上；相機固定座通過旋轉(zhuǎn)軸與底座相連，通過底座安裝于機器人本體上。
9.根據(jù)權利要求7或8所述的視覺機器人離線編程系統(tǒng)，其特征在于:所述攝像機為三個，三個攝像機在相機固定座上位于同一水平線上。
10.根據(jù)權利要求9所述的視覺機 器人離線編程系統(tǒng)，其特征在于:固定于相機固定座上的攝像機位置根據(jù)特定參數(shù)設定，所述參數(shù)包括:基線距離、坐標變換矩陣以及每個攝像機的單應性矩陣。
全文摘要
本發(fā)明公開了一種視覺機器人離線編程方法，包括以下步驟S100設定機器人各軸的旋轉(zhuǎn)角度作為運動的約束條件；S200應用攝像機采集目標圖像；S300應用采集的圖像，提取目標的邊緣和頂點信息；S400應用目標的邊緣和頂點信息構建目標的三維模型；S500應用目標的三維模型生成目標模型的點云數(shù)據(jù)；S600機器人獲取晶圓片的存放位置的坐標信息；S700依據(jù)存放位置的坐標信息以及點云數(shù)據(jù)計算機器人電機相關運動參數(shù)，并存儲運動參數(shù)。本技術方案中的機器人能針對目標的圖像信息，自動離線編程生成機器人的運動軌跡，無需工作人員的控制，從而使工作人員遠離工作車間，避免給工作車間帶來污染。
文檔編號B25J13/08GK103192397SQ20121000532
公開日2013年7月10日 申請日期2012年1月9日 優(yōu)先權日2012年1月9日
發(fā)明者劉曉帆, 徐方, 曲道奎, 鄒風山, 李崇, 鄭春暉, 董狀, 王金濤 申請人:沈陽新松機器人自動化股份有限公司