一種基于雙目視覺引導的物體抓取與放置系統的制作方法
【專利摘要】本發明具體涉及一種基于雙目視覺引導的物體抓取與放置系統。一種基于雙目視覺引導的物體抓取與放置系統，由雙目視覺單元、機器人單元和圖像處理與控制計算機組成，圖像處理與控制計算機通過1394接口與雙目立體攝像機連接，通過千兆以太網與機械臂控制柜連接；雙目視覺單元由雙目立體攝像機和圖像采集板卡組成。本發明使用圖像處理和控制計算機對圖像采集卡和雙目立體攝像機獲得的雙目圖像進行圖像處理，對圖像中的物體進行識別和定位，使用定位結果引導機械臂完成對目標物體的抓取與放置動作。
【專利說明】
一種基于雙目視覺引導的物體抓取與放置系統
技術領域
[0001]本發明具體涉及一種基于雙目視覺引導的物體抓取與放置系統。
【背景技術】
[0002]隨著“中國制造2025”、“機器換人”等高科技戰略的提出，工業生產過程中對機器人的智能程度要求越來越高。雖然目前工業機器人已廣泛應用在工業生產線上，但大多說機器人都是工作在示教模式下完成事先設定的動作，如果工件周圍環境發生變化很可能會導致對指定工件操作任務失敗。由于機械臂無法感知周圍環境變化的缺點很大的限制了工業機械臂在工業生產過程中的應用。
[0003]參考人類獲取的大部分的外部信息來源與雙眼，進而通過大腦做出各種決策和動作。把雙目立體攝像機引入到機械臂的控制當中，使機械臂具有人一樣的視覺功能，通過一系列的圖像處理技術來提取圖像中的目標特征，從而實現目標物體的識別與定位。
[0004]在未知位姿的物體抓取與放置過程中，把圖像處理技術和機械臂控制技術相結合，通過一系列的圖像處理技術識別雙目立體攝像機視野內的物體并對其三維位置進行測量，引導機械臂完成對物體的抓取與放置，對擴大機械臂的應用范圍和提高機械臂的智能程度都具有重大意義。

【發明內容】

[0005]本發明的目的在于提供提供了一種解決目標物體三維位置未知且周圍環境持續變化的情況下，使用雙目立體視覺完成目標物體識別與定位，從而引導機械臂完成對目標物體的抓取與放置動作的基于雙目視覺的目標抓取與放置系統。
[0006]本發明的目的是通過以下方案實現的:
[0007]—種基于雙目視覺引導的物體抓取與放置系統，由雙目視覺單元、機器人單元和圖像處理與控制計算機組成，圖像處理與控制計算機通過1394接口與雙目立體攝像機連接，通過千兆以太網與機械臂控制柜連接;雙目視覺單元由雙目立體攝像機和圖像采集板卡組成，其中雙目攝像機左右兩攝像機中心線的距離為120mm，雙目立體攝像機安裝在機械臂末端手爪上與機械臂組成眼在手上視覺系統；圖像采集卡安裝在圖像處理與控制計算機PC1-E插槽中，圖像采集卡與雙目立體攝像機通過1394接口連接。
[0008]機器人單元由六自由度機械臂、機械臂控制柜和末端手爪組成，末端手爪安裝在機械臂第六軸末端法蘭處;機械臂控制柜通過網線與圖像處理與控制計算機連接。
[0009]本發明的有益效果在于:本發明包括雙目視覺單元、機器人單元和圖像處理和控制計算機，圖像處理和控制計算機通過1394接口和雙目視覺單元連接、通過千兆以太網與機器人控制柜連接。使用圖像處理和控制計算機對圖像采集卡和雙目立體攝像機獲得的雙目圖像進行圖像處理，對圖像中的物體進行識別和定位，使用定位結果引導機械臂完成對目標物體的抓取與放置動作。
【附圖說明】
[0010]圖1是一種基于雙目視覺引導的目標抓取與放置系統的組成圖；
[0011 ]圖2是一種基于雙目視覺引導的物體抓取與放置系統識別、定位和抓取流程圖；
[0012]圖3是一種基于雙目視覺引導的目標抓取與放置系統的圖像處理與控制軟件截圖。
【具體實施方式】
[0013]下面結合附圖對本發明做進一步描述。
[0014]本發明提供的是一種基于雙目視覺引導的物體抓取與放置系統。該系統由雙目視覺單元、機器人單元和圖像處理與控制計算機組成。圖像處理與控制計算機通過1394接口與雙目視覺單元連接，通過網線與機器人控制柜連接。雙目視覺單元主要由雙目立體攝像機、圖像采集卡組成，用于圖像的采集和傳輸。機器人單元由六自由度機械臂、機械臂控制柜和末端手爪組成，用于實現目標物體的抓取與放置。圖像處理與控制計算機主要用來對雙目視覺單元獲得的圖像進行處理，穩定識別、定位目標物體并引導機械臂完成物體的抓取與放置動作。
[0015]在圖像處理與控制軟件啟動時對雙目立體攝像機和六自由度機械臂初始化，分別建立圖像處理與控制計算機和雙目立體攝像機、機器人控制柜的聯系。
[0016]分別對獲得的左右兩攝像機圖像進行目標特征提取與識別，并結合雙目立體視差測量原理對目標物體進行立體定位。如果，目標特征提取與識別失敗則機械臂保持原來狀態，直到左右兩眼圖像中同時檢測出目標特征再進行下一步動作。
[0017]根據雙目立體攝像機坐標系和機械臂末端手爪坐標系之間的變換矩陣，把測量得到的目標物體三維位置通過兩坐標系之間的齊次變換矩陣告知機械臂。
[0018]根據雙目立體攝像機“告知”的目標物體的位姿信息引導機械臂完成對目標物體的抓取與放置動作。
[0019]整個雙目視覺對目標物體進行立體定位的過程、雙目采集和處理過的圖像都顯示在圖像處理與控制軟件中。另外，機械臂當前運動狀態、各機械臂關節角度以及機械臂末端坐標系相對于基坐標系的位置和姿態都顯示在圖像處理與控制軟件中。
[0020]本發明根據以上分析給出了基于雙目視覺引導的目標抓取與放置系統流程圖，如圖2所示。
【主權項】
1.一種基于雙目視覺引導的物體抓取與放置系統，由雙目視覺單元、機器人單元和圖像處理與控制計算機組成，圖像處理與控制計算機通過1394接口與雙目立體攝像機連接，通過千兆以太網與機械臂控制柜連接;其特征在于:雙目視覺單元由雙目立體攝像機和圖像采集板卡組成，其中雙目攝像機左右兩攝像機中心線的距離為120mm，雙目立體攝像機安裝在機械臂末端手爪上與機械臂組成眼在手上視覺系統；圖像采集卡安裝在圖像處理與控制計算機PC1-E插槽中，圖像采集卡與雙目立體攝像機通過1394接口連接。2.根據權利要求1所述的一種基于雙目視覺引導的物體抓取與放置系統，其特征在于:機器人單元由六自由度機械臂、機械臂控制柜和末端手爪組成，末端手爪安裝在機械臂第六軸末端法蘭處;機械臂控制柜通過網線與圖像處理與控制計算機連接。
【文檔編號】B25J9/16GK106003036SQ201610428750
【公開日】2016年10月12日
【申請日】2016年6月16日
【發明人】朱齊丹, 陳文橋, 封大偉, 蔡成濤, 夏桂華, 張智, 呂曉龍, 謝心如, 李超
【申請人】哈爾濱工程大學