本發明涉及機器人自主作業技術領域，特別是指一種基于雙目視覺的雙臂移動機器人系統。

背景技術：

隨著物聯網、通信技術、視覺技術、智能技術的不斷進步以及人類需求的不斷增加，機器人的發展已經成為一種必然趨勢，無論是在工業、醫療、家居、軍事等各個領域，智能機器人都將為其提供巨大的便利，也必能顛覆傳統的行業模式，發揮著前所未有的作用。但現有的很多機器人功能單一、智能化程度還相對較低，且多數都是非自主或半自主的工作模式，缺乏一定的自主性和智能性。例如，雖然有些機器人可以通過傳感技術和無線傳輸技術實現無線遙控，但大多數仍屬于單向控制，無法形成反饋實現自主作業。

盡管現在機器人的使用已相對廣泛，但大多數的應用還是非自主作業，在某些特殊的環境下還需要人為的參與，尤其是在一些惡劣的工作環境下，安全系數低，對人體會有一定的傷害，導致面臨的問題依舊比較嚴峻。

技術實現要素：

本發明要解決的技術問題是提供一種基于雙目視覺的雙臂移動機器人系統，以解決現有技術所存在的機器人智能化程度相對較低，缺乏一定的自主性和智能性的問題。

為解決上述技術問題，本發明實施例提供一種基于雙目視覺的雙臂移動機器人系統，包括：雙目攝像頭、工控機、串口協議轉換器、機械臂及移動底盤；其中，

所述雙目攝像頭，用于實時采集目標物體的圖像，并將采集到的所述圖像上傳至所述工控機；

所述工控機，用于對接收到的所述圖像進行處理，得到所述目標物體的位置信息，并依據所述目標物體的位置信息生成電機控制指令及機械臂控制指令，并將生成的所述電機控制指令及機械臂控制指令發送至所述串口協議轉換器；

所述串口協議轉換器，用于對接收到的所述電機控制指令及機械臂控制指令進行協議轉換，并將轉換后生成的電機控制指令及機械臂控制指令分別發送至所述移動底盤及機械臂；

所述移動底盤，用于依據接收到的所述電機控制指令進行移動，使得所述機器人移動至所述目標物體所在的位置；

所述機械臂，用于依據接收到的所述機械臂控制指令操作所述目標物體。

進一步地，所述雙目攝像頭包括：第一攝像頭及第二攝像頭；所述第一攝像頭及第二攝像頭位于所述機器人的頭部，呈左右對稱分布。

進一步地，所述工控機包括：協同控制中心模塊；

所述協同控制中心模塊，具體用于對所述雙目攝像頭采集到的圖像進行目標檢測，識別所述圖像中的目標物體并得到所述目標物體在第一攝像及第二攝像頭下的圖像坐標，將所述目標物體在第一攝像及第二攝像頭下的圖像坐標轉換成所述目標物體的空間三維坐標，并依據得到的所述目標物體的空間三維坐標生成所述電機控制指令及機械臂控制指令，并將所述電機控制指令及機械臂控制指令發送至所述串口協議轉換器。

進一步地，所述工控機還包括：顯示器；

所述協同控制中心模塊，具體用于根據接收到的所述圖像，通過Hough圓檢測算法和輪廓提取算法識別出所述圖像中的所述目標物體并得到所述目標物體在第一攝像及第二攝像頭下的圖像坐標，根據所述目標物體在第一攝像及第二攝像頭下的圖像坐標，通過最小二乘法得到所述目標物體的空間三維坐標，并依據得到的所述目標物體的空間三維坐標生成所述電機控制指令及機械臂控制指令，并將所述電機控制指令及機械臂控制指令發送至所述串口協議轉換器；還用于將識別出的所述目標物體、得到的所述目標物體在第一攝像及第二攝像頭下的圖像坐標顯示在所述顯示器上。

進一步地，所述協同控制中心模塊，還用于在所述雙目攝像頭采集所述目標物體的圖像之前，對所述雙目攝像頭進行標定、校正、匹配所述協同控制中心模塊，還用于在所述雙目攝像頭采集所述目標物體的圖像之前，對所述雙目攝像頭進行標定、校正、匹配。

進一步地，所述協同控制中心模塊，還用于在所述雙目視覺模塊采集所述目標物體的圖像之前，利用張正友標定方法對所述雙目攝像頭進行標定，利用Bouguet極線校正方法或Hartley校正方法對所述雙目攝像頭進行校正，利用BM匹配方法或SGBM匹配方法對所述雙目攝像頭進行匹配。

進一步地，所述串口協議轉換器包括：串口協議轉換模塊；

所述串口協議轉換模塊，用于對接收到的所述電機控制指令及機械臂控制指令進行協議轉換，并將轉換后生成的十六進制電機控制指令及十六進制機械臂控制指令分別發送至所述移動底盤及機械臂。

進一步地，所述機械臂包括多個數字舵機，由所述多個數字舵機構成兩個各具有三自由度的機械臂；

兩個機械臂呈左右對稱分布在機器人的兩側，各數字舵機之間通過串聯的方式連接。

進一步地，所述移動底盤包括：電機驅動模塊及移動裝置；

所述移動裝置包括：伺服電機、全向輪、碼盤；

所述電機驅動模塊，用于根據所述串口協議轉換模塊發送的所述電機控制指令，驅動所述伺服電機控制所述全向輪進行運動，并依據所述碼盤產生的碼盤信號得到所述機器人的當前位置信息，并將所述機器人的當前位置信息通過所述串口協議轉換模塊上傳至所述協同控制中心模塊。

進一步地，所述串口協議轉換模塊通過第一R232通信串口與所述工控機相連；

所述串口協議轉換模塊通過第一RS485通信串口與所述機械臂相連；

所述串口協議轉換模塊通過第二RS485通信串口與所述電機驅動模塊相連。

本發明的上述技術方案的有益效果如下：

上述方案中，通過雙目攝像頭實時采集目標物體的圖像；通過工控機對采集的所述圖像進行處理，得到目標物體的位置信息，并依據目標物體的位置信息生成電機控制指令及機械臂控制指令，并將生成的電機控制指令及機械臂控制指令發送至串口協議轉換器；通過串口協議轉換器對所述電機控制指令及機械臂控制指令進行協議轉換，并將轉換后生成的電機控制指令及機械臂控制指令分別發送至移動底盤及機械臂，使得機器人通過移動底盤移動至目標物體所在的位置，并使得機械臂依據所述機械臂控制指令操作目標物體。這樣，根據雙目攝像頭采集到的目標物體的圖像，使得機器人能夠自主移動至所述目標物體所在的位置，并去操作該目標物體，所述機器人具有一定自主性和智能性。

附圖說明

圖1為本發明實施例提供的基于雙目視覺的雙臂移動機器人系統的結構示意圖；

圖2為本發明實施例提供的基于雙目視覺的雙臂移動機器人系統的詳細結構示意圖；

圖3為本發明實施例提供的基于雙目視覺的雙臂移動機器人系統的工作流程示意圖；

圖4為本發明實施例提供的生成目標物體的空間三維坐標的工作流程示意圖；

圖5為本發明實施例提供的實現機器人自主移動的工作流程示意圖。

具體實施方式

為使本發明要解決的技術問題、技術方案和優點更加清楚，下面將結合附圖及具體實施例進行詳細描述。

本發明針對現有的機器人智能化程度相對較低，缺乏一定的自主性和智能性的問題，提供一種基于雙目視覺的雙臂移動機器人系統。

實施例一

參看圖1所述，本發明實施例提供的基于雙目視覺的雙臂移動機器人系統，包括:雙目攝像頭1、工控機2、串口協議轉換器5、機械臂4及移動底盤3；其中，

所述雙目攝像頭1，用于實時采集目標物體的圖像，并將采集到的所述圖像上傳至所述工控機2；

所述工控機2，用于對接收到的所述圖像進行處理，得到所述目標物體的位置信息，并依據所述目標物體的位置信息生成電機控制指令及機械臂4控制指令，并將生成的所述電機控制指令及機械臂4控制指令發送至所述串口協議轉換器5；

所述串口協議轉換器5，用于對接收到的所述電機控制指令及機械臂4控制指令進行協議轉換，并將轉換后生成的電機控制指令及機械臂4控制指令分別發送至所述移動底盤3及機械臂4；

所述移動底盤3，用于依據接收到的所述電機控制指令進行移動，使得所述機器人移動至所述目標物體所在的位置；

所述機械臂4，用于依據接收到的所述機械臂4控制指令操作所述目標物體。

本發明實施例所述的基于雙目視覺的雙臂移動機器人系統，通過雙目攝像頭實時采集目標物體的圖像；通過工控機對采集的所述圖像進行處理，得到目標物體的位置信息，并依據目標物體的位置信息生成電機控制指令及機械臂控制指令，并將生成的電機控制指令及機械臂控制指令發送至串口協議轉換器；通過串口協議轉換器對所述電機控制指令及機械臂控制指令進行協議轉換，并將轉換后生成的電機控制指令及機械臂控制指令分別發送至移動底盤及機械臂，使得機器人通過移動底盤移動至目標物體所在的位置，并使得機械臂依據所述機械臂控制指令操作目標物體。這樣，根據雙目攝像頭采集到的目標物體的圖像，使得機器人能夠自主移動至所述目標物體所在的位置，并去操作該目標物體，所述機器人具有一定自主性和智能性。

本實施例中，所述電機控制指令及機械臂4控制指令可以合稱為控制指令。

在前述基于雙目視覺的雙臂移動機器人系統的具體實施方式中，進一步地，所述雙目攝像頭1包括：第一攝像頭及第二攝像頭；所述第一攝像頭及第二攝像頭位于所述機器人的頭部，呈左右對稱分布。

本實施例中，所述雙目攝像頭1包括：第一攝像頭及第二攝像頭，所述第一攝像頭及第二攝像頭可以為型號相同的通用串行總線(Universal Serial Bus，USB)互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor，CMOS)攝像頭，所述USB CMOS攝像頭位于機器人頭部、呈左右對稱分布，因此，可以稱分布在左側的攝像頭為左攝像頭，分布在右側的攝像頭為右攝像頭，左攝像及右攝像頭可以合稱為左右攝像頭，左攝像頭及右攝像頭采集的圖像可以合稱為左右圖像；所述左右攝像頭的分辨率為640*480；所述左右攝像頭分別可以通過USB線連接到所述工控機2上。

本實施例中，如圖2所示，所述雙目攝像頭1包括：雙目視覺模塊；所述雙目視覺模塊用于實時采集所述目標物體的圖像，所述圖像包括：左攝像頭采集到的圖像和右攝像頭采集到的圖像，因此，所述圖像也稱為左右圖像；并將采集的左右圖像上傳至所述工控機2，由所述工控機2中的目標物體識別功能對所述左右圖像中的目標物體進行識別，目標物體的準確識別是機器人進行有效作業的主要條件，也是最為關鍵的一環。

在前述基于雙目視覺的雙臂移動機器人系統的具體實施方式中，進一步地，所述工控機2包括：協同控制中心模塊；

所述協同控制中心模塊，具體用于對所述雙目攝像頭1采集到的圖像進行目標檢測，識別所述圖像中的目標物體并得到所述目標物體在第一攝像及第二攝像頭下的圖像坐標，將所述目標物體在第一攝像及第二攝像頭下的圖像坐標轉換成所述目標物體的空間三維坐標，并依據得到的所述目標物體的空間三維坐標生成所述電機控制指令及機械臂4控制指令，并將所述電機控制指令及機械臂4控制指令發送至所述串口協議轉換器5。

本實施例中，所述工控機2的操作系統是Windows XP，所述工控機2包括：協同控制中心模塊；所述Windows XP作為所述協同控制中心模塊的運行環境。

本實施例中，由所述協同控制中心模塊中的目標物體識別功能對采集到的圖像進行目標檢測，識別所述圖像中的目標物體，實現對目標物體的識別檢測，并得到所述目標物體在第一攝像及第二攝像頭下的圖像坐標，將所述目標物體在第一攝像及第二攝像頭下的圖像坐標轉換成所述目標物體的空間三維坐標，并依據得到的所述目標物體的空間三維坐標生成所述電機控制指令及機械臂4控制指令，接著，可以通過RS232串口通信方式將所述電機控制指令及機械臂4控制指令發送至所述串口協議轉換器5，使所述串口協議轉換器5依據所述電機控制指令及機械臂4控制指令通過不同串口發送不同控制指令實現對機械臂4和移動底盤3的動作規劃。

本實施例中，所述協同控制中心模塊作為整個系統的控制樞紐，可以將雙目攝像頭1和串口協議轉換器5有效的關聯起來，增強了所述協同控制中心模塊與所述雙目攝像頭1和串口協議轉換器5的協同作用。一旦目標物體的位置發生變化，機器人能夠通過串口協議轉換器5發送相關控制指令，從而對機器人的動作進行調整，也就是說，所述機器人能夠實時識別、跟蹤目標物體。

在前述基于雙目視覺的雙臂移動機器人系統的具體實施方式中，進一步地，所述工控機2還包括：顯示器；

所述協同控制中心模塊，具體用于根據接收到的所述圖像，通過霍夫(Hough)圓檢測算法和輪廓提取算法識別出所述圖像中的所述目標物體并得到所述目標物體在第一攝像及第二攝像頭下的圖像坐標，根據所述目標物體在第一攝像及第二攝像頭下的圖像坐標，通過最小二乘法得到所述目標物體的空間三維坐標，并依據得到的所述目標物體的空間三維坐標生成所述電機控制指令及機械臂4控制指令，并將所述電機控制指令及機械臂4控制指令發送至所述串口協議轉換器5；還用于將識別出的所述目標物體、得到的所述目標物體在第一攝像及第二攝像頭下的圖像坐標顯示在所述顯示器上。

本實施例中，所述工控機2還包括：顯示器；所述協同控制中心模塊可以利用Hough圓檢測算法、輪廓提取算法對所述左右圖像中的目標物體的特征進行提取和識別，并得到所述目標物體在左右圖像中的圖像坐標，同時，還可以將識別出的左右圖像中的目標物體及所述目標物體在左右圖像中的圖像坐標分開顯示在顯示屏上，同時也能將實時采集的左右圖像，對所述左右圖像的實時處理過程均顯示在顯示屏上，便于能夠實時觀察到圖像處理情況，提高了用戶對其機器人工作的可視性和可控性。

本實施例中，根據所述目標物體在左右圖像中的圖像坐標，可以利用最小二乘法得到所述目標物體的空間三維坐標，再通過RS232串口通信方式將得到所述目標物體的空間三維坐標進行處理生成的所述電機控制指令及機械臂4控制指令發送給所述串口協議轉換器5，經所述串口協議轉換器5處理和分配后，將所述電機控制指令及機械臂4控制指令分別發送至所述移動底盤3和機械臂4，從而實現機器人的控制功能。本實施例中，所述協同控制中心模塊與所述串口協議轉換器5的協同配合能夠為機器人提供良好穩定的控制指令。

在前述基于雙目視覺的雙臂移動機器人系統的具體實施方式中，進一步地，所述協同控制中心模塊，還用于在所述雙目攝像頭1采集所述目標物體的圖像之前，對所述雙目攝像頭1進行標定、校正、匹配。

本實施例中，在所述雙目攝像頭1采集所述目標物體的圖像之前，通過所述協同控制中心模塊首先利用張正友標定法以及Bouguet極線校正方法或者Hartley校正方法進行雙目攝像頭1的標定、校正作業，得到標定后的數據，進而基于所得的標定數據，利用BM(Boyer-Moore算法)或半全局塊匹配算法(Semi-Global Block Matching，SGBM)對所述雙目攝像頭1進行匹配，得到雙目攝像頭1的參數。

本實施例中，作為一個可選實施例，所述協同控制中心模塊，還用于在所述雙目視覺模塊采集所述目標物體的圖像之前，利用張正友標定方法對所述雙目攝像頭1進行標定，利用Bouguet極線校正方法或Hartley校正方法對所述雙目攝像頭1進行校正，利用BM匹配方法或SGBM匹配方法對所述雙目攝像頭1進行匹配。在前述基于雙目視覺的雙臂移動機器人系統的具體實施方式中，進一步地，所述串口協議轉換器5包括：串口協議轉換模塊；

所述串口協議轉換模塊，用于對接收到的所述電機控制指令及機械臂4控制指令進行協議轉換，并將轉換后生成的十六進制電機控制指令及十六進制機械臂4控制指令分別發送至所述移動底盤3及機械臂4。

本實施例中，以機械臂4為例，可以通過所述十六進制機械臂4控制指令準確地控制機械臂4各關節的旋轉角度，使機械臂4的執行器末端精確地到達所述目標物體的位置，從而操作所述目標物體，例如，抓取所述目標物體。

在前述基于雙目視覺的雙臂移動機器人系統的具體實施方式中，進一步地，所述機械臂4包括多個數字舵機，由所述多個數字舵機構成兩個各具有三自由度的機械臂4；

兩個機械臂4呈左右對稱分布在機器人的兩側，各數字舵機之間通過串聯的方式連接。

本實施例中，所述機械臂4可以包括：四個RX-64數字舵機及三個RX-28數字舵機，所述數字舵機均接受十六進制數組指令。由這7個數字舵機構成兩個各具有三自由度的機械臂4，兩個機械臂4呈左右對稱分布在機器人兩側，各數字舵機之間呈串聯方式連接，通過RS485通信方式，從一臺數字舵機的一端接收來自于串口協議轉換模塊發送的十六進制機械臂4控制指令，由于各數字舵機之間呈串聯方式連接，只需向一臺數字舵機發送十六進制機械臂4控制指令，就可完成對所有數字舵機的控制。

在前述基于雙目視覺的雙臂移動機器人系統的具體實施方式中，進一步地，所述移動底盤3包括：電機驅動模塊及移動裝置；

所述移動裝置包括：伺服電機、全向輪、碼盤；

所述電機驅動模塊，用于根據所述串口協議轉換模塊發送的所述電機控制指令，驅動所述伺服電機控制所述全向輪進行運動，并依據所述碼盤產生的碼盤信號得到所述機器人的當前位置信息，并將所述機器人的當前位置信息通過所述串口協議轉換模塊上傳至所述協同控制中心模塊。

本實施例中，所述移動底盤3包括：電機驅動模塊及移動裝置；其中，所述移動裝置包括：三個伺服電機、三個全向輪、兩個互成90度的碼盤；每個全向輪分別對應一個伺服電機來驅動，且這三個全向輪相互成120度角，所述碼盤用于反饋碼盤信號。

本實施例中，所述電機驅動模塊以STM32為主控芯片，包括：電機供電端、兩路RS485串口通信端，其中，一路RS485串口通信端，用來接收來自于串口協議轉換模塊發送的電機控制指令，根據接收到的所述電機控制指令在電機驅動模塊通過PWM脈沖調制原理進行伺服電機的調速和正逆轉的控制，從而控制機器人的移動情況；同時，通過另一路RS485串口通信端，用來接收來自于碼盤反饋的碼盤信號，所述碼盤信號經所述電機驅動模塊處理后得到所述機器人的當前位置信息，并將所述機器人的當前位置信息再通過所述串口協議轉換模塊返回至所述協同控制中心模塊，由所述協同控制中心模塊進行分析，調整電機控制指令并發送調整后的電機控制指令控制所述移動底盤3的動作，從而構成一個閉環系統，使得機器人能夠自主移動至所述目標物體所在的位置，并操作所述目標物體，且所述機器人具有實時識別、跟蹤目標物體的能力。

本實施例中，三個全向輪相互成120度角能夠平衡自身重心，使得所述機器人具有穩定的速度且運動靈活，所述全向輪與碼盤一起實現了機器人在室內安全、自由活動的同時，還提供了機器人的當前位置信息。

在前述基于雙目視覺的雙臂移動機器人系統的具體實施方式中，進一步地，所述串口協議轉換模塊通過第一R232通信串口與所述工控機2相連；

所述串口協議轉換模塊通過第一RS485通信串口與所述機械臂4相連；

所述串口協議轉換模塊通過第二RS485通信串口與所述電機驅動模塊相連。

本實施例中，所述串口協議轉換模塊是以STM32為主處理芯片，配有一路RS232通信串口，兩路RS485通信串口，實現一進多出的功能。其中，一路RS232通信串口連接工控機2作為輸入端，兩路RS485作為輸出端，其中，一路RS485連接機械臂4，另一路RS485連接電機驅動模塊。在所述串口協議轉換模塊中，接收來自工控機2處理目標物體的空間三維坐標后生成的所述電機控制指令及機械臂4控制指令，之后將所述電機控制指令及機械臂4控制指令進行響應處理和任務分配，通過兩路RS485串口將所述電機控制指令及機械臂4控制指令分別發送給電機驅動模塊和機械臂4。

本實施例中，所述串口協議轉換模塊作為整個系統的連接樞紐，將協同控制中心模塊、機械臂4、電機驅動模塊有效的連接起來，節省了串口資源，提高了實時性與多任務性。

本實施例中，所述串口協議轉換模塊與所述協同控制中心模塊的連接，使得工控機2在完成相應的圖像處理，生成所述電機控制指令及機械臂4控制指令后，有效的將所述電機控制指令及機械臂4控制指令通過RS232串口通信傳輸到所述串口協議轉換模塊，由所述串口協議轉換模塊依據指令和多任務處理原則進行任務分配，充分增強了信息傳輸的實時效果。所述協同控制中心模塊與串口協議轉換模塊的連接是機器人是否能夠做出反應的關鍵一環，也是指令傳輸的重要依賴。

本發明實施例中，所述目標物體以網球為例，結合圖3、圖4、圖5進行說明：

如圖3所述，協同控制中心模塊在完成雙目攝像頭1的標定、校正、匹配之后，通過雙目攝像頭1采集網球的圖像，即左右攝像頭采集的網球所處環境的左右圖像，對左右圖像中的網球分別進行檢測、識別，具體的，可以通過Hough圓檢測算法和輪廓提取算法得到網球在左右圖像中的圖像坐標，接著，通過最小二乘法將左右圖像的網球坐標轉換成空間三維坐標，生成控制指令，通過USB轉RS232發送給串口協議轉換模塊，經所述串口協議轉換模塊分析后，分別通過兩路RS485發送給相應的電機驅動模塊和機械臂4，同時所述協同控制中心模塊依據所述串口協議轉換模塊上傳的所述機器人的當前位置信息，生成新的控制指令，從而構成一個閉環系統，以實現機器人的自主移動和機械臂4的自主操作。

如圖4所述，生成網球的空間三維坐標的具體步驟可以包括：通過協同控制中心模塊完成雙目攝像頭1的標定、校正、匹配，之后，通過雙目攝像頭1進行圖像的采集，在雙目攝像頭1采集圖像之后，通過所述協同控制中心模塊對圖像進行處理來降低噪聲、光照等的干擾，之后，利用霍夫圓檢測算法、輪廓提取算法等對圖像中的網球進行檢測、識別，識別成功之后，得到網球在左右圖像中的圖像坐標，并將識別得到的網球實時的顯示在顯示屏上，還將得到所述網球在左右圖像中的圖像坐標也顯示在所述顯示屏上，并通過最小二乘法將得到所述網球的空間三維坐標，為所述協同控制中心模塊生成控制指令提供數據依據。

如圖5所述，實現機器人自主移動的步驟可以包括：在所述協同控制中心模塊對圖像數據和坐標數據進行分析后，生成控制指令發送到串口協議轉換模塊，由串口協議轉換模塊進行任務分配，通過一路RS485將機械臂4控制指令發送給機械臂4，通過另一路RS485將電機控制指令發送給電機驅動模塊，由電機驅動模塊驅動伺服電機控制全向輪的移動軌跡，同時將碼盤信號反饋給電機驅動模塊，由所述電機驅動模塊依據所述碼盤信號得到所述機器人的當前位置信息，并將所述機器人的當前位置信息再通過所述串口協議轉換模塊返回至所述協同控制中心模塊，由所述協同控制中心模塊進行分析，調整電機控制指令并發送調整后的電機控制指令控制所述移動底盤3的動作，從而形成一個閉環系統，有利于實現機器人的自主移動。以上所述是本發明的優選實施方式，應當指出，對于本技術領域的普通技術人員來說，在不脫離本發明所述原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護范圍。