本發明涉及工業機器人技術領域，具體地，涉及一種基于tof相機的貨物托盤檢測系統和方法。

背景技術：

隨著現代物流技術的發展，自動引導車(agv)在智能倉儲技術中發揮著越來越重要的作用，而對貨物托盤的檢測是agv的核心技術之一。倉儲環境具有背景復雜、光線條件不穩定、動/靜態障礙物較多等特點，精準高效的對貨物托盤檢測與定位是目前亟待解決的問題。

經過專利檢索，目前對貨物托盤的檢測主要采用視覺檢測、激光雷達檢測等方法。其中，單目視覺成本雖然不高，但精度不高、受光線影響大；多線激光雷達和雙目視覺檢測都具有精度高的特點，但是多線激光雷達價格過于昂貴、雙面視覺檢測受光照影響大；單線激光雷達成本相對較低，但是獲取信息量不足，容易產生誤檢；基于特征標簽的視覺檢測方法，對于標簽的敷設精度要求比較高，環境魯棒性不好等等。其中，作者胡建軍等在專利“一種全向自動叉車及3d立體視覺導航定位方法”中采用雙目立體視覺進行托盤定位，易受倉儲環境中復雜光照的影響。

技術實現要素：

針對現有技術中的缺陷，本發明的目的是提供一種基于tof相機的貨物托盤檢測系統和方法，具有精度高、價格低、魯棒性強等優點。

根據本發明的一個方面，提供一種基于tof相機的貨物托盤檢測系統，所述系統包括：中央控制器、tof相機，所述中央控制器與所述tof相機之間采用有線或無線方式連接；其中：

所述tof相機用于采集貨物托盤的rgbd圖像，并將獲得的rgbd圖像傳輸給中央處理器；

所述中央控制器接收tof相機傳輸的rgbd圖像，并通過對tof相機采集的rgbd圖像進行處理，檢測出貨物托盤，并獲得貨物托盤相對于所述tof相機的位姿關系，從而完成對貨物托盤的定位。

優選地，所述中央處理器將得到的rgbd圖像中每個像素點的深度值轉換為0-255的灰度值，從而得到灰度深度圖，然后對該灰度深度圖進行邊緣檢測提取輪廓，對輪廓進行直線檢測，并以直線角度為約束估計最小包圍矩形，將檢測出的矩形作為托盤平面候選區域，從而得到若干托盤平面候選區域。

更優選地，所述中央處理器對所得任意托盤平面候選區域進行判定：

若該托盤平面候選區域包含至少2個矩形區域，則以該托盤平面候選區域中矩形區域作為叉孔候選區域，計算叉孔候選區域的像素面積及叉孔候選區域中心點的坐標，否則，忽略該托盤平面候選區域，對其他托盤平面候選區域進行判定；若所有托盤平面候選區域經判定后均不是托盤平面，則重新從rgbd圖像中檢測托盤平面候選區域。

更優選地，所述中央處理器在計算叉孔候選區域的像素面積及叉孔候選區域中心點的坐標之后，計算托盤平面候選區域中任意2個叉孔候選區域ri與rj的面積比tij，篩選并保留符合閾值范圍的2個叉孔候選區域ri與rj，視為檢測到貨物托盤。

更優選地，所述中央處理器，對保留的叉孔候選區域ri、rj的中心點連線的中點oij作為貨物托盤的表面中心點，通過貨物托盤的表面中心點oij的灰度值得到貨物托盤表面中心點與tof相機之間的距離值d，從而完成對貨物托盤的定位。

根據本發明的另一個方面，提供一種基于tof相機的貨物托盤檢測方法，所述方法包括如下步驟：

步驟1：tof相機采集貨物托盤的rgbd圖像，并通過有線或者無線的方法傳輸給中央處理器；中央處理器將得到的rgbd圖像中每個像素點的深度值轉換為0-255的灰度值，從而得到灰度深度圖；

步驟2：中央處理器對步驟1中所得到的灰度深度圖進行邊緣檢測提取輪廓，對輪廓進行直線檢測，并以直線角度為約束估計最小包圍矩形，將檢測出的矩形作為托盤平面候選區域；

步驟3：對步驟2中所得任意托盤平面候選區域進行判定：

若該托盤平面候選區域包含至少2個矩形區域，則以該托盤平面候選區域中矩形區域作為叉孔候選區域，計算叉孔候選區域的像素面積及叉孔候選區域中心點的坐標，轉步驟4；

否則，忽略該托盤平面候選區域，對其他托盤平面候選區域進行判定；

若所有托盤平面候選區域經判定后均不是托盤平面，則轉步驟1；

步驟4：計算托盤平面候選區域中任意2個叉孔候選區域ri與rj的面積比tij，篩選并保留符合閾值范圍的2個叉孔候選區域ri與rj，視為檢測到貨物托盤，轉步驟5；

步驟5：取步驟4中保留的叉孔候選區域ri、rj的中心點連線的中點oij作為貨物托盤的表面中心點，通過貨物托盤的表面中心點oij的灰度值得到貨物托盤表面中心點與tof相機之間的距離值d，從而完成對貨物托盤的定位。

優選地，步驟4中，所述的面積比tij符合閾值范圍：

t1≤tij≤t2，

其中：t1,t2分別為面積比區間下邊界與上邊界。

與現有技術相比，本發明具有如下的有益效果：

本發明成本低廉，檢測精度高，基本不受光照影響；不要進行敷設標簽等操作，不需要對倉儲環境進行改造；適用于各種顏色、規格的貨物托盤。

附圖說明

通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特征、目的和優點將會變得更明顯：

圖1為貨物托盤結構示意圖；

圖2為貨物托盤側視圖；

圖3為本發明一實施例的系統結構框圖；

圖4為本發明一實施例的方法流程圖。

具體實施方式

下面結合具體實施例對本發明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進。這些都屬于本發明的保護范圍。

如圖1-圖3所示，一種基于tof相機的貨物托盤檢測系統，所述系統包括：中央控制器、tof相機，其中：所述中央控制器與所述tof相機之間采用有線或無線方式連接；

所述tof相機用于采集貨物托盤的rgbd圖像；并將獲得的rgbd圖像通過有線或者無線的方法傳輸給中央處理器；

所述中央控制器接收tof相機傳輸的rgbd圖像，并通過對tof相機采集的rgbd圖像進行處理，檢測出貨物托盤，并獲得貨物托盤相對于所述tof相機的位姿關系。

在本實施例中，所述中央處理器將得到的rgbd圖像中每個像素點的深度值轉換為0-255的灰度值，從而得到灰度深度圖，然后對該灰度深度圖進行邊緣檢測提取輪廓，對輪廓進行直線檢測，并以直線角度為約束估計最小包圍矩形，將檢測出的矩形作為托盤平面候選區域，從而得到若干托盤平面候選區域。

進一步的，所述中央處理器對所得任意托盤平面候選區域進行判定：

若該托盤平面候選區域包含至少2個矩形區域，則以該托盤平面候選區域中矩形區域作為叉孔候選區域，計算叉孔候選區域的像素面積及叉孔候選區域中心點的坐標，否則，忽略該托盤平面候選區域，對其他托盤平面候選區域進行判定；若所有托盤平面候選區域經判定后均不是托盤平面，則重新從rgbd圖像中檢測托盤平面候選區域。

進一步的，所述中央處理器在計算叉孔候選區域的像素面積及叉孔候選區域中心點的坐標之后，計算托盤平面候選區域中任意2個叉孔候選區域ri與rj的面積比tij，篩選并保留符合閾值范圍的2個叉孔候選區域ri與rj，視為檢測到貨物托盤。

進一步的，所述中央處理器，對保留的叉孔候選區域ri、rj的中心點連線的中點oij作為貨物托盤的表面中心點，通過貨物托盤的表面中心點oij的灰度值得到貨物托盤表面中心點與tof相機之間的距離值d，從而完成對貨物托盤的定位。

如圖4所示，基于上述檢測系統，一種基于tof相機的貨物托盤檢測方法，包括如下步驟：

步驟1：tof相機采集貨物托盤的rgbd圖像，通過有線或者無線的方法傳輸給中央處理器，中央處理器將得到的rgbd圖像中每個像素點的深度值轉換為0-255的灰度值，從而得到灰度深度圖；

步驟2：中央處理器對步驟1中所得灰度深度圖進行邊緣檢測提取輪廓，對輪廓進行直線檢測，并以直線角度為約束估計最小包圍矩形，將檢測出的矩形作為托盤平面候選區域；

步驟3：對步驟2中所得任意托盤平面候選區域進行判定：若該托盤平面候選區域包含至少2個矩形區域，則以該托盤平面候選區域中矩形區域作為叉孔候選區域，計算叉孔候選區域的像素面積及叉孔候選區域中心點的坐標，轉步驟4；否則忽略該托盤平面候選區域，對其他托盤平面候選區域進行判定；若所有托盤平面候選區域經判定后均不是托盤平面，則轉步驟1；

步驟4：計算托盤平面候選區域中任意2個叉孔候選區域ri與rj的面積比tij，篩選并保留符合閾值范圍(t1≤tij≤t2，其中t1,t2分別為面積比區間下邊界與上邊界)的2個叉孔候選區域ri與rj，視為檢測到貨物托盤，轉步驟5；

步驟5：取步驟4中保留的叉孔候選區域ri、rj的中心點連線的中點oij作為貨物托盤的表面中心點，通過貨物托盤的表面中心點oij的灰度值得到貨物托盤表面中心點與tof相機之間的距離值d，完成對貨物托盤的定位。

本發明成本低廉，檢測精度高，基本不受光照影響；不要進行敷設標簽等操作，不需要對倉儲環境進行改造；適用于各種顏色、規格的貨物托盤。本發明具有精度高、價格低、魯棒性強等優點。

以上對本發明的具體實施例進行了描述。需要理解的是，本發明并不局限于上述特定實施方式，本領域技術人員可以在權利要求的范圍內做出各種變形或修改，這并不影響本發明的實質內容。