本發明涉及多視角相機標記與測量技術的領域，具體涉及一種基于多傳感器流水線全局相機外參坐標標記方法。

背景技術：

1、在現代工業中，數字化采集數據以及對于單個產品的狀態檢測的要求提高，而視覺提供了產品在產線中的豐富信息的狀態。對于不同姿態產品的檢測利于對于產品的空間狀態檢測，這也便于流水線中的機械臂對于不同姿態產品的操作。而在確定目標物體的姿態前，需要確定相機的絕對姿態。這有利于直接計算產品于產線中的絕對位姿。

2、多視角相機是指在同一條流水線中具有多個攝像頭采集圖像，相機的作用包括圖像采集、質量檢測、過程控制和采集圖像精度的提高。現有的多個攝像頭標記方法采用單相機標記、標記場建立、數據采集、特征匹配、參數優化。

3、目前，外參的標記通常選用參考點或者是指定物體的目標的相對世界坐標系的位置來確定，這會導致多工位的相機標記世界較為復雜，因每次采集標記位置都要重新測算相對世界坐標系的距離。因此本方法融合了傳送帶具備的距離反饋的機制，融合到相機標記中，可以系統性地解算相機組的統一外參。

技術實現思路

1、針對上述問題，本發明提供一種基于多傳感器流水線全局相機外參坐標標記方法，用于將產線中的多組相機外參坐標進行統一全局坐標標記的方法。將產線中多工位的相機通過標記和運動模塊傳動單次確定其旋轉和位移的關系，同步電機反饋信息與拍攝圖像時間戳同步，平方標記體檢測以及相對位姿恢復。本發明的多傳感器指采用相機與電機反饋進行多個位置聯合優化，

2、一種基于多傳感器流水線全局相機外參坐標標記方法，包括以下步驟：

3、步驟1：利用增強現實標記aruco?marker生成算法，生成5個具備可識別的二進制平方標記，將標記拼接為正方體，即平方標記體。

4、所述平方標記體是以一個正方體為基礎實體模型，增強現實標記aruco?marker分別位于正方體的5個面，且每個標記獨占一個面，多出不帶增強現實標記的一面為放置面；增強現實標記包括其為一個n×n維度的矩陣。

5、步驟2：搭建流水線，使用電機反饋信號記錄電機運行時間與電機的運行距離的采樣，使用相機拍攝平方標記體并將其存儲為相機幀，并記錄相機幀的時間。

6、步驟3：基于多張相機幀、多張相機幀對應的時間、電機運行時間與運行距離的采樣，利用基于圖像與電機反饋聯合優化算法求解出相機相對于平方標記體的相對位姿；利用電機運行時間與運行距離的采樣，得到坐標時間關系圖。

7、步驟4：利用相對位姿、坐標時間關系圖以及相機幀的記錄時間，計算相機相對于流水線坐標的位姿，即相機的外參。

8、以下對以上步驟做簡要說明：

9、所述平方標記體平方標記體是以一個正方體為基礎實體模型，aruco?marker(增強現實標記)分別位于正方體的5個面，且每個標記獨占一個面，多出不帶aruco?marker(增強現實標記)的一面為放置面；aruco?marker(增強現實標記)的特征包括其為一個n×n維度的矩陣(其中n表示矩陣的維度，可以選用不同n來控制生成aruco?marker的容錯能力)；aruco?marker(增強現實標記)生成算法的主要算法如下：

10、選擇aruco(增強現實)字典，aruco(增強現實)字典值由唯一的二進制編碼組成，每個編碼對應一個特定的aruco?marker(增強現實標記)。

11、利用給定的aruco(增強現實)字典，選擇標記的id(標號)，序號生成的標記是唯一的。

12、利用標記的id(序號)，生成對應的二進制編碼矩陣。

13、對二進制編碼矩陣添加邊框，為生成輔助檢測算法識別的標記添加輪廓，形成帶有輪廓的標記。

14、利用生成的帶有輪廓的標記，通過圖像生成算法渲染出標記的圖像，即如步驟3所述的aruco?marker(增強現實標記)。

15、進一步，所述步驟2具體為：

16、搭建流水線，流水線驅動電機具備電機反饋功能，在流水線搭建多工位相機，調節相機的光圈和焦距，使得相機拍攝清晰的流水線圖像。

17、流水線起點是所需標記的全局外參的起點，不限制傳送帶的空間位置；平方標記體的放置方式是將不存在aruco?marker(增強現實標記)的一面放置于傳送帶，將一面朝向傳送帶運行方向。流水線緩慢開始啟動，以較低的加速度達到一定速度，后保持勻速運行。電機反饋信號記錄電機運行時間與對應的電機運行距離的采樣傳送帶運行時，帶有旋轉變壓器的反饋記錄電機的運行時刻以及電機運行的距離；相機拍攝平方標記體，當位于傳送帶上的標記體到達合適的位置后，由相機拍攝傳輸數據并由上位機記錄拍攝的時間。

18、所述流水線驅動電機具備電機反饋功能，具體為：流水線的驅動電機具備位置的反饋功能，采用旋轉變壓器完成，使用電磁感應原理將旋轉位置轉換為電信號，獲得電機的位置信號。

19、本發明有益效果：

20、高精度外參標記：避免了傳統相機標記缺少足夠標記信息的問題，結合優化算法，有效提高相機外參的標記。

21、新型標記物：利用新型的平方標記體，對于常規標記板成像不清晰而導致標記存在誤差，有效提高標記物的信息量。

22、快速標記：算法不需要手動標識平方標記體，快速實現相機的外參標記。

23、適用場景廣：對于多種產線類型或是多種工位相機的擺放方式均可適用，不必調整多余的參數即可完成外參的標記。

技術特征：

1.一種基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述平方標記體是以一個正方體為基礎實體模型，增強現實標記aruco?marker分別位于正方體的5個面，且每個標記獨占一個面，多出不帶增強現實標記的一面為放置面；增強現實標記包括其為一個n×n維度的矩陣。

3.根據權利要求2所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述增強現實標記aruco?marker生成算法具體實現過程如下：

4.根據權利要求3所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述步驟2具體實現過程如下：

5.根據權利要求4所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述流水線驅動電機具備電機反饋功能，具體為：流水線的驅動電機具備位置的反饋功能，采用旋轉變壓器完成，使用電磁感應原理將旋轉位置轉換為電信號，獲得電機的位置信號。

6.根據權利要求5所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述基于圖像與電機反饋聯合優化算法具體實現過程如下：

7.根據權利要求6所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述步驟s3.3具體實現為：軸向的中心點對應的法向量的反向延長線所形成的幾何中心o，將法向量平移至平方標記體面上的中心點，并將法向量反向延長后，形成一個封閉的三角形，對于三角形計算其幾何中心，求出平方標記體在相機幀上的幾何中心的投影。

8.根據權利要求7所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述步驟s3.5具體實現過程如下：

9.根據權利要求8所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述計算平方標記體x軸相對于相機z軸的夾角具體為：利用平方標記體在三維空間中的位移距離、在相機幀平面中恢復平方標記體的位移，構建一個以位移距離為斜邊、恢復平方標記體的位移為直角三角形的一條鄰邊為基礎的直角三角形模型，這條鄰邊對應角即為平方標記體相對于相機z軸的夾角；

10.根據權利要求9所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述步驟s3.6具體實現過程如下：

11.根據權利要求10所述的基于多傳感器流水線全局相機外參坐標標記方法，其特征在于，所述步驟4具體實現過程如下：

技術總結
本發明公開了一種基于多傳感器流水線全局相機外參坐標標記方法，該方法首先利用增強現實標記生成算法，生成平方標記體。其次搭建流水線，使用電機反饋信號記錄電機運行時間與電機的運行距離的采樣，使用相機拍攝平方標定體并存儲為相機幀，記錄相機幀的時間。然后基于多張相機幀和對應的時間、電機運行時間與運行距離的采樣，利用基于圖像與電機反饋聯合優化算法求解出相機相對于平方標定體的相對位姿，并生成坐標時間關系圖。最后利用相對位姿、坐標時間關系圖以及相機幀的記錄時間，計算即相機的外參。本發明避免了傳統相機標定缺少足夠標定信息的問題，結合優化算法，有效提高相機外參的標定。

技術研發人員：孫丹楓,黃浩然,鄔惠峰,葉可卉
受保護的技術使用者：杭州電子科技大學
技術研發日：
技術公布日：2025/4/24