本發明涉及計算機視覺,更具體地涉及一種光纖定位系統的相機標定方法、裝置及設備。
背景技術:
1、光纖光譜天文望遠鏡,作為集光纖技術與光譜儀分析技術之大成的先進觀測設備,其核心在于通過光纖捕捉天體的光信號,進而由光譜儀深入剖析這些光譜信息,以揭示天體的物理特性、化學構成及運動狀態。此類望遠鏡的焦面上密布著大量光纖,每根光纖都精準對準一個天體,實現了同時對眾多天體的高效觀測。
2、為了進一步提升觀測的精準度與效率,光纖定位系統引入了前照識別系統相機,該相機能夠實時監控和測量光纖定位單元的工作狀態。然而,相機在使用前需經過嚴格的標定過程,包括內部參數(如焦距)和外部參數(如相機相對于焦面的位置與姿態)的確定。這一標定過程至關重要,它建立了圖像像素與焦面物理坐標之間的精確映射,從而確保了光纖定位單元的準確位置定位,以及光纖與目標星像之間距離的精確計算,為系統的精準定位提供了基礎。
3、當前,傳統的相機標定方法依賴于棋盤格標定板和張正友標定法,這一過程需要人工多次、多角度地擺放標定板并拍攝圖像,不僅操作復雜,而且耗時較長。對于光纖光譜天文望遠鏡這樣的大規模觀測系統而言,顯然缺乏一種簡單、快速且精準的智能自動化相機標定方法。
4、目前國內外已建成或正在建設的光纖光譜天文望遠鏡,均配備了大量光纖以進行高效觀測。因此,開發一種快速精準的智能自動化相機標定方法,對于提升這些望遠鏡的光纖定位系統的效率和精度具有極高的實用價值和廣泛適用性。
5、盡管已有基于深度學習的單視角圖像相機標定方法被提出,但該方法主要適用于日常生活場景,依賴于地平線等幾何線索,并不適用于低光照、被攝物體為光纖和其他機械結構的光纖定位系統。同時,雖然多目標光纖光譜天文望遠鏡光纖單元的碰撞檢測方法也采用了計算機視覺技術,但并未涉及相機標定方法。
6、綜上,針對光纖光譜天文望遠鏡這一特定工業場景,開發一種快速、精準且智能自動化的相機標定方法顯得尤為重要,它將極大地推動天文觀測技術的發展,提升觀測效率和精度。
技術實現思路
1、(一)要解決的技術問題
2、鑒于上述問題,本發明提供了一種光纖定位系統的相機標定方法、裝置及設備,利用光纖定位系統的仿真三維模型所渲染的海量圖像數據對神經網絡進行訓練,從而實現對前照識別系統相機的外部參數進行快速、精準地標定。
3、(二)技術方案
4、針對上述技術問題,本發明的實施例提出一種光纖定位系統的相機標定方法、裝置及設備。
5、根據本發明的第一個方面,提供了一種光纖定位系統的相機標定方法,包括:獲取前照識別系統相機的初始圖像;對初始圖像進行預處理,得到預處理的圖形;將預處理的圖像輸入訓練完成的神經網絡模型中,得到相機參數的預測結果,完成相機標定,其中,初始圖像包括各個前照識別系統相機對焦面拍攝的圖像,以及初始圖像能夠覆蓋整個焦面區域;神經網絡模型為具有深度殘差學習能力的卷積神經網絡,通過引入殘差學習,能夠解決傳統深度網絡中的梯度消失問題。
6、在一些示例性的實施例中,對初始圖像進行預處理包括:使用目標檢測算法對初始圖像中的參考光纖單元進行檢測,去除光纖定位單元,保留參考光纖單元,得到參考光纖圖像;獲取參考光纖單元的中心點,并將屬于同一條直線上的參考光纖單元的中心點用線連接;檢測參考光纖圖像中具有特定排列形狀的參考光纖單元,繪出該固定形狀作為固定特征,得到預處理的圖像,其中,預處理的圖像包括光纖定位單元中心點的連接線以及固定形狀。
7、在一些示例性的實施例中,神經網絡模型的深度為101層,包括初始層、最大池化層、網絡處理階段以及全連接層,其中,初始層為一個7×7的卷積層,步長為2,輸出通道為64;最大池化層為3×3的最大池化層,步長為2;網絡處理階段包括第一階段、第二階段、第三階段以及第四階段,第一階段包括3個殘差塊、第二階段包括4個殘差塊、第三階段包括23個殘差塊以及第四階段包括3個殘差塊,其中,每個殘差塊包括1×1卷積層和3×3卷積層,用于進行維度調整和特征提取;全連接層的輸出特征數量為6;神經網絡模型的激活函數為泄漏線性整流函數。
8、在一些示例性的實施例中,得到訓練完成的神經網絡模型的方法包括:構建訓練圖像數據集;將訓練圖像數據集進行預處理,得到預處理的訓練圖像數據集;利用預處理的訓練圖像數據集對神經網絡模型進行訓練,得到訓練完成的神經網絡模型,其中,預處理的訓練圖像數據集與預處理的圖像的具有相同的數據特征。
9、在一些示例性的實施例中,構建訓練圖像數據集包括:基于實際光纖定位系統的尺寸,構建仿真三維模型;設置仿真三維模型中相機的外部參數,得到對應的前照識別系統相機的模擬圖像;對前照識別系統相機的模擬圖像進行渲染并標注對應的外部參數,使得模擬圖像與相機外部參數一一對應,形成訓練圖像數據集;其中,仿真三維模型中的焦面板、光纖定位單元、單頭和多頭參考光纖單元按照實際尺寸進行仿真建模,以確保模型的準確性;仿真三維模型中的中心軸和偏心軸機械臂能夠按照實際功能轉動角度,實現模擬仿真的效果。
10、在一些示例性的實施例中,利用預處理的訓練圖像數據集對神經網絡模型進行訓練包括:將預處理的訓練圖像數據集輸入神經網絡模型中,得到相機外部參數的預測值;使用平滑l1損失函數計算預測值與真實值之間的損失,通過最小化損失函數使模型逐步收斂得到最優解。
11、在一些示例性的實施例中,利用預處理的訓練圖像數據集對神經網絡模型進行訓練還包括:獲取預處理的訓練圖像數據集中的固定形狀的參考光纖點的像素坐標將像素坐標記錄為一個二維數組,并編碼為一個固定長度的特征向量;通過平均池化對特征向量進行降采樣,然后與卷積特征圖拼接,獲取特征信息;基于特征信息,訓練神經網絡模型,得到訓練完成的神經網絡模型。
12、在一些示例性的實施例中,利用預處理的訓練圖像數據集對神經網絡模型進行訓練還包括:利用測試集數據對訓練完成的神經網絡模型進行測試,計算相機外部參數的誤差平均值和中位數;將誤差平均值和中位數與現有的神經網絡相機標定方法進行對比,以驗證模型的優越性。
13、本發明的第二方面提供了一種光纖定位系統的相機標定裝置,包括:獲取模塊,用于獲取前照識別系統相機的初始圖像;預處理模塊,用于對初始圖像進行預處理,得到預處理的圖形;預測模塊,用于將預處理的圖像輸入訓練完成的神經網絡模型中,得到相機參數的預測結果,完成相機標定,其中,初始圖像包括各個前照識別系統相機對焦面拍攝的圖像,以及初始圖像能夠覆蓋整個焦面區域;神經網絡模型為具有深度殘差學習能力的卷積神經網絡,通過引入殘差學習,能夠解決傳統深度網絡中的梯度消失問題。
14、本發明的第三方面提供了一種電子設備,包括:一個或多個處理器;存儲器,用于存儲一個或多個計算機程序,其中,上述一個或多個處理器執行上述一個或多個計算機程序以實現上述方法的步驟。
15、本發明的第四方面還提供了一種計算機可讀存儲介質,其上存儲有計算機程序或指令,上述計算機程序或指令被處理器執行時實現上述方法的步驟。
16、(三)有益效果
17、從上述技術方案可以看出,本發明實施例提供的一種光纖定位系統的相機標定方法、裝置及設備,至少具有如下有益效果:
18、(1)通過構建光纖定位系統仿真三維模型,可以生成海量的訓練數據,為神經網絡的訓練提供充足的數據支持。仿真三維模型還可以模擬真實環境下的低光照、無特征參照物等復雜條件,使神經網絡更好地適應實際觀測環境。
19、(2)針對光纖定位系統獨特的工業環境,提出了一系列針對性的圖像預處理操作,如識別參考光纖單元、檢測光纖點邊緣和固定特征等,進一步提高神經網絡對相機參數的預測精度。
20、(3)數據集中相機的旋轉量參數存在負數,為了避免網絡中的激活函數修正線性單元(relu)剔除負參數范圍,將其改為泄漏線性整流函數(leakyrelu)函數,使得輸入為負值時,產生非零輸出,有效地處理旋轉量的負值特征,保留了更多信息。