專利名稱：基于畸變直線斜率計算的魚眼圖像校正方法
技術領域：
本發明屬于數字圖像處理中的圖像修復技術領域，具體為一種具有徑向畸變的魚眼圖像的校正方法。
背景技術：
為了獲得更大的視角，魚眼鏡頭被廣泛運用于機器人導航、大范圍視頻監控、智能交通系統等眾多計算機視覺領域。然而，魚眼鏡頭在獲得大范圍拍攝視角的同時，不可避免地引入了圖像的畸變，以解決在有限像面內容納廣角目標物體的問題。魚眼圖像所涉及的畸變類型主要是徑向畸變(桶形畸變)，這是由于魚眼鏡頭的光學系統建立了目標視角到二維成像面的有限投影關系而造成的。對于具有徑向畸變的魚眼圖像的校正，已有許多文獻提出了不同的解決方法。其中主要可分為基于魚眼鏡頭標定的校準方法[1_3]和基于投影變換理論的校正方法[4_8]這兩種。采用基于魚眼鏡頭標定的校準方法主要是通過魚眼鏡頭與校準模板圖像的空間坐標標定以及拍攝位置的校準得到魚眼鏡頭的內外部參數，并基于這些鏡頭參數解出校正模型，完成對畸變圖像的復原。然而，此類方法涉及到真實世界坐標空間，魚眼鏡頭坐標系以及平面成像坐標系之間的坐標轉換，對于校準設備的精度要求較高。同時，設備成本與時間成本也降低了此類方法的靈活性。對于基于投影變換理論的校正方法而言，又可分為空間投影法與平面投影法兩類。文獻[4]是一種典型的空間投影校正方法。該方法根據空間直線在理想半球面上的投影為一圓心與球心重合的圓弧這一投影關系，通過擬合這一圓弧的方式來完成校正模型參數的迭代求解。此方法模型復雜，計算繁瑣，且存在半球面到成像面的全映射問題。文獻 [5-7]均為平面投影校正方法，基于空間直線在針孔相機的投影模型下亦為平面直線的原理，采用數學模型，通過迭代優化目標函數的方法得出校正模型的參數，從而完成對畸變圖像的復原。為了簡化迭代算法的復雜度，文獻[8]提出了一種基于數學代數的求解方案，在保證校正精度的情況下，通過1次迭代優化即可得到相應的校正參數。該方法雖然在一定程度上降低了計算的復雜度，然而依舊是基于目標函數優化的一種解決方案，計算復雜度仍然偏高。由此，使用一種快速、高效的魚眼圖像校正算法來求解校正模型，并基于此構建具有實時處理能力的硬件架構以實現畸變視頻數據流的實時校正處理是該領域當前的一個研究熱點。參考文獻Flemmer C L, Flemmer R C. A Simple and Accurate Method for Lens Calibration [C]//Proc of the 4th International Conference on Autonomous Robots and Agents. Wellington: [s.n.], 2009: 257-260.Liu Liqun, Cao Zuoliang. Fisheye Camera Calibration with Two Pairsof Vanishing Points [C]// Proc of the 2009 IEEE International Conference on Information Technology and Computer Science. Kiev: [s.n.], 2009: 321-324.WangXiaofengj Feng weijia， Liu Qingjiej et al. Calibration Research on Fish-eye lens [C]// Proc of the IEEE International Conference on Information and Automation. San Harbin: [s.n.], 2010: 385-390.英向華，胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計算機學報，2003，26 (12) :1702-1708.PrescottB, Mclean G F. Line-Based Correction of Radial Lens Distortion [J]. Graphical Models and Image Processing, 1997, 59(1): 39-47.DevernayF, Faugeras 0. Straight lines have to be straight [J]. Machine Vision and Applications, 2001， 13(1): 14-24.Song Gwang-Yu1, Lee Joon-ffoong. Correction of Radial Distortion Based on Line- Fitting[J]. International Journal of Control, Automation and Systems, 2010，8(3) : 615- 621.AlvarezL, Gomez L, Sendra R J. An Algebraic Approach to Lens Distortion by Line Rectification [J]. Journal of Mathematical Imaging and Vision, 2009, 35(1) : 36-50.Hughes C, Jones E, Glavin M, et al. Validation of Polynomial-based Equidistance Fish-Eye Models [C] // IET Irish Signals and Systems Conference. Dublin, Irish: [s.n.], 2009: 321—324。
發明內容
本發明的目的在于提供一種針對徑向畸變魚眼圖像的高效校正方法，并在此基礎上提供一種便于硬件實現的解決方案。針對引入徑向畸變(桶形畸變)的魚眼圖像而言，平面投影校正方法方便、實用。然而傳統的平面投影校正方法計算復雜，不夠高效。本發明充分考慮了徑向畸變的幾何特性， 根據幾何性質直接從具有畸變直線的魚眼圖像中求解這些畸變直線的斜率。通過所求得的斜率值，使用校正模型構建基于斜率的線性方程組以求解校正模型中的參數值。整個過程只涉及簡單的斜率計算以及一個線性方程組的求解。基于解得的校正模型，完成畸變圖像與校正圖像之間的位置映射關系到游程編碼查找表的寫入。通過遍歷查找表中的內容，并采用鏡像操作即可完成校正圖像的實時插值。本發明方法的具體步驟如下
.步驟1，提取出畸變圖像中的畸變直線，如
圖1所示。通過像素灰度閾值和像素距離差閾值判斷選取采樣點集的可靠性。步驟2，對于每條畸變直線，通過選取到畸變中心距離相等的點對計算各畸變直線的斜率K。為了使選取點的誤差盡可能小，選取采樣點只有在滿足如下兩個條件時，才被視為可靠點對
條件ι 每個采樣點的灰度值為周圍8領域像素內的最小值，且小于像素灰度閾值。條件2 采樣點對到畸變中心的距離之差小于像素距離差閾值。
本發明通過選取多組可靠點對進一步降低畸變直線斜率計算的誤差，計算公式如下
權利要求
1.基于畸變直線斜率計算的魚眼圖像校正方法，其特征在于具體步驟為 步驟1，通過像素灰度閾值和像素距離差閾值判斷選取采樣點集的可靠性； 步驟2，使用可靠的采樣點對求解畸變直線的實際斜率；步驟3，基于求解所得的畸變直線斜率，構建線性方程組，求解該線性方程組，得到校正模型的參數值；步驟4，基于校正模型，使用游程編碼查找表(LUT)存放校正圖像與畸變圖像之間的像素位置映射關系，并根據查找表對校正圖像進行插值，完成畸變圖像的復原。
2.根據權利要求1所述的基于畸變直線斜率計算的魚眼圖像校正方法，其特征在于 步驟1中，對畸變直線進行采樣取點時，分別設定像素灰度閾值和像素距離差閾值作為可靠采樣點的判定條件，當采樣點對滿足如下兩組條件時，被認定為是可靠采樣點對條件1 每個采樣點的灰度值為周圍8領域像素內的最小值，且小于像素灰度閾值； 條件2 采樣點對到畸變中心的距離之差小于像素距離差閾值。
3.根據權利要求2所述的基于畸變直線斜率計算的魚眼圖像校正方法，其特征在于 步驟2中，求解畸變直線的實際斜率的方法如下對于每條畸變直線而言，根據閾值優化的要求選取N組采樣點對，通過下式(1)解出畸變直線L的實際斜率
4.根據權利要求3所述的基于畸變直線斜率計算的魚眼圖像校正方法，其特征在于 步驟3中，求解的線性方程組為
5.根據權利要求4所述的基于畸變直線斜率計算的魚眼圖像校正方法，其特征在于步驟4中，所述采用游程編碼查找表存放校正圖像與畸變圖像之間的像素位置映射關系，其中，查找表的高位存放游程長度，低位存放本像素與前一像素之間位置偏移量。
6.根據權利要求5所述的基于畸變直線斜率計算的魚眼圖像校正方法，其特征在于 步驟4中，所述采用游程編碼查找表存放校正圖像與畸變圖像之間的像素位置映射關系， 其中，存取1/4幀校正圖像與畸變圖像之間的位置映射關系。
全文摘要
本發明屬于數字圖像處理領域，具體為一種基于畸變直線斜率計算的魚眼圖像校正方法。本發明利用徑向畸變特有的幾何性質，根據投影不變性原理，計算畸變直線的實際斜率，并以此為基礎，通過求解線性方程組以獲得多項式校正模型的參數值。這種校正方法在擁有理想校正精度的情況下顯著地降低了計算復雜度。根據求解得到的校正模型，利用游程編碼查找表(LUT)完成畸變圖像與校正圖像之間的位置映射編碼，從而實現對校正圖像的加權雙線性插值。此方法便于硬件實現，并具有高效的實時處理能力。
文檔編號G06T5/00GK102156970SQ201110093669
公開日2011年8月17日 申請日期2011年4月14日 優先權日2011年4月14日
發明者尹文波, 楊帆, 楊晶晶, 陳更生 申請人:復旦大學