利用雙平面鏡裝置中的圓周運動求解攝像機內參數的方法
【專利摘要】本發明涉及利用雙平面鏡裝置中的圓周運動求解攝像機內參數的方法。該裝置由兩個平面鏡與一個針孔攝像機組成，空間點連同其在平面鏡中的反射像點在空間同一個圓上。拍攝包括物體及其在平面鏡中的四個反射成像的三幅圖像，從圖像上提取特征點，擬合曲線方程。利用反射點組關于平面鏡的對稱性質及曲線在特征點處的切線性質得到圓心的像，再利用極點極線的關系得到像平面上的消失線，即無窮遠直線的像。消失線與曲線的交即為圓環點的像，建立圓環點的像關于絕對二次曲線像的六個約束方程，線性求解攝像機的內參數。
【專利說明】利用雙平面鏡裝置中的圓周運動求解攝像機內參數的方法

【技術領域】
[0001]本發明屬于計算機視覺研究領域，涉及一種用于求解平面折反射攝像機內參數的新方法。拍攝包括物體及其在平面鏡中的四個反射成像的三幅圖像，利用反射點組關于平面鏡的對稱性及曲線在特征點處的切線性質線性求解攝像機內參數。

【背景技術】
[0002]在計算機視覺領域，攝像機標定是指根據給定的攝像機模型求取攝像機參數的過程。從攝像機獲得的二維圖像信息出發恢復物體在三維空間中的幾何信息，根據空間物體的三維幾何位置與其圖像中的對應點之間的相互關系，重建三維空間中物體的幾何形狀。攝像機標定的方法有很多種，大致可以分為傳統標定方法、攝像機自標定方法兩類。傳統標定方法是在一定的攝像機模型下，基于特定的實驗條件，如形狀或尺寸已知的標定物，通過對其二維圖像進行處理，利用一系列數學變換和計算方法求取攝像機參數。自標定方法不依賴于特定的標定物，利用攝像機在運動過程中周圍環境的物體與圖像之間的對應關系來標定攝像機。
[0003]折反射攝像機是由折射鏡頭和反射鏡頭組成的成像系統，反射鏡可以是曲面也可以是平面° 文獻“Shape-from-Silhouette with Two Mirrors and an UncalibratedCamera，，(K.Forbes, F.Nicolls, G.de Jager, and A.Voigt, Proc.European Conf.Computer Vis1n, 2006, vol.2, pp.165-178)提出了利用兩個平面鏡和一個針孔攝像機組成的平面折反射系統。在包含多個視圖的圖像中提取物體的側影輪廓，利用這些輪廓的公切線估計攝像機內參數。這種方法成本低，但需要精確定位輪廓的物理坐標，操作過程復雜。文獻“Contour-based Structure from Reflect1n，，(Ρ.H.Huang and S.H.Lai, Proc.1EEE Int，I Conf.Computer Vis1n and Pattern Recognit1n, 2006, pp.379-386)利用一個完全透視攝像機模型，在標定過程中需要首先估計焦距的大小，使得結果不甚準確。由于圓環點是一種更簡潔更全局化的基元，因而可以進一步提高方法的穩定性，于是用圓環點解決標定問題被廣泛使用，文獻“A new easy camera calibrat1n technique basedon circular points，，，(Xiaoqiao Mengj Zhanyi Hu，Pattern Recognit1n, vol.36，n0.5，pp.115-1164，2003.)就是利用圓環點的屬性，從單一投影圖像中計算攝像機的內參數。
[0004]圓環點是無窮遠平面上絕對二次曲線上的一對共軛點，在射影變換下，它們的像也是一對共軛的虛點，平面上任何圓與無窮遠直線均交與圓環點。文獻“利用二次曲線擬合和圓環點進行攝像機標定”(胡釗政，談正，西安交通大學學報，自然科學版，vol.40，n0.10, pp.1065-1069, 2006.)通過對兩圓的圖像進行二次曲線擬合，再根據擬合的二次曲線來計算圓環點的像完成標定過程。文獻“一種改進的基于圓環點的攝像機自標定方法”(胡培成，黎寧，周建江，光電工程，PP.54-60, 2007.)基于拉蓋爾定理求取圓環點像的坐標，進而建立對絕對二次曲線像(IAC)的約束。


【發明內容】

[0005]本發明提出了一種在平面折反射系統中基于圓周運動和極點極線性質線性求解攝像機內參數的方法。該成像系統是由兩個矩形平面鏡和一個針孔攝像機組成，兩個平面鏡之間的夾角保持在60° -80°左右，鏡面垂直于兩平面鏡底邊所在的平面，放置一個物體在兩平面鏡之間。將平面鏡之間的夾角調整到合適的角度，由于平面鏡之間存在一次內部反射，物體在雙平面鏡裝置中可以形成四個虛像。根據平面鏡反射過程中等大、等距、對稱的成像特點，像平面上二次曲線在特征點處切線性質以及極點極線間的關系求解得到圓環點的像。在求解攝像機內參數的過程中，只需要攝像機從不同方位拍攝包括物體及其它在平面鏡中四個虛像的3幅圖像，利用圓環點的像關于絕對二次曲線像的約束方程，線性求解攝像機內參數。
[0006]本發明采用如下技術方案:
本發明是利用兩個平面鏡裝置進行攝像機自標定。具體的步驟包括:從不同的方位拍攝3幅包括物體及它在平面鏡中四個虛像的3幅圖像，從圖像上提取特征點擬合得到二次曲線方程；利用平面鏡成像原理計算反射點組所在空間圓圓心的像，根據物體在平面鏡中的成像規律以及像平面上二次曲線在特征點處切線的性質求解得到圓心的像，再利用極點極線的關系得到無窮遠直線的像，即消失線。消失線與二次曲線的交點即為圓環點的像，建立圓環點的像關于絕對二次曲線像的約束方程，線性求解攝像機的內參數。
[0007]1.提取圖像中的特征點擬合二次曲線
在Matlab軟件中利用Harris角點檢測提取出圖像平面上的特征點坐標,擬合特征點所在二次曲線。
[0008]2.求圓環點像的坐標
(O計算反射點組所在空間圓圓心的像
如圖1, II1與II2是兩個矩形實平面鏡，它們之間的夾角是6CT至SCf，兩個實平面鏡之間存在一次內部反射，得到兩個虛平面鏡Π3，π+。Π3是平面鏡112在平面鏡瑪中的虛像，是平面鏡II1在平面鏡112中所成的虛像。AAq為空間中一個實點。AA1是點Ad在平面鏡D1中的虛像，點A2是點A0在平面鏡Π2中的虛像，點A3是點A1在虛平面鏡π3中的像，點A4是點A2在平面鏡114中的像。根據平面鏡反射過程中等大、等距的成像原理,A0及反射點組Al.A2,A3,A4在空間一個圓上，在空間一個圓上，將空間點Aq在四個平面鏡中的反射成像過程看做是一個圓周運動。
[0009]如圖2，Ad及反射點組A11A2,A31A4在空間一個圓上，所在圓的圓心為ο,點A0與平面鏡H1所成的夾角為,與平面鏡π2所成的夾角為:。以點A3為起點過點A1做射線，以點為起點過點Aq做射線，過點ApA1的射線與過點A2,Α。的射線交于點D1。以點A1為起點過點Aq做射線，以點A4為起點過點A2做射線，過點A1;A0的射線與過點A4, A2的射線交于點D2。分別過圓ο上的點Aa,A1,A2做切線，過點A1的切線交于點B1，過點AtjfA2的切線交于點B2。根據平面鏡成像過程中的對稱性質及圓的切線性質，三角形AqA1D1與三角形AqA1B1是底邊均為A0A1的等腰三角形，且點Aq, A1關于平面鏡H1對稱，過點直線經過圓心O。同理，三角形AeA2D2與三角形AqA2B2是底邊均為A0A2的等腰三角形，且點VA2關于平面鏡Π2對稱，過點D21B2的直線也經過圓心O，于是過點DlsB1的直線與過點D21B2的直線的交點即為圓心O。如圖分別為空間點組^^^在像平面上的像點^^巧七為為所在的二次曲線為^卜過點a3>ai的直線與過點a2>ao的直線交于點^，點^為空間點D1的像點，過點Spaf3的直線與過點a+，a2的直線交于點d2 , d2為空間點D2的像點。二次曲線C1上點aQ,^處的切線交于點t?i，點％>32處的切線交于點b2，點分別為空間點BllB2的像點。過點b ^d1的直線與過點的直線交于點V ,V即為空間圓L 的像。
[0010](2)計算像平面上圓心的像關于二次曲線C1的極線
點Ad為空間一個實點，AA1是點A0在平面鏡II1中的虛像，點A2是點Ad在平面鏡Π2中的虛像，點A3是點A1在虛平面鏡II3中的像，點是點A2在平面鏡Π4中的像。根據平面鏡等大、等距的成像原理，A0及反射點組ApA2iA3lA4在空間一個圓上，其圓心為
O。由二次曲線的仿射性質，二次曲線的中心是無窮遠直線的極點。通過擬合得到像點a0,ai,a2,a3,a4所在二次曲線的方程，已知圓心的像，根據配極原則求解像點V關于二次曲線C1的極線，即無窮遠直線的像。
[0011](3)求取圓環點的像
圓環點是無窮遠平面上絕對二次曲線上的一對共軛點，且平面上任何圓與無窮遠直線均交于圓環點。空間圓所在平面的無窮遠直線與圓交于圓環點，像平面上二次曲線C1與點
ol勺極線的交即為圓環點的像。
[0012]3.求解攝像機內參數
利用在三幅圖像中所得三組圓環點的像對絕對二次曲線像的約束可以列出六個約束方程，線性求解得到IAC，進而Cholesky分解求逆得到攝像機內參數。即矩陣
s U0
K= O f, V0，為圖像的畸變因子，U;為圖像坐標系中u軸、f軸的尺度因子，(?,%) OOlJs
是主點坐標，為攝像機的5個內參數。
[0013]本發明優點:
(I)該成像系統是由兩個矩形平面鏡和一個針孔攝像機組成，制作簡單，成本低。將平面鏡之間的夾角調整到60°至80°，兩個實平面鏡之間存在一次內部反射，物體在雙平面鏡裝置中可以形成四個虛像。
[0014](2)只需用攝像機從不同方位拍攝三幅包含物體及其在平面鏡中虛像的圖像，提取一組特征點便可線性求解出攝像機的5個內參數。

【專利附圖】

【附圖說明】
[0015]圖1雙平面鏡裝置反射成像的空間立體圖。
[0016]圖2求解反射點組所在圓圓心像的原理圖。
[0017]圖3求解像平面上無窮遠直線的像及圓環點的像。

【具體實施方式】
[0018]如圖1，該裝置是由空間中兩個放置一定角度的矩形平面鏡和一個物體構成。一種基于圓環點求解攝像機內參數的新方法，用此新方法求解攝像機內參數需要經過以下步驟:基于圓環點的攝像機標定方法采用的是兩個平面鏡裝置，將其夾角調整在6(Γ至80°之間。物體放在兩個平面鏡所成夾角的任意位置，調整平面鏡的夾角使得物體在平面鏡中出現四個圖像即可，利用本發明中的方法對用于實驗的攝像機進行標定，具體步驟如下:
1.提取圖像中的特征點擬合二次曲線
在Matlab軟件中利用Harris角點檢測法提取出圖像特征點31:^2,&3,34的坐標,擬合特征點所在二次曲線。
[0019]2.計算圓環點像的坐標
(O計算反射點組所在空間圓圓心的像
如圖1，瑪與112是兩個矩形實平面鏡，它們之間的夾角是到80-,兩個實平面鏡之間存在一次內部反射，得到兩個虛平面鏡。π3是平面鏡π2在平面鏡II1中的虛像，IIi是平面鏡II1在平面鏡112中所成的虛像。點灰0為空間中一個實點。AA1是點A0在平面鏡H1中的虛像，點A2是點Aq在平面鏡Π2中的虛像，點A3是點A1在虛平面鏡Π3中的像，點A4是點A2在平面鏡Π4中的像。根據平面鏡反射過程中等大、等距的成像原理，A0及反射點組在空間一個圓上，將空間點A0在四個平面鏡中的反射成像過程看作是一個圓周運動。如圖2，Aq及反射點組AlfA2iA3iA4在空間一個圓上，所在圓的圓心為O，點aO與平面鏡πι所成的夾角為《，與平面鏡1^所成的夾角為β。以點為起點過點A1做射線，以點A2為起點過點Α。做射線，過點A3為的射線與過點A2人的射線交于點D1。以點A1為起點過點A0做射線，以點A4為起點過點A2做射線,過點ApAcj的射線與過點A4為的射線交于點D2。分別過圓ο上的點HA2做切線，過點?的切線交于點B1,過點Ad,A2的切線交于點B2。根據平面鏡成像過程中的對稱性質及圓的切線性質，三角形AqA1D1與三角形AqA1B1是底邊均為A13A1的等腰三角形，且點關于平面鏡H1對稱,過點D1為的直線經過圓心c,同理，三角形AqA2D2與三角形AgA2B2是底邊均為A0A2的等腰三角形，且點Aq,A2關于平面鏡Π2對稱,過點的直線經過圓L ,于是過點化為的直線與過點D2iB2的直線的交點即為圓心O。如圖3，點aQ,ai,a2,a3為分另Ij為空間點組A0, A1A2為，A4在像平面上的像點，點a,3, Wa3,七所在的二次曲線為C1。過點a3為的直線與過點a2，ao的直線交于點斗，點dI為空間點D1的像點，過點S1,ac的直線與過點a4,a2的直線交于點d2，d2為空間點02的像點。二次曲線C1上點3。為處的切線交于點I^1，點aQ，a2處的切線交于點b2，At^b2分別為空間點B11B2的像點。過點I^d1的直線與過點b2,d2的直線交于點, of即為空間圓;L.的像。
[0020](2)計算像平面上圓心的像關于二次曲線^的極線
點Ad為空間一個實點，點A1是點A0在平面鏡II1中的虛像，點A2是點A0在平面鏡Π2中的虛像，點A3是點A1在虛平面鏡Π3中的像，點A4是點A2在平面鏡Π4中的像。根據平面鏡等大、等距的成像原理，A0及反射點組在空間一個圓上，其圓心為由二次曲線的仿射性質，二次曲線的中心是無窮遠直線的極點。通過擬合得到像點a0,ai,a2ia3,a4所在二次曲線的方程，已知圓心的像0f，根據配極原則求解像占關于二次曲線C1的極線i，即無窮遠直線的像。
[0021](3)求取圓環點的像圓環點是無窮遠平面上絕對二次曲線上的一對共軛點，且平面上任何圓與無窮遠直線均交于圓環點。空間圓所在平面的無窮遠直線與圓交于圓環點，像平面上二次曲線4與點。'的極線的交即為圓環點的像。
[0022]3.求解攝像機內參數
利用在三幅圖像中所得三組圓環點的像對絕對二次曲線像(IAC)的約束可以列出六個約束方程，線性求解出攝像機的5個內參數，即矩陣

【權利要求】
1.本發明利用雙平面鏡裝置中的圓周運動求解攝像機內參數的方法，其特征在于兩個實平面鏡之間存在一次內部反射，物體在該裝置中有四個虛像；根據平面鏡等大、等距的成像特點、像平面上二次曲線在特征點處切線性質以及極點極線間的關系求解攝像機內參數；具體的步驟包括:從不同方位拍攝包括物體及其它在平面鏡中四個虛像的3幅圖像，從圖像上提取特征點擬合二次曲線方程，利用平面鏡成像原理計算反射點組所在空間圓圓心的像，最后利用極點極線之間的關系求解像平面上無窮遠直線的像，即消失線；消失線與二次曲線的交即為圓環點的像，建立圓環點的像對絕對二次曲線的像的約束線性求解攝像機的內參數； (O計算反射點組所在空間圓圓心的像 與112是兩個矩形實平面鏡，它們之間的夾角是至80'平面鏡內部存在一次內部反射，得到兩個虛平面鏡；H3是平面鏡Π2在平面鏡II1中的虛像，Π4是平面鏡II1在平面鏡Π2中所成的虛像；在該裝置中I^n3為兩個實平面鏡，Π3,Π4為兩個虛平面鏡；點Ad為空間中一個實點；點A1是點Ac在平面鏡II1中的虛像，點A2是點Aq在平面鏡中的虛像，點A3是點A1在虛平面鏡Π3中的像，點At是點A2在平面鏡II4中的像；根據平面鏡等大、等距的成像原理，A0及反射點組^A2sA3lA4在空間一個圓上，將空間點在四個平面鏡中的成像過程看作是一個圓周運動；AQ及反射點組在空間一個圓上，所在圓的圓心為O，點Aq與平面鏡II1所成的夾角為a ,與平面鏡Π2所成的夾角為β ;以點A3為起點過點A1做射線，以點A2為起點過點Aq做射線，過點A3為的射線與過點A2,A0的射線交于點D1 ;以點A1為起點過點A0做射線，以點A4為起點過點A2做射線，過點A1,Aq的射線與過點的射線交于點D2 ;分別過曰上的點AbApA2做切線，過點AqsAi的切線交于點B1，過點Aq, A2的切線交于點B2 ;根據平面鏡成像過程中的對稱性質及圓的切線性質，三角形A0A1D1與三角BAdA1B1是底邊均為AdA1的等腰三角形，且點AiitAl關于平面鏡II1對稱，過點D1為的直線經過圓心O ;同理，三角形A13A2D2與三角形AdA2B2是底邊均為AqA2的等腰三角形，且點Ad,A2關于平面鏡Π2對稱，過點D2 32的直線經過圓心O，于是過點^為的直線與過點D2, B2的直線的交點即為圓L ；點a。,a4分別為空間點組A2,A3,A4在像平面上的像點，點aQ, a1;a2,a3,a+所在的二次曲線為ci ;過點a3，al的直線與過點a2’ao的直線交于點^ ,點^為空間點D1的像點，過點al，aO的直線與過點a4，aS的直線交于點d2 , d2為空間點的像點；二次曲線Cl上點處的切線交于點Ij1，點aQ,a2處的切線交于點b2，點1^,1>2分別為空間點BlsB2的像點；過點Wd1的直線與過點1?為的直線交于點夕，。.即為空間圓心?的像 (2)計算像平面上圓心的像關于二次曲線C1的極線 點A0為空間一個實點，點A1是點在平面鏡中的虛像，點是點在平面鏡π2中的虛像，點A3是點A1在虛平面鏡π3中的像，點A4是點A2在平面鏡Π4中的像；根據平面鏡等大、等距的成像原理，空間AAe與反射點組在圓上，其中，，力圓心；由二次曲線的仿射性質，二次曲線的中心是無窮遠直線的極點；通過擬合得到像點a0,ai,a2,a3,a4所在二次曲線的方程，已知圓心的像V，根據配極原則求解像點V關于二次曲線C1的極線?，即無窮遠直線的像。
【文檔編號】G06T7/00GK104200476SQ201410458088
【公開日】2014年12月10日 申請日期:2014年9月11日 優先權日:2014年9月11日
【發明者】趙越, 張小芬 申請人:云南大學