本發明涉及求解影像間相對位置關系的方法，特別是針對弱連接影像的相對位置關系確定及拼接方法，屬于測繪及計算機視覺領域。

背景技術：

在利用航空影像進行地形圖測繪，或者通過場景拍攝的影像構建全景影像時，需要將影像拼接構建整個拍攝區的全幅影像，為保證影像的拼接精度，核心步驟就是確定各影像間的相對位置關系。目前大多通過影像匹配獲取兩幅影像間N對(N>5)同名點對的影像坐標，通過影像相對定向來求解影像相對位置關系。一般來說，要獲得較高的相對定向精度，影像間的重疊度應不低于60％，且量測得到的同名點應均勻分布在影像間的重疊區域內。但在某些特殊情況下，影像間的連接條件很弱，重疊度甚至不超過10％，采用傳統同名點對應關系的相對定向方法很難得到較高精度的相對定向結果。因此，有必要研究一種能夠提高弱連接條件影像相對定向及拼接精度的方法。

技術實現要素：

本發明的技術解決問題是：克服現有方法的缺陷，提供了一種利用影像線特征的相對定向方法，通過影像直線特征的成像關系，計算出影像成像范圍以外像點的影像坐標，以增加相對定向求解的多余觀測量，并能夠擴展同名點的分布范圍，有效提高弱連接影像的相對定向精度。

本發明的技術解決方案是：一種基于線特征的弱連接影像拼接方法，步驟如下：

(1)在左右兩幅影像的重疊區域上量測N對同名點的影像坐標，N對同名點應均勻分布在影像重疊區域，將重疊區域從上到下等分為3部分，分別為重疊區域上方、中部和下方，重疊區域上方、中部和下方應至少各量測2對同名點；

(2)在左右兩幅影像中找到同名的相交直線對或平行直線對(是指兩幅圖像的成像物方相交或平行，而不是僅在影像中相交或平行而實際不相交或平行)，每條直線上各量測兩個點的影像坐標(可以不必是同名點)，所選的直線對必須在兩幅影像上都出現；

(3)利用步驟(2)獲得在左影像上的某一直線上量測的兩個點的影像坐標，計算該直線在影像上的方程，同理計算與其相交或平行直線的方程，并計算其對應的同名直線對在右影像上的方程；

(4)根據步驟(3)計算的相交直線對或平行直線對的方程，求解相交直線對的交點或平行直線對的滅點在左影像上的影像坐標，并對應地計算右影像上同名直線對的同名交點或同名滅點；

(5)把步驟(4)計算得到的同名交點或同名滅點的影像坐標與步驟(1)量測的N對同名點的影像坐標作為測量值，進行影像相對定向元素的解算；

(6)通過影像相對定向解算得到兩幅影像間的相對定向元素，并基于該參數以左影像為基準校正右影像；

(7)計算校正后左右影像的重疊區域，以重疊區中心線為拼接線，將左影像和校正后的右影像拼接起來，實現影像拼接。

所述步驟(3)中計算直線方程，根據步驟(2)中量測得到的兩個像點的影像坐標，計算其直線方程的具體步驟為：

假設所量測的直線上兩個點的坐標分別是(x₁,y₁)和(x₂,y₂)，則直線的方程式形如：

Ax+By+C＝0

其中

A＝y₂-y₁，B＝x₂-x₁，

所述步驟(4)中利用兩條相交或平行直線方程求解交點，其具體步驟為：

假設兩條直線的方程分別為：

A₁x+B₁y+C₁＝0

A₂x+B₂y+C₂＝0

其交點或滅點的影像坐標(x_i,y_i)為：

所述步驟(5)的影像相對定向元素的解算步驟為：

(5-1)利用上下視差的為0的共面條件關系求解相對定向元素b_y,b_z,ω,κ，其中B_X,B_Y,B_Z為右影像投影中心在左影像的像空間輔助坐標系下的坐標分量，ω,κ為右影像相對于左影像的三個相互正交的旋轉角，能夠唯一確定左影像到右影像的旋轉矩陣R，R具體為：

(5-2)構建影像上下視差Q的表達式，表示為：

Q＝NY-N′Y′-B_Y

式中，N、N′分別為左右影像上同名像點的點投影系數，(X,Y,Z)和(X′,Y′,Z′)分別為同名點在左右影像的像空間輔助坐標，計算方法為：

其中(x,y)為左影像上同名點的影像坐標，f為左影像的主距，(x′,y′)為該同名點在又影像上的影像坐標，f′為右影像上的主距；R為如(5-1)所述的旋轉矩陣。

(5-3)相對定向計算后，影像上下視差為0，據此列出影像上下視差的誤差方程，表示為：

v＝Ax-l

式中，

l＝-Q。

式中，v表示誤差方程的殘差；x為由相對定向元素的改正數組成的向量；l為經計算得到的誤差方程觀測值；

(5-4)步驟(5-3)列出的誤差方程系數A矩陣中的各項偏導數為

其中T_YX＝YX′-XY′，T_ZY＝ZY′-YZ′，T_XZ＝XZ′-ZX′。

(5-5)當測量了N對同名像點時，N>5，將同名像點的影像坐標視為等精度不相關觀測值，給定相對定向元素的初始值，采用最小二乘平差方法求解相對定向元素的改正數；

x＝(A^TA)^-1A^Tl

并通過迭代更新相對定向元素，最終得到相對定向元素的精確值。

步驟(6)所述的右影像校正步驟為：

(6-1)對每一個校正前影像坐標為(x,y)的像點，其校正后的影像坐標(x_c,y_c)為：

式中a_i,b_i,c_i為(5-1)中旋轉矩陣R的元素。

本發明與現有技術相比的有益效果是：

(1)現有方法難以解決小重疊度影像相對定向過程中，由于同名點分布不均勻引起參數求解精度降低，而本方法充分利用了影像的線特征，不僅構造了更多的同名點觀測值，并能夠使點位分布更加理想，從而提高弱連接影像的拼接精度。

(2)本方法在處理擁有直線特征的影像拼接時，能有效提升影像拼接精度，能夠廣泛應用于城市航攝影像或室內近景影像等。

(3)本方法能很好應用于多探測器拼接式相機的整體檢校，通過對三維檢校場成像，利用檢校場影像中豐富的直線特征，有效提高各探測器間相對位置關系的求解精度，從而提高影像的拼接精度。

(4)采用本方法進行拼接，對影像重疊度的要求降低，從而能夠有效減少拼接影像的數量，在適用條件下使作業效率提高。

附圖說明

圖1為本發明的流程圖。

圖2為本發明影像重疊區域上部、中部、下部的劃分的恩范圍示意圖；

圖3為本發明左影像和校正后影像示意圖。

具體實施方式

下面結合附圖對本發明的具體實施方式進行進一步的詳細描述。

本發明一種基于線特征的弱連接影像拼接方法，首先在左右兩幅影像同名區域內量測分布均勻的N對同名點對的影像坐標(N>5)，并在左右兩幅影像中找到同名的相交直線對或平行直線，每條直線上各量測兩個像點的影像坐標；根據量測像點的影像坐標計算直線的方程，并計算得到直線交點的影像坐標；將對應的直線交點視作同名點，其影像坐標代入到影像上下視差的方程中，與普通同名點一起求解影像間的相對定向參數；依據求解得到的相對定向參數，對右影像進行幾何變換，并得到新的影像重疊區域，以重疊區域的中線為拼接線，將兩幅影像拼接起來。本發明中的方法充分利用了影像的線特征，不僅構造了更多的同名點觀測值，并能夠使點位分布更加理想，從而提高弱連接影像的拼接精度，可適用于各種弱連接條件影像的拼接處理。

本發明技術方案可采用計算機軟件技術實現自動運行流程，以下結合附圖和實施例詳細說明本發明技術方案。如圖1所示為本發明的流程圖，從圖1可知，本發明提出的一種基于線特征的弱連接影像拼接方法，具體步驟如下：

(1)在左右兩幅影像的重疊區域上量測N對同名點的影像坐標，N對同名點應均勻分布在影像重疊區域，將重疊區域從上到下等分為3部分，分別為重疊區域上方、中部和下方，重疊區域上方、中部和下方應至少各量測2對同名點，且不同的像點間應保證足夠的間距。同名像點的分布區域如圖2所示。圖2畫出了影像重疊區域上部、中部、下部的劃分的大致范圍，理想情況下應在A-F六個區域的中心部位各量測一對同名點。

(2)在左右兩幅影像中找到同名的相交直線對或平行直線對，一般選擇建筑物的邊緣線、道路標志線等，所選的直線對必須在兩幅影像上都出現。每條直線上各量測至少2個像點的影像坐標(可以不必是同名點)；

(3)利用步驟(2)獲得在左影像上的某一直線上量測的2個像點的影像坐標，計算該直線在影像上的方程，同理計算與其相交或平行直線的方程，并計算其對應的同名直線對在右影像上的方程，具體步驟為：

(3-1)假設所量測的直線上兩個像點的影像坐標分別是(x₁,y₁)和(x₂,y₂)，則直線的方程式形如：

Ax+By+C＝0

其中

A＝y₂-y₁，B＝x₂-x₁，

(3-2)步驟(3)的一個優選方案是，當量測了2個以上像點的影像坐標時，采用最小二乘法求解最佳擬合的直線方程，能夠提高直線方程的計算精度。

(4)根據步驟(3)計算的相交直線對或平行直線對的方程，求解相交直線對的交點或平行直線對的滅點在左影像上的影像坐標，并對應地計算右影像上同名直線對的同名交點或同名滅點，其具體步驟為：

(4-1)假設兩條直線的方程分別為：

A₁x+B₁y+C₁＝0

A₂x+B₂y+C₂＝0

其交點的影像坐標(x_i,y_i)為：

(4-2)步驟(4)的一個優選方案是，當影像上存在多條直線相交于同一點的情況時，根據步驟(2)和(3)分別計算出各個直線的方程，并通過最小二乘方法解算交點的最佳影像坐標。

(5)把步驟(4)計算得到的同名交點或同名滅點的影像坐標與步驟(1)量測的N對同名點的影像坐標作為測量值，進行影像相對定向元素的解算，解算步驟為：

(5-1)利用上下視差的為0的共面條件關系求解相對定向元素b_y,b_z,ω,κ，其中B_X,B_Y,B_Z為右影像投影中心在左影像的像空間輔助坐標系下的坐標分量，ω,κ為右影像相對于左影像的三個相互正交的旋轉角，能夠唯一確定左影像到右影像的旋轉矩陣R，R具體為：

(5-2)構建影像上下視差Q的表達式，表示為：

Q＝NY-N′Y′-B_Y

式中，N、N′分別為左右影像上同名像點的點投影系數，(X,Y,Z)和(X′,Y′,Z′)分別為同名點在左右影像的像空間輔助坐標，計算方法為：

其中(x,y)為左影像上同名點的影像坐標，f為左影像的主距，(x′,y′)為該同名點在又影像上的影像坐標，f′為右影像上的主距；R為如(5-1)所述的旋轉矩陣。

(5-3)相對定向計算后，影像上下視差為0，據此列出影像上下視差的誤差方程，表示為：

v＝Ax-l

式中，

l＝-Q。

式中，v表示誤差方程的殘差；x為由相對定向元素的改正數組成的向量；l為經計算得到的誤差方程觀測值；

(5-4)步驟(5-3)列出的誤差方程系數A矩陣中的各項偏導數為

其中T_YX＝YX′-XY′，T_ZY＝ZY′-YZ′，T_XZ＝XZ′-ZX′。

(5-5)當測量了N對同名像點時，N>5，將同名像點的影像坐標視為等精度不相關觀測值，給定相對定向元素的初始值，其初始值給定方法為：

b_y＝0b_z＝0ω＝0κ＝0

采用最小二乘平差方法求解相對定向元素的改正數，計算公式為：

x＝(A^TA)^-1A^Tl

并通過迭代更新相對定向元素，相對定向元素更新的公式為：

ω⁽ⁱ⁺¹⁾＝ω⁽ⁱ⁾+Δω

κ⁽ⁱ⁺¹⁾＝κ⁽ⁱ⁾+Δκ

式中，κ⁽ⁱ⁾表示第i次迭代計算前的相對定向元素值，ω⁽ⁱ⁺¹⁾,κ⁽ⁱ⁺¹⁾表示第i次迭代計算后更新的相對定向元素值。

當迭代收斂時，計算結束，得到相對定向元素的精確值。其中迭代收斂的判斷條件是：

若迭代次數超過m次仍未達到收斂狀態，則認為解算失敗，結束計算。一般地，m≥10。

(6)通過影像相對定向解算得到兩幅影像間的相對定向元素，并基于該參數以左影像為基準校正右影像，校正步驟為：

(6-1)對每一個校正前影像坐標為(x,y)的像點，其校正后的影像坐標(x_c,y_c)為：

式中a_i,b_i,c_i為(5-1)中旋轉矩陣R的元素。

(6-2)校正后影像像素的灰度值采用雙線性內插法獲得。

(7)重新計算左右影像的重疊區域。

(7-1)如圖3所示，以各對同名點像點的坐標的x坐標差的平均值作為B_X，計算公式為：

并計算B_Y和B_Z，B_Y＝b_y·B_X,B_Z＝b_z·B_Z。根據校正后的右影像四個角點的坐標圍成四邊形，與左影像的矩形區域求交，得到校正后影像的重疊區域。

(7-2)以兩幅影像中心連線的中垂線作為拼接線，將左影像和校正后的右影像拼接起來，實現影像拼接。

本發明提出的一種基于線特征的弱連接影像拼接方法，可應用于涉及小重疊度航空測繪影像以及地面近景影像的拼接處理。

本發明說明書中未作詳細描述的內容屬于本領域專業技術人員的公知技術。