本發明涉及航拍圖像處理領域，具體說是一種航拍序列圖像自動排序的方法。

背景技術：

近年來，由于無人機航拍具有高靈活性、高效率、以及低成本的優勢，它已經廣泛應用于自然災害評估，戰場偵察，環境監測等領域。為了擴大視野、全面了解和分析拍攝信息，有效的圖像拼接技術非常重要。通過無人機遙感平臺獲得的圖像具有數據量大、相位振幅小、重疊度高等特點，在后期處理圖像時很容易混亂圖像序列的次序，這樣會給后續的圖像配準和融合帶來一定的困擾，不能達到理想的拼接效果。而目前很多的拼接涉及的算法^[3-4]都要求人為的將圖像序列排好才能進行有效的拼接，這樣的人工設定是非常耗時的，特別是對航拍圖像數據來說，不能滿足實時性的要求。利用計算機來完成圖像序列的自動排序技術已經被提出，并且得到廣泛的研究。kuglin和hines(kuglinc,hinesd.thephasecorrelationimagealignmentmethod[a].conferenceoncyberneticsandsociety[c].1975:163-165.)1975發現相位相關方法與場景無關，可以準確地在良好條件下對二維平移圖像進行對齊。2006年，華順剛等人(華順剛,曾令宜,歐宗瑛.一種快速的柱面全景圖像拼接算法[j].數據采集與處理,2006,04:434-438.)提出了一種利用等距離匹配的思路用來實現圖像序列的自動排序，該方法不僅計算量大，對各種干擾環境的魯棒性也較差；2007年趙輝等人(趙輝,陳輝,于泓.一種改進的全景圖自動拼接算法[j].中國圖象圖形學報,2007,02:336-342)利用相位相關法來實現圖像序列的自動排序，該方法可以具有一定的抗干擾能力，但是需要人工選定閾值，算法的適應和自動性明顯降低。同年，趙萬金等人([8]趙萬金,龔聲蓉,劉全,沈向軍,劉純平.一種用于圖像拼接的圖像序列自動排序算法[j].中國圖象圖形學報,2007,10:1861-1864)利用相位相關法圖像間的相關性來判別位置關系，但是要求序列圖像的大小必須相同，且圖像的位置關系的確定說明的不夠明了。2009年，吳憲祥等人([9]吳憲祥,郭寶龍,王娟.一種改進的序列圖像自動排序算法[j].光電子.激光,2009,08:1114-1117.)利用尾部補零的方法使兩幅圖像大小相同再運用相位相關法排序圖像，但該方法未對旋轉圖像給出處理。

技術實現要素：

本發明所要解決的問題在于克服現有航拍圖像利用相位相關法進行自動排序時對圖像大小必須相同的限制，提出了利用對數極坐標的方式來表示圖像間的平移、旋轉、縮放的關系，建立圖像序列排序模型并通過公式推導驗證，同時給出最大相關度準則以及峰值坐標判斷相鄰圖像位置關系的原則，增強了算法的適用范圍。

本發明具體采用以下技術方案：

發明一：對于從傳感器中提取出來的的航拍圖像，不僅包含平移、旋轉，還極大可能的存在尺度縮放的情況。本文提出對數極坐標的方式來表示兩幅待匹配圖像的關系，建立了旋轉、平移、尺度變換的排序模型，增強了算法的適用范圍。

原理描述：定義兩幅待拼接圖像間的平移參量x0、y0、旋轉角度α、縮放因子σ，則f1(x,y)和f2(x,y)的位置關系可表示為：

f1(x,y)＝f2(σxcosα+σysinα-x0,-σxsinα+σycosα-y0)

對應的傅里葉變換為：

步驟b、令f1、f2的模值分別為m1、m2，則將上式化為：

令u＝ρcosβ，v＝ρsinβ，對上式進行坐標變換為：

即：

當兩幅圖像只存在，平移、旋轉變換的時，此時旋轉因子為x＝x0、σ＝σ0，則有

對于上式，采用普通相位相關法可以計算出旋轉角度α＝α0。

當確定下來旋轉角度α0時，則有：

令logρ＝m,logσ＝n，則ρ＝e^m，σ＝eⁿ代回可得：

m1(e^m,α)＝e^-2nm2(e^n-m,α-α0)

即：

m1(m,α)＝e^-2km2(m-n,α-α0)

同樣運用普通的相位相關法可以計算出n和旋轉因子σ。把計算出的旋轉角度α0和縮放因子σ0代回原式再次運用相位相關法就可以計算出平移參數。

發明二、根據改進的相位相關算法方案，提出最大相關度準則以及峰值坐標判斷相鄰圖像位置關系的原則，設計以下自動排序算法：

(1)構建二維最大相關度數組。對每一幅圖像根據上節提出的相位相關算法計算與其他圖像的歸一化互功率譜，并求得其逆傅里葉變換的峰值作為圖像間的相關度，這樣每一幅圖像可到n-1個相關度，從而建立n*n的二維數組用來存儲圖像間的相關度。

(2)確定頭圖像和尾圖像。對于每一幅至少會與其中一幅圖像相鄰(頭圖像和尾圖像)，最多會與其中兩幅圖像相鄰(中間圖像)。而兩幅相鄰的圖像，其δ脈沖函數在空間域中對應著非常尖銳的峰值，即為最大相關度，根據該峰值就可以計算出兩幅圖像間的平移參量。因此按照每一幅圖像數列的行、列找出2個最大相關度，可以得到2n個最大的相關度。而對于頭、尾兩幅圖像僅與一幅圖像相鄰，其最大相關度明顯小于其他相關度，則其對應的圖像即為頭圖像和尾圖像。如果該圖像的最大相關度對應的水平平移量δx＜0，則其為頭圖像；反之，為尾頭像；

(3)確定相鄰兩幅圖像的左右關系。順著頭圖像根據最大相關度對應的平移量可依次確定整個圖像鏈，如果x0＞0，則圖像應該排在右邊，反之排在左邊。

由此得到的序列圖像對應于相機由左向右拍攝的結果。

本發明克服傳統相位相關法對圖像大小一致的限制，提出對數極坐標的方式來表示兩幅待匹配圖像的關系，建立了旋轉、平移、尺度變換的排序模型，同時給出了最大相關度準則以及峰值坐標判斷相鄰圖像位置關系的原則，用來判斷序列圖像的位置，增強了算法的適用范圍。

附圖說明

圖1是相位相關法流程圖；

圖2是一組具有重疊區域航拍圖像；

圖3是圖3利用相位相關法在空間域中檢測到的沖擊函數；

圖4是對數極坐標下航拍序列圖像自動排序的算法路程圖；

圖5是一組次序混亂的航拍序列圖像；

圖6是一組航拍序列圖像排序后的圖像；

圖7圖像序列間的最大相關度；

圖8最大相關度對應的水平平移量。

具體實施方式

下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、詳細地描述。所描述的實施例僅僅是本發明的一部分實施例。

1、相位相關法通過利用傅立葉變化變換得到互功率譜的相位信息，其對圖像的灰度信息依賴性較小，因此具有一定的抗干擾能力，設計流程圖如圖1：

相位相關法原理可描述為：

設兩幅圖像a(x,y)和b(x,y)，他們之前僅存在著平移關系，相對水平、垂直平移量為x0、y0，則有：

f1(x,y)＝f2(x-x0,y-y0)

對(1)式進行傅里葉變換到頻域：

歸一化功率譜為：

上式中f^*是f的復共軛函數，從歸一化的功率譜可以看出是一個指數函數，并對其進行傅里葉變換到空間域中，得到一個沖激函數：

在空間域中找出沖擊函數對應的峰值的位置，其值反映了兩幅圖像的相關性，同時確定平移參數(x0,y0)。當圖像間有噪音、復雜透視、甚至存在運動物體的時候，沖擊函數的能量會從單一峰值分布到其他小峰值上，但是最大峰值所在的位置仍然具有一定的穩定性，保證了平移量的不變性。

圖2是一組具有重疊區域的航拍圖像，大小為500×750，圖3是圖2運用相位相關法在空間域中檢測到的沖擊函數δ，可以計算水平量(124,23),表示圖2中右圖相對于左圖右移124pixel，上移為23pixel。

對數極坐標下的相位相關算法

根據以上介紹經典的相位相關法嚴格要求待排序的圖像尺寸大小相同，通過對互功率譜進行逆傅里葉變換得到的歸一化相關系數是一個與f1(x,y)、f2(x,y)大小相同的矩陣，所以存在左右平移的混淆問題。同時，對于從傳感器中提取出來的的航拍圖像，不僅包含平移、旋轉，還極大可能的存在尺度縮放的情況。本文提出對數極坐標的方式來表示兩幅待匹配圖像的關系，建立了旋轉、平移、尺度變換的排序模型，增強了算法的適用范圍。

原理描述：定義兩幅待拼接圖像間的平移參量x0、y0、旋轉角度α、縮放因子σ，則f1(x,y)和f2(x,y)的位置關系可表示為：

f1(x,y)＝f2(σxcosα+σysinα-x0,-σxsinα+σycosα-y0)

傅里葉變換為：

令f1、f2的模值分別為m1、m2，則將上式化為：

令u＝ρcosβ，v＝ρsinβ，對上式進行坐標變換為：

即：

(1)當兩幅圖像只存在，平移、旋轉變換的時，此時旋轉因子為σ＝σ0，則有：

上式就轉化成了簡單平移類似的形式，采用上節普通的相位相關法可以計算出旋轉角度α＝α0。

(2)當確定下來旋轉角度α0時，同樣可得：

令logρ＝m,logσ＝n，則ρ＝e^m，σ＝eⁿ代回可得：

m1(e^m,α)＝e^-2nm2(e^n-m,α-α0)

即：

m1(m,α)＝e^-2km2(m-n,α-α0)

同樣上式化為簡單的平移的形式，運用普通的相位相關法可以計算出n和旋轉因子σ。

至此把計算出的旋轉角度α0和縮放因子σ0代回到原式中再次運用相位相關法就可以計算出平移參數。

根據上述原理可設計改進相位相關算法方案流程圖如圖4：

3、根據改進的相位相關算法方案，提出了最大相關度準則以及峰值坐標判斷相鄰圖像位置關系的原則，設計以下自動排序算法：

(1)構建二維最大相關度數組。對每一幅圖像根據上節提出的相位相關算法計算與其他圖像的歸一化互功率譜，并求得其逆傅里葉變換的峰值作為圖像間的相關度，這樣每一幅圖像可到n-1個相關度，從而建立n*n的二維數組用來存儲圖像間的相關度。

(2)確定頭圖像和尾圖像。對于每一幅至少會與其中一幅圖像相鄰(頭圖像和尾圖像)，最多會與其中兩幅圖像相鄰(中間圖像)。而兩幅相鄰的圖像，其δ脈沖函數在空間域中對應著非常尖銳的峰值，即為最大相關度，根據該峰值就可以計算出兩幅圖像間的平移參量。因此按照每一幅圖像數列的行、列找出2個最大相關度，可以得到2n個最大的相關度。而對于頭、尾兩幅圖像僅與一幅圖像相鄰，其最大相關度明顯小于其他相關度，則其對應的圖像即為頭圖像和尾圖像。如果該圖像的最大相關度對應的水平平移量δx＜0，則其為頭圖像；反之，為尾頭像；

(3)確定相鄰兩幅圖像的左右關系。順著頭圖像根據最大相關度對應的平移量可依次確定整個圖像鏈，如果x0＞0，則圖像應該排在右邊，反之排在左邊。

由此得到的序列圖像對應于相機由左向右拍攝的結果。

圖5是一組次序混亂的航拍序列圖像，其中有323×370、224×256、313×302三種大小類型的圖像，并且這些圖像之間存在著明顯的平移、旋轉和縮放，運用上述提出的相位相關法計算出兩兩圖像間的相關度，統計數據如圖7，根據最大相關度可優先確定頭圖像和尾圖像(在表中用*標出)；同時計算出每幅圖像最大相關度的相關圖像之間的水平平移量x0，如圖8，根據平移量的大小可確定兩幅圖像的左右關系，從而完成實驗圖像序列的自動排序排序，排序后的圖像序列如圖6。

本發明根據航拍圖像的特征提出了一種改進的相位相關算法方案，實現了序列圖像的自動排序。主要采用對數極坐標的方式表示圖像間平移、旋轉、縮放的復雜關系，突破了已有算法對圖像尺寸的限制，并給出了算法實現的具體方案，通過最大相關度的確定序列頭、尾圖像，再利用峰值所在坐標確定平移參數，根據給定的準則判斷圖像左右位置關系，避免了人工干預。由于算法在頻域中計算相關度時耗時較大，可借助fft的方法。并且改進后的算法可直接得出圖像間的平移參數，該算法方案能夠快速有效的完成航拍圖像序列的自動排序，這對圖像拼接的后續的關鍵技術具有很大研究具有很大價值。