一種視頻圖像拼接方法及裝置制造方法
【專利摘要】本發明實施例公開了一種視頻圖像拼接方法及裝置，方法包括：獲取攝像機拍攝相鄰兩個視頻幀時的相對運動關系；根據所述相對運動關系對所述相鄰兩個視頻幀進行特征提取；根據所提取的特征對所述相鄰兩個視頻幀進行特征匹配；根據匹配結果對所述相鄰兩個視頻幀進行拼接與融合，能夠使視頻圖像拼接的效率更高。
【專利說明】一種視頻圖像拼接方法及裝置

【技術領域】
[0001] 本發明涉及圖像處理【技術領域】，具體涉及視頻圖像處理技術，尤其涉及一種視頻 圖像拼接方法及裝置。

【背景技術】
[0002] 現有技術中，目前常用的視頻圖像拼接方法主要有基于區域的圖像拼接方法和基 于特征的圖像拼接方法。基于區域的圖像拼接方法又可分為基于空間像素匹配的拼接算法 和基于頻域的拼接算法；基于特征的拼接方法主要根據采取采集特征的不同進行區分，t匕 如早期的輪廓特征以及后來出現的SIFT特征、SURF特征、0RB特征等。
[0003] 基于區域的圖像拼接方法中，基于像素匹配的拼接算法，主要通過兩幅圖像像素 間的灰度關系來確定圖像間的變化參數。早期的匹配方法是通過在相鄰重疊部分進行平 移，然后比較兩幅圖像的匹配度，需要測試所有的平移情況。這種方法運算量極大，而且不 能解決旋轉和尺度變換問題。還有采用基于金字塔結構的多分辨率匹配進行最優匹配搜 索，可以在一定程度上解決尺度變換問題，但是對于旋轉問題解決的不理想。基于頻域的拼 接方法，是通過對兩幅圖像做二維離散傅里葉變換，通過頻域內的相關關系反變換得到空 間域的相關關系。
[0004] 基于特征的圖像拼接方法，這種方法不是利用圖像的全部信息，而是首先在圖像 中提取特征，通過比較兩幅圖像的特征得到圖像間的變化關系。采用輪廓提取的方法，首先 對圖像進行卷積增強，檢測圖像中像素符號變化的點（過零點）作為邊界點，提取輪廓后 進行特征描述。米用SIFT (Scale Invariant and Feature Transform)，這種方法首先通過 建立拉普拉斯金字塔來消除尺度變化的影響，然后在尺度空間內進行特征檢測，并根據關 鍵點鄰域的梯度方向確定特征點的方向，進而解決尺度及旋轉問題。對于基于特征點的圖 像拼接算法，對拼接質量及速度影響最大的主要在與特征選取，隨后出現的SURF特征、0RB 特征等都在保證一定質量的情況下更加側重速度的提升。
[0005] 目前視頻圖像拼接普遍依賴于無人機遙測數據的解析，例如經緯度、高度、速度、 俯仰、橫滾等信息，需要參考這些數據來執行圖像匹配操作，而實際飛行中遙測數據可能與 視頻不同步，或出現某些無人機遙測數據無法獲取的情況，導致傳統的視頻圖像拼接方法 無法實現真正的實時拼接。因此，現有技術在追求拼接精度時很難達到實時的效果，而在追 求實時的情況下對于上述復雜情況考慮不周全，難以兼顧精度和速度。
[0006] 以無人機領域為例，我國目前無人機應用發展迅速，無論是軍用還是民用領域，無 人機的行業應用日益擴展和深入發展，比如軍事目標搜尋、石油管道監測、電力巡線、林業 防火預警、農業調查等。在這些行業應用中，無人機作為一種遙感應用的延伸平臺，視頻數 據采集及視頻數據處理是遙感數據分析的基礎，而能夠得到實時拼接的視頻信息將非常有 助于數據實時分析。
[0007] 雖然技術人員已經從多種不同的方向對視頻圖像拼接技術進行了不同程度的改 進與優化，但是，目前的視頻圖像拼接方法仍然普遍存在如下問題：
[0008] 無人機在飛行過程中由于自身運動導致所拍攝的視頻圖像可能會出現平移、旋 轉、尺度變化等多種運動，所拍攝的視頻圖像的背景可能是海洋、草地、沙漠等特征非常不 明顯的區域，現有方法沒有充分考慮無人機獲取視頻數據過程中這種復雜狀況對后續拼接 所造成的影響，而且現有方法大多利用一種特征對無人機獲取的視頻圖像進行拼接，導致 在上述復雜條件下的拼接結果不夠理想。


【發明內容】

[0009] 有鑒于此，本發明實施例提供一種視頻圖像拼接方法及裝置，以實現對視頻幀進 行實時、準確、高效地拼接。
[0010] 本發明實施例采用以下技術方案：
[0011] 第一方面，本發明實施例提供了一種視頻圖像拼接方法，包括：
[0012] 獲取攝像機拍攝相鄰兩個視頻巾貞時的相對運動關系；
[0013] 根據所述相對運動關系對所述相鄰兩個視頻幀進行特征提取；
[0014] 根據所提取的特征對所述相鄰兩個視頻幀進行特征匹配；
[0015] 根據匹配結果對所述相鄰兩個視頻幀進行拼接與融合。
[0016] 第二方面，本發明實施例還提供了一種視頻圖像拼接裝置，包括：
[0017] 運動關系獲取單兀，用于獲取攝像機拍攝相鄰兩個視頻巾貞時的相對運動關系；
[0018] 特征提取單元，用于根據所述相對運動關系對所述相鄰兩個視頻幀進行特征提 取；
[0019] 特征匹配單元，用于根據所提取的特征對所述相鄰兩個視頻幀進行特征匹配；
[0020] 視頻幀拼接單元，用于根據匹配結果對所述相鄰兩個視頻幀進行拼接與融合。
[0021] 本發明實施例提出的技術方案的有益技術效果是：
[0022] 本發明實施例的技術方案通過獲取攝像機拍攝相鄰兩個視頻幀時的相對運動關 系，根據所述相對運動關系對所述相鄰兩個視頻幀進行特征提取和特征匹配，根據所述視 頻圖像特征匹配裝置獲取的匹配結果對所述相鄰兩個視頻幀進行拼接與融合能達到實時、 準確、高效。

【專利附圖】

【附圖說明】
[0023] 為了更清楚地說明本發明實施例中的技術方案，下面將對本發明實施例描述中所 需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施 例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據本發明實施 例的內容和這些附圖獲得其他的附圖。
[0024] 圖1是本發明具體實施例一所述的視頻圖像拼接方法流程圖；
[0025] 圖2是本發明具體實施例二所述的視頻圖像拼接方法流程圖；
[0026] 圖3是本發明具體實施例三所述的視頻圖像拼接方法流程圖；
[0027] 圖4是本發明具體實施例三中采用的FREAK算子的采樣結構示意圖；
[0028] 圖5是本發明具體實施例四所述的視頻圖像拼接裝置的結構框圖。

【具體實施方式】
[0029] 為使本發明解決的技術問題、采用的技術方案和達到的技術效果更加清楚，下面 將結合附圖對本發明實施例的技術方案作進一步的詳細描述，顯然，所描述的實施例僅僅 是本發明一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域技術人員在 沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
[0030] 下面結合附圖并通過【具體實施方式】來進一步說明本發明的技術方案。
[0031] 實施例一
[0032] 圖1是本實施例所述的視頻圖像拼接方法流程圖，本實施例可適用于對攝像機拍 攝相鄰兩個視頻幀進行圖像拼接的情況，該方法可以由視頻圖像拼接裝置來執行，如圖1 所示，本實施例所述的視頻圖像拼接方法包括：
[0033] 步驟S101、獲取攝像機拍攝相鄰兩個視頻巾貞時的相對運動關系。
[0034] 本實施例所稱的運動關系用于表征所述攝像機在拍攝所述相鄰兩個視頻幀的過 程中是否發生了較大的偏轉，簡而言之即所述攝像機在拍攝所述相鄰兩個視頻幀的過程中 是否進行了旋轉。
[0035] 獲取攝像機拍攝相鄰兩個視頻幀時的相對運動關系的方法包括多種，例如對所述 相鄰兩個視頻幀進行分析獲取攝像機拍攝所述相鄰兩個視頻幀時的相對運動關系，又如在 攝像機或攝像機所在的運動載體上安裝傳感器，根據所述傳感器獲取攝像機拍攝所述相鄰 兩個視頻巾貞時的相對運動關系。
[0036] 其中，對所述相鄰兩個視頻幀進行分析獲取攝像機拍攝所述相鄰兩個視頻幀時的 相對運動關系，還可進一步包括對所述相鄰兩個視頻幀進行運動估計分析獲取攝像機拍攝 所述相鄰兩個視頻幀時的相對運動關系。
[0037] 作為優選，所述運動估計的具體方法優選光流法，S卩，對所述相鄰兩個視頻幀進行 基于光流算法的運動估計分析，從而獲取攝像機拍攝所述相鄰兩個視頻幀時的相對運動關 系。
[0038] 當然，此處所使用的光流法僅僅是示例性的一種優選方法，本領域技術人員需要 明確的是，還可以采用其他運動估計方法來實現這一目的。
[0039] 步驟S102、根據所述相對運動關系對所述相鄰兩個視頻幀進行特征提取。
[0040] 獲取攝像機拍攝相鄰兩個視頻幀時的相對運動關系之后，可根據所述相對運動關 系選擇合適的特征提取方式（例如特征提取算法）。例如可預先對不同運動關系采用的特 征提取方式進行預先設定，以針對不同的運動關系選擇不同的特征提取方式，能增加視頻 圖像拼接的靈活性。
[0041] 進一步地，根據所述相對運動關系可以選擇對所述相鄰兩個視頻幀進行特征提取 的具體算法。
[0042] 例如，如果所述相對運動關系為旋轉關系，則使用SIFT特征提取算法對所述相鄰 兩個視頻幀進行特征提取；
[0043] 如果所述相對運動關系為平移關系，則使用FREAK特征提取算法對所述相鄰兩 個視頻幀進行特征提取。
[0044] 如果所述相對運動關系為旋轉關系，說明攝像機存在較大的偏轉，而SIFT特征提 取算法對于這種情況下所拍攝的圖像能夠提取到更好的特征，此時采用SIFT算法來處理 旋轉運動下的圖像具有較佳的特征提取效果。
[0045] 如果所述相對運動關系為平移關系，說明攝像機平穩運動而未發生較大的偏轉， 可以選擇例如SURF、0RB或FREAK等特征提取算法。需要說明的是，SURF、0RB和FREAK這 些特征提取算法處理速度較高，而根據實際應用的情況得知，相比于SURF、ORB算法，FREAK 算法具有更高的處理速度。因此，如果所述相對運動關系為平移關系，優選使用FREAK算法 來對所述相鄰兩個視頻幀進行特征提取。
[0046] 但是，本領域的技術人員需要明確的是，由于FREAK算法仍然存在一定的不足， 例如，FREAK算法必須提取出較大數目的特征才能保證后續特征匹配的準確性，也就是說， FREAK算法更加適用于處理特征數量比較大的情況，只有這樣才能在提高處理速度的同時 保證所提取特征具有較高的質量。而SIFT特征提取算法則比較適合特征數量比較少的情 況，如果特征數量較大，則SIFT算法的性能會急速下降。這兩種方法存在一種互補效應。
[0047] 因此，本實施例的技術方案還可設定一個閾值（以下稱為第一閾值），用于當相對 運動關系為平移關系時，首先使用FREAK特征提取算法對所述相鄰兩個視頻幀進行特征提 取，如果提取的特征數量小于預設第一閾值，再重新使用SIFT特征提取算法對所述相鄰兩 個視頻幀進行特征提取使用這種方式能對FREAK特征提取算法和SIFT特征提取算法進行 自適應選擇，能夠兼顧特征提取速度和特征提取效果兩個方面。
[0048] 步驟S103、根據所提取的特征對所述相鄰兩個視頻幀進行特征匹配。
[0049] 步驟S104、根據所述視頻圖像特征匹配裝置獲取的匹配結果對所述相鄰兩個視頻 幀進行拼接與融合。
[0050] 本實施例的技術方案通過獲取攝像機拍攝相鄰兩個視頻幀時的相對運動關系，根 據所述相對運動關系對所述相鄰兩個視頻幀進行特征提取和特征匹配，能夠使視頻圖像拼 接的效率更高。
[0051] 實施例二
[0052] 圖2是本實施例所述的視頻圖像拼接方法流程圖，如圖2所示，本實施例所述的視 頻圖像拼接方法包括：
[0053] 步驟S201、讀取當前視頻中貞。
[0054] 步驟S202、獲取當前視頻幀與上一幀之間的相對運動關系。
[0055] 作為優選，可將攝像機在拍攝兩幀視頻幀之間的相對運動關系主要劃分為旋轉關 系和平移關系。旋轉和平移是最基本的兩種運動方式，其他復雜的復合運動方式大都可分 解成這兩種運動。由于攝像機不同的運動方式會導致所拍攝的視頻幀相應地具有不同的特 點，為了從所拍攝到的視頻幀中提取到能更好地表示其特點的特征，本實施例優選為，根據 前視頻幀與上一幀之間的相對運動關系針對性地采用不同的特征提取算法，以從攝像機所 拍攝到的視頻幀中高效地提取更有代表性的特征。
[0056] 步驟S203、判斷相對運動關系是否是平移關系，若是則執行操作S204,否則執行 操作S207。
[0057] 步驟S204、進行匹配區域計算。
[0058] 本實施例中，本操作為非必要操作，用于去除掉一些沒用的區域對。例如通過 BRISK描述子中引進的空間距離策略去除一些沒用的區域。
[0059] 步驟S205、進行FREAK特征提取。
[0060] 通過FREAK算法提取所述當前視頻幀與所述當前視頻幀的上一視頻幀（鄰兩個視 頻幀）進行特征提取。
[0061] 步驟S206、判斷特征量是否小于預設第一閾值，若是則執行操作S207,否則執行 操作S208。
[0062] 所述預設第一閾值可基于所述攝像機的分辨率來確定，所述預設第一閾值優選為 不小于90且不大于110。
[0063] 例如，在攝像機所拍攝的圖像為標清圖像（即分辨率為768*576)的情況下，可以 將所述第一閾值的取值范圍設為不小于90且不大于110,例如取值100。可通過實驗來確 定比較合適的實際取值。
[0064] 步驟S207、進行SIFT特征提取。
[0065] 通過FREAK算法提取所述當前視頻幀與所述當前視頻幀的上一視頻幀（鄰兩個視 頻幀）進行特征提取。
[0066] 步驟S208、進行特征匹配。
[0067] 步驟S209、進行視頻幀拼接與融合，結束。
[0068] 本實施例的技術方案通過設定預設第一閾值，用于當相對運動關系為平移關系 時，首先使用FREAK特征提取算法進行特征提取，如果提取的特征數量小于所述預設第一 閾值，則重新使用SIFT特征提取算法對所述相鄰兩個視頻幀進行特征提取。通過對FREAK 特征提取算法和SIFT特征提取算法進行自適應選擇，能夠兼顧特征提取速度和特征提取 效果兩個方面。
[0069] 實施例三
[0070] 本實施例以無人機對地觀測數據經過鏈路傳至地面控制站，經過基于視頻內容的 運動估計與圖像特征提取，根據匹配策略對當前幀與保存幀進行特征匹配為例，公開了一 種無人機對地觀測數據視頻圖像拼接方法，圖3是本實施例的述的方法的流程圖，過程如 下：
[0071] 步驟S301、將無人機視頻信息通過通信鏈路傳輸到地面控制站。
[0072] 本操作中，所述視頻信息即為包括多個視頻幀的視頻流。目前一般民用無人機本 地的計算能力有限，可在地面控制站進行實時處理。
[0073] 步驟S302、對第一個視頻幀進行定位和初始化。
[0074] 視頻的第一個視頻幀到來時，可定義為初始幀，將該視頻幀初始化到地理信息基 準的原點上，作為緩存幀。
[0075] 步驟S303、犾取攝像機拍攝相鄰兩個視頻巾貞時的相對運動關系。
[0076] 根據相鄰兩個視頻幀對攝像機進行運動估計。需要說明的是，此時攝像機與無人 機同步運動，對攝像機進行運動估計亦即是對無人機進行運動估計。如果不是傳輸得到的 第一幀視頻幀，那么以該視頻幀之前的視頻幀為基準視頻幀，根據該視頻幀之前的視頻幀 以及該視頻幀的圖像信息，運用基于局部-全局混合的光流算法來獲取攝像機（亦即無人 機）在由拍攝當前視頻幀之前到拍攝該當前視頻幀時
[0077] 的運動狀態是否存在較大的偏轉，即拍攝這兩個視頻幀時的相對運動關系），例如 獲取拍攝這兩幀之間的偏轉角度。
[0078] 將該視頻幀的圖像信息作為待匹配緩存圖像。
[0079] 步驟S304、進行特征點提取。
[0080] 若相對運動關系的結果表明無人機存在較大的偏轉則對基準視頻幀以及當前幀 的圖像進行SIFT特征點的提取，若運動估計結果表明無人機不存在較大的偏轉，則對當前 幀的圖像提取進行FREAK特征點的提取和描述子的提取。可設定一個閾值（以下稱為第一 閾值），獲取的特征數目為N，若N大于所述第一閾值則對基準視頻幀以及當前視頻幀的圖 像進行SIFT特征點的提取。
[0081] FREAK特征點及描述子提取方法：
[0082] (1)關鍵點檢測子：
[0083] 這里采用BRISK中提出的多尺度AGAST檢測子。
[0084] 本發明中采用的是BRISK檢測算法中提出的多尺度AGAST檢測子，具體過程如 下；
[0085] 1)進行尺度空間金字塔結構的構造。
[0086] 和SIFT算法類似，尺度空間金字塔是由不同的尺度構成，相互連續的兩個尺度之 間由 OCTAVE (Operationally Critical Treat, Asset, and Vulnerability Evaluation,可 操作的關鍵威脅、資產和薄弱點評估）構成。
[0087] 2)通過閾值選取合適的關鍵點。
[0088] 3)去除不符合條件的關鍵點。
[0089] (2)二進制描述子的構建：
[0090] 圖4是采用的FREAK算子的采樣結構示意圖，FREAK特征采樣模式類似視網膜神 經細胞接受區域的分布，每個圓圈代表一個可接受區域，通過如圖4所示的幾十個可接受 區域，得到上千對區域對就可以構建一個高維描述子。通過BRISK描述子中引進的空間距 離策略去除一些沒用的區域對。通過這種方法得到的區域對可能高相關缺少區分度。這里 采用0RB中描述的方法，通過訓練數據去獲取最好的區域對，具體方法如下所示：
[0091] a.將提取的關鍵點用來建立矩陣。每行對應一個關鍵點，描述子是通過在圖2中 的視網膜的采樣模式中選取所有可能的采樣對。
[0092] b.計算每列的均值。變化程度較大的特征有認為是有區分度的特征，變化最大的 二進制分布均值為0.5。
[0093] c.根據變化量對列進行排序。
[0094] d.保留最好的列（例如均值0. 5)，將選擇的列反復的加在剩下的低相關的列上。
[0095] 在得到的最佳接收區域對的基礎上，通過閾值化接收區域對應的高斯核得到二進 制描述子F :
[0096]

【權利要求】
1. 一種視頻圖像拼接方法，其特征在于，包括： 獲取攝像機拍攝相鄰兩個視頻巾貞時的相對運動關系； 根據所述相對運動關系對所述相鄰兩個視頻幀進行特征提取； 根據所提取的特征對所述相鄰兩個視頻幀進行特征匹配； 根據匹配結果對所述相鄰兩個視頻幀進行拼接與融合。
2. 如權利要求1所述的方法，其特征在于，獲取攝像機拍攝相鄰兩個視頻幀時的相對 運動關系的操作包括：對所述相鄰兩個視頻幀進行運動估計分析獲取攝像機拍攝所述相鄰 兩個視頻巾貞時的相對運動關系。
3. 如權利要求2所述的方法，其特征在于，對所述相鄰兩個視頻幀進行運動估計分析 獲取攝像機拍攝所述相鄰兩個視頻幀時的相對運動關系的操作包括：對所述相鄰兩個視頻 幀進行基于光流算法的運動估計分析獲取攝像機拍攝所述相鄰兩個視頻幀時的相對運動 關系。
4. 如權利要求1所述的方法，其特征在于，所述相對運動關系包括旋轉關系和平移關 系。
5. 如權利要求4所述的方法，其特征在于，根據所述相對運動關系對所述相鄰兩個視 頻幀進行特征提取的操作具體包括： 如果所述相對運動關系為旋轉關系，則使用SIFT特征提取算法對所述相鄰兩個視頻 幀進行特征提取；和/或 如果所述相對運動關系為平移關系，則使用FREAK特征提取算法對所述相鄰兩個視頻 幀進行特征提取。
6. 如權利要求4所述的方法，其特征在于，根據所述相對運動關系對所述相鄰兩個視 頻幀進行特征提取的操作具體包括： 如果所述相對運動關系為平移關系，則使用FREAK特征提取算法對所述相鄰兩個視頻 幀進行特征提取，如果提取的特征數量小于預設第一閾值，則重新使用SIFT特征提取算法 對所述相鄰兩個視頻幀進行特征提取。
7. 如權利要求6所述的方法，其特征在于，所述預設第一閾值基于所述攝像機的分辨 率來確定。
8. 如權利要求6或7所述的方法，其特征在于，所述預設第一閾值不小于90且不大于 110。
9. 一種視頻圖像拼接裝置，其特征在于，包括： 運動關系獲取單兀，用于獲取攝像機拍攝相鄰兩個視頻巾貞時的相對運動關系； 特征提取單元，用于根據所述相對運動關系對所述相鄰兩個視頻幀進行特征提取； 特征匹配單元，用于根據所提取的特征對所述相鄰兩個視頻幀進行特征匹配； 視頻幀拼接單元，用于根據匹配結果對所述相鄰兩個視頻幀進行拼接與融合。
10. 如權利要求9所述的裝置，其特征在于，所述運動關系獲取單元用于：對所述相鄰 兩個視頻幀進行運動估計分析獲取攝像機拍攝所述相鄰兩個視頻幀時的相對運動關系。
11. 如權利要求10所述的裝置，其特征在于，所述運動關系獲取單元用于：對所述相鄰 兩個視頻幀進行基于光流算法的運動估計分析獲取攝像機拍攝所述相鄰兩個視頻幀時的 相對運動關系。
12. 如權利要求9所述的裝置，其特征在于，所述相對運動關系包括旋轉關系和平移關 系。
13. 如權利要求12所述的裝置，其特征在于，所述特征提取單元用于： 如果所述相對運動關系為旋轉關系，則使用SIFT特征提取算法對所述相鄰兩個視頻 幀進行特征提取；和/或 如果所述相對運動關系為平移關系，則使用FREAK特征提取算法對所述相鄰兩個視頻 幀進行特征提取。
14. 如權利要求12所述的裝置，其特征在于，所述特征提取單元用于： 如果所述相對運動關系為平移關系，則使用FREAK特征提取算法對所述相鄰兩個視頻 幀進行特征提取，如果提取的特征數量小于預設第一閾值，則重新使用SIFT特征提取算法 對所述相鄰兩個視頻幀進行特征提取。
15. 如權利要求14所述的裝置，其特征在于，所述預設第一閾值基于所述攝像機的分 辨率來確定；或 所述預設第一閾值不小于90且不大于110。
【文檔編號】G06T5/50GK104301630SQ201410458065
【公開日】2015年1月21日 申請日期:2014年9月10日 優先權日:2014年9月10日
【發明者】趙恩偉, 王詩奎, 伍小潔, 楊鶴猛, 李成龍, 張增, 王森, 張娟, 劉金玉 申請人:天津航天中為數據系統科技有限公司