本發明屬于圖像處理技術領域，具體涉及一種多特征融合的圖像匹配方法。

背景技術：

圖像匹配是圖像處理和計算機視覺行業中常見的技術，該技術經常應用于圖像的拼接、目標的跟蹤，以及圖像識別領域。

常規的圖像匹配方法，主要分成兩大類——基于興趣點的局部匹配，以及基于圖像塊的相似性計算。這兩類方法，要么對坐標點的位置偏移比較敏感，要么計算量過大，匹配過程耗時嚴重。

技術實現要素：

本發明針對現有技術的缺陷和不足，提出一種多特征融合的圖像匹配方法。

本發明采用的技術方案如下：

一種多特征融合的圖像匹配方法，其特征在于，包括以下步驟：

1)、確定匹配特征，對目標圖像進行處理獲取匹配特征，所述的匹配特征包括興趣點特征、邊緣特征、區域特征以及hog特征；

具體如下：

(1)、興趣點檢測處理：使的susan算子檢測目標圖像興趣點，對興趣點進行篩選，使得與模板圖尺寸相同的范圍內，興趣點數目在30個左右，獲得用于匹配的興趣點；

(2)、邊緣提取處理：對目標圖像利用canny邊緣檢測算法，提取其中的邊緣，并且對距離較近的斷裂邊緣進行拼接，形成更長的邊緣，同時將t字形邊緣和十字形邊緣打斷成邊緣子線段，獲得待匹配邊緣；

(3)、區域提取處理：采用mser算法提取目標圖像中的穩定一致性區域，然后將這些區域都存下來，獲得用于后續的匹配的穩定性區域；

(4)、hog積分圖計算：計算目標圖像的梯度圖，然后計算每一個像素位置的梯度方向，設置梯度方向直方圖中的角度種類數為9，根據每個像素的梯度方向所屬的角度種類，計算其對應的梯度方向積分圖，獲得hog積分圖；

2)、借助目標圖像和模板圖像的hog特征的初步對比，確定模板圖像和目標圖像不同位置的相似程度，根據相似程度排序選定模板圖像上匹配目標圖像的多個位置區域作為精確搜索候選區域；

具體如下：

(1)、提取模板圖像圖像的hog特征，得到模板圖像總特征：將模板圖像分成3*3個子方格，計算每個子方格內的梯度方向直方圖，然后將所有方格內的特征進行拼接，得到模板圖像總特征；特征的維度是3*3*9＝81.

(2)、在當前圖像上設定步長間隔為20，每隔20個像素選定一個圖像子塊，每個像素間隔點叫粗定位點，將模板圖像總特征和每個粗定位點的當前圖像子塊的hog特征進行相似性計算；具體為：計算當前圖像每個粗定位點處的圖像子塊的hog特征，與模板圖進行比較，通過當前位置的hog特征和與模板圖特征的歐式距離判定對當前圖像中不同粗定位點區域和模板圖的相似度，歐式距離越小，則相似度越高；

(3)、對當前圖像中不同粗定位點區域和模板圖的相似度從高到低進行排序，選擇相似度高的粗定位點位置區域作為后續精確搜索匹配用的候選位置區域，這里選擇5個。

3)、在目標圖像的每個候選位置區域內進行目標圖像和模板圖像的興趣點、邊緣、區域匹配，并記錄目標圖像上每個興趣點、邊緣、區域和模板圖像的匹配相似度；

在每個候選位置區域內精確設定搜索范圍，具體以粗定位點為中心，向四周各擴展50個像素，作為搜索范圍，然后以該范圍內的每一個像素點作為中心，依次進行興趣點匹配、邊緣匹配、區域匹配實現模板圖像上目標圖像最佳匹配位置的精細搜索；

(1)所述興趣點匹配過程如下：

(a)在興趣點周邊9*9的方格內，計算方塊lbp特征；

(b)在目標圖像中的當前像素位置，遍歷模板圖中的每一個興趣點；具體為針對模板興趣點，在當前像素位置周邊5個像素范圍內，搜索是否存在目標興趣點；如果存在，則找到匹配度最高的那一個點；記錄下該點的相似度和到粗定位點的歐式距離；

(c)若當前像素位置不存在能夠匹配的模板興趣點的興趣點，則進行特殊標記；

(d)遍歷過程中降低重復匹配：由于在初定位位置的周邊，進行的是逐像素的相似度計算，因此在搜索興趣點匹配對時，存在重復計算；用如下方法去除重復計算：模板圖中每一個進行過匹配的興趣點對，都需要記錄下其匹配的相似度和彼此的位置；在下一個像素位置在進行配對時，先檢查該目標興趣點，是否在上一個像素點位置已經計算過，就可以去除重復計算；

(2)所述邊緣的匹配過程如下：

根據邊緣的形狀，以及邊緣兩側的圖像內容衡量邊緣之間的相似性，具體過程如下：

(a)目標圖像塊邊緣子線段的更新：雖然目標圖中的邊緣，已經利用canny算子提前計算好，并且已經將子線段拆分，但是在匹配過程中，還需要根據模板圖矩形框的當前位置，對各區域位置和范圍進行重新計算；

(b)邊緣子線段形狀相似度計算：在子線段上，計算所有邊緣點位置的曲率,將曲率較大的點作為關鍵點，通過縮放、平移、旋轉三個步驟，將首尾兩個關鍵點的位置重合之后，就計算其余的每一對關鍵點之前的歐式距離，將平均歐式距離作為對形狀相似度的衡量；

(c)邊緣子線段兩側內容的提取及相似度計算：在每個關鍵點的兩側，各選取一個9*9大小的矩形框，兩個矩形框的中心的連線，經過關鍵點，并且與輪廓垂直。提取矩形框內的hog特征；在計算相似度時，分別計算每一個對應位置的矩形框的hog特征的歐式距離，將其作為對內容相似度的衡量；

(d)子線段距離的計算：子線段之間的距離，就是兩個子線段的重心之間的歐式距離；

(3)所述區域匹配過程如下：

通過色彩直方圖、外部輪廓、重疊程度等三個方面進行區域之間的相似度的計算和匹配，具體過程如下：

(a)根據模板圖對應的矩形框位置，對目標圖的區域進行位置和范圍更新；雖然目標圖中的區域，已經利用mser算子提前計算好，但是在匹配過程中，還需要根據模板圖矩形框的當前位置，對各區域位置和范圍進行重新計算；

(b)提取目標圖各區域的色彩直方圖；

(c)更新目標圖各區域的輪廓；

(d)計算色彩相似度；

計算模板圖中各區域的色彩直方圖，與目標圖色彩直方圖之間的歐式距離。利用該歐式距離來衡量相似度；

(e)計算形狀相似度；

形狀相似度通過區域的外部輪廓來進行比較。將兩個輪廓的重心進行重合，然后計算關鍵輪廓點之間的距離。計算平均距離，用來衡量相似度的大小；

(f)計算重疊面積；

相似度的另一個衡量準則，是兩個區域之間的重疊面積，相對于二者合并面積的比值，比值越大，相似度越高；

(g)總的區域相似度以及距離計算

區域相似度由色彩相似度、形狀相似度、重疊度三個部分相加得到；模板區域與目標區域的距離，就是它們的重心的歐式距離；

4)、將步驟3)得到的模板圖像上每個候選區域內的不同位置的每個興趣點、邊緣、區域和目標圖像的匹配相似度進行融合，得到模板圖像不同位置和目標圖像的總相似度；具體為每一個特征為fi，它對應的相似度為si，其距離為di，則最終的總的相似度s按照下式進行計算：

s＝sum(si/di)

5)、根據總相似度，確定模板圖像和目標圖像匹配最佳位置：在5個候選區域內，找到相似度最高的位置，作為最終的匹配位置，至此，基于多特征綜合的圖像匹配完成。

本發明通過多特征融合的計算圖像相似度，實現圖像匹配，不僅能夠發揮局部特征描述精準的優勢，同時又解決了對空間位置偏移敏感的缺陷。同時，由于避免了全圖所有像素匹配時密集計算，算法的速度完全可以滿足實時要求。

附圖說明

圖1是本發明流程圖。

圖2是本發明區域匹配流程圖

具體實施方式

如圖1所示的多特征融合的圖像匹配方法，其特征在于，包括以下步驟：

1)、目標圖像特征準備：考慮到目標圖像和模板圖像進行匹配實，要用到一些特征，本發明中，采用興趣點、邊緣、區域以及hog特征四個特征，所以先對目標圖像進行興趣點檢測、邊緣提取、區域提取處理以及目標圖像的梯度方向積分圖的計算完成目標圖像特征準備，獲得興趣點、邊緣、穩定區域以及目標圖hog積分圖作為待匹配特征，具體如下：

(1)、興趣點檢測處理：使的susan算子檢測目標圖像興趣點，采用susan算子可以得到精度較高的興趣點，然后對興趣點進行篩選，使得與模板圖尺寸相同的范圍內，興趣點數目在30個左右，獲得用于匹配的興趣點，滿足匹配的需求；

(2)、邊緣提取處理：對目標圖像利用canny邊緣檢測算法，提取其中的邊緣，并且對距離較近的斷裂邊緣進行拼接，形成更長的邊緣，同時將t字形邊緣和十字形邊緣打斷成邊緣子線段，獲得待匹配邊緣；

(3)、區域提取處理：采用mser算法提取目標圖像中的穩定一致性區域，然后將這些區域都存下來，獲得用于后續的匹配的穩定性區域；

(4)、計算目標圖像的hog積分圖：先計算目標圖像的梯度圖，設置梯度方向直方圖中的角度種類數，然后計算每一個像素位置的梯度方向，獲得hog積分圖，具體操作時設置梯度方向直方圖中的角度種類數為9，根據每個像素的梯度方向所屬的角度種類，計算其對應的梯度方向積分圖，獲得hog積分圖；

2)、選定目標圖像子塊候選搜索區域的快速定位：結合hog將選定目標圖像子塊和模板圖像進行初步比較，確定選定目標圖像子塊和模板圖像的相似程度，根據相似程度進行排序確定模板圖像上作為選定目標圖像子塊位置精確搜索的候選搜索區域；具體如下：

(1)、提取模板圖像圖像的hog特征，得到模板圖像總特征：將模板圖像分成3*3個子方格，計算每個子方格內的梯度方向直方圖，然后將所有方格內的特征進行拼接，得到模板圖像總特征；特征的維度是3*3*9＝81.

(2)、在當前圖像上設定步長間隔為20，每隔20個像素選定一個圖像子塊，每個像素間隔點叫粗定位點，將模板圖像總特征和每個粗定位點的當前圖像子塊的hog特征進行相似性計算；具體為：計算當前圖像每個粗定位點處的圖像子塊的hog特征，與模板圖進行比較，通過當前位置的hog特征和與模板圖特征的歐式距離判定對當前圖像中不同粗定位點區域和模板圖的相似度，歐式距離越小，則相似度越高；

(3)、對當前圖像中不同粗定位點區域和模板圖的相似度從高到低進行排序，選擇相似度高的粗定位點位置區域作為后續精確搜索匹配用的候選位置區域，這里選擇5個。

3)、在步驟2)得到的所有候選搜索區域，針對每個像素點以及該像素點所在搜索范圍進行選定目標圖像子塊和候選搜索區域的興趣點匹配、邊緣匹配以及區域匹配，進行選定目標圖像子塊在模板圖像上的最佳匹配位置精細搜索，并確定選定目標圖像子塊與模板圖像上的最佳匹配位置像之間的興趣點、邊緣、區域的相似度和歐式距離；具體如下：

在步驟2)得到的5個相似度較高的候選精確搜索位置，設定搜索范圍(以粗定位點為中心，向四周各擴展50個像素，作為搜索范圍)，然后以該范圍內的每一個像素點作為中心，依次進行興趣點匹配、邊緣匹配、區域匹配實現選定目標圖像子塊最佳位置的精細搜索；

(1)所述興趣點匹配過程如下：

(a)在興趣點周邊9*9的方格內，計算方塊lbp特征；

(b)在目標圖像中的當前像素位置，遍歷模板圖中的每一個興趣點；具體為針對模板興趣點，在當前像素位置周邊5個像素范圍內，搜索是否存在目標興趣點；如果存在，則找到匹配度最高的那一個點；記錄下該點的相似度和到粗定位點的歐式距離；

(c)若當前像素位置不存在能夠匹配的模板興趣點的興趣點，則進行特殊標記；

(d)遍歷過程中降低重復匹配：由于在初定位位置的周邊，進行的是逐像素的相似度計算，因此在搜索興趣點匹配對時，存在重復計算；用如下方法去除重復計算：模板圖中每一個進行過匹配的興趣點對，都需要記錄下其匹配的相似度和彼此的位置；在下一個像素位置在進行配對時，先檢查該目標興趣點，是否在上一個像素點位置已經計算過，就可以去除重復計算；

(2)所述邊緣匹配過程如下：

根據邊緣的形狀，以及邊緣兩側的圖像內容衡量邊緣之間的相似性，具體過程如下：

(a)首先進行目標圖像塊邊緣子線段更新：雖然目標圖中的邊緣，已經利用canny算子提前計算好，并且已經將子線段拆分，但是在匹配過程中，還需要根據模板圖矩形框的當前位置，對各區域位置和范圍進行重新計算；

(b)邊緣子線段形狀相似度計算：在子線段上，計算所有邊緣點位置的曲率,將曲率較大的點作為關鍵點，通過縮放、平移、旋轉三個步驟，將首尾兩個關鍵點的位置重合之后，就計算其余的每一對關鍵點之前的歐式距離，將平均歐式距離作為對形狀相似度的衡量；

(c)邊緣子線段兩側內容的提取及相似度計算：在每個關鍵點的兩側，各選取一個9*9大小的矩形框，兩個矩形框的中心的連線，經過關鍵點，并且與輪廓垂直，提取矩形框內的hog特征；在計算相似度時，分別計算每一個對應位置的矩形框的hog特征的歐式距離，將其作為對內容相似度的衡量；

(d)子線段距離的計算：子線段之間的距離，就是兩個子線段的重心之間的歐式距離；

(3)所述區域匹配過程如下：

通過色彩直方圖、外部輪廓、重疊程度等三個方面進行區域之間的相似度的計算和匹配，具體過程如下：

(a)根據模板圖對應的矩形框位置，對目標圖的區域進行位置和范圍更新；雖然目標圖中的區域，盡管目標圖區域已經利用mser算子提前計算好，但是在匹配過程中，還需要根據模板圖矩形框的當前位置，對各區域位置和范圍進行重新計算；

(b)提取目標圖各區域的色彩直方圖；

(c)更新目標圖各區域的輪廓；

(d)計算色彩相似度：計算模板圖中各區域的色彩直方圖與目標圖色彩直方圖之間的歐式距離，利用該歐式距離來衡量相似度；

(e)計算形狀相似度：形狀相似度通過區域的外部輪廓來進行比較。將兩個輪廓的重心進行重合，然后計算關鍵輪廓點之間的距離，計算所有關鍵輪廓點之間距離的平均距離，用來衡量相似度的大小；

(f)計算重疊面積：相似度的另一個衡量準則，是兩個區域之間的重疊面積，相對于二者合并面積的比值，比值越大，相似度越高；

(g)總的區域相似度以及距離計算：區域相似度由色彩相似度、形狀相似度、重疊度三個部分相加得到；模板區域與目標區域的距離，就是它們的重心的歐式距離；

4)、將目標圖像的所有單獨特征與模板圖像相比得到的匹配相似度以及與模板圖像距離，進行多特征融合得到相似度，并選擇相似度最高的位置，作為最終匹配位置，具體如下：

將每一個興趣點，每一條邊緣，每一個區域，都當做一個單獨的特征，在得到目標圖像每一個單獨特征與模板圖像的匹配相似度，以及與模板圖像的距離之后，將其融合起來，得到總的相似度，具體如下：

假設每一個特征為fi，它對應的相似度為si，其距離為di，則最終的總的相似度s按照下式進行計算：

s＝sum(si/di)

在5個候選區域內，找到相似度最高的位置，作為最終的匹配位置，至此，基于多特征綜合的圖像匹配完成。

以上所述僅為本發明的優選實施例而已，并不用于限制本發明，盡管參照前述實施例對本發明進行了詳細的說明，對于本領域的技術人員來說，其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護范圍之內。