本發明涉及圖像處理技術領域，尤其涉及一種陣列圖像的校準方法。

背景技術：

隨著手機攝像攝影的日益普及和人們對手機攝像的越來越高的要求，目前一些手機制造廠商嘗試用微陣列相機模組代替目前的單鏡頭和單焦距相機。然而這種陣列式相機由于位置不同得到的陣列圖像之間肯定有位移，這種位置差異將導致圖像間有視差，即場景中有的相機能拍到，有的相機由于位置差異可能出現遮擋拍攝不到，但在實現圖像超分辨率重建，或者高速攝像，對象置換等功能時需要實現圖像的校準。因此如何實現陣列圖像的精確校準，使陣列圖像統一到同一視角下是陣列相機模組需要解決的關鍵問題之一。

現有技術一般都是利用特征，灰度值，互信息等或者是此原有基礎上改進的方法對圖像進行校準，然而這些校準方法陣列圖像的視差無法完全消除，尤其是邊緣部分，即利用一個校準矩陣無法實現陣列圖像的精確校準。

為此，亟需一種對于邊緣或其它提取不到特征點的部分也能精確識別的圖像校準方法。

技術實現要素：

為了解決上述技術問題，本發明提出了一種陣列圖像的校準方法，相對于以前的其他校準方法，本方法無需進行相機標定，校準過程每一小塊對應一個校準矩陣，不僅對于提取到特征點的部分有較好的校準效果，對于邊緣或其它提取不到特征點的部分也有很好的校準效果。

本發明的技術方案是這樣實現的：

一種陣列圖像的校準方法，包括如下步驟：

步驟1，提取特征點完成圖像匹配：從陣列相機模組獲得陣列圖像，檢測陣列圖像中各圖像的多尺度特征，以中心圖像為參考圖像，提取并完成陣列圖像與參考圖像的特征點匹配；

步驟2，剔除誤匹配點：根據ransac算法剔除匹配過程中的誤匹配點，選取各圖像對中特征點均勻分布的匹配點對；

步驟3，完成圖像對間的整體校準：根據得到的匹配點對信息求得陣列圖像到中心圖像的校準矩陣，根據校準矩陣進行投影變換實現整體校準過程；

步驟4，對完成整體校準的圖像對分塊校準：對整體校準后的各圖像對進行分塊，且至少分兩次大小不同的小塊，分塊之后同樣采用多尺度特征的方法對各小塊進行校準，如果校準之后的相似度達不到要求，則采用基于灰度的校準方法對各小塊進行校準，如果仍然達不到要求則對此塊進行重新分塊，直到相似度達到要求，完成分塊校準過程；

步驟5，對兩次分塊校準的結果進行無縫拼接得到校準結果：根據步驟4所得兩次分塊校準結果，將小塊與小塊進行無縫拼接得到最終陣列圖像的校準結果。

進一步的，步驟1中檢測各個陣列圖像的多尺度特征，匹配陣列圖像與參考圖像的特征點的具體步驟如下：

a)構建陣列圖像的多尺度空間，利用高斯平滑函數與原圖像灰度進行卷積形成圖像金字塔，圖像金字塔最底層為圖像金字塔更高層為其中gδ(x，y)表示標準差為δ的平滑窗口，l為圖像金字塔層數；

b)特征點檢測，在l層，檢測矩陣為利用此矩陣的特征值λ1、λ2的平均檢測函數檢測特征點，為了加快速度和使得特征點分布均勻，在不同尺度金字塔圖像的一定半徑內選取fhm的局部極值；

c)利用sift特征計算特征點方向，l層特征點鄰域(x，y)的方向為

d)特征點匹配，利用近鄰法對兩圖像間提取的特征點進行匹配。

進一步的，步驟3中根據得到的匹配點對信息求得陣列圖像到參考圖像的校準矩陣，對校準矩陣進行投影變換實現校準過程的具體步驟如下：

a)根據步驟2中得到的匹配點對信息，求得相應圖像到中心圖像的校準矩陣h，其中包含有圖像的平移、旋轉、縮放；

b)根據jp為校準后圖像，j為相應圖像，得到整體校準結果。

進一步的，步驟4中對整體校準后的圖像對進行分塊校準，其具體步驟如下：

a)將陣列圖像中各圖像對分成小塊，以中心圖像的各小塊為參考圖像塊對陣列圖像的各小塊分別進行步驟1至3的校準，校準之后計算校準后的小塊與參考圖像塊的相似度值s，即其中為亮度相似度，為對比度相似度，s(i，j)為結構相似度，其中分別表示圖像的均值，分別表示圖像i，j的方差，σij表示圖像i，j的協方差；

b)得到的相似度值s與設定的閾值相比較，如果小于該閾值則利用基于灰度的校準方法對該小塊重新校準，校準之后再計算校準后的小塊與參考圖像塊的相似度大小，看是否達到設定閾值，如果仍然達不到設定閾值，則對此塊進行重新分塊，再進行校準，直到相似度值達到設定閾值；如果重新分塊仍然達不到要求，則選取相似度最大的相應的圖像塊；

c)將陣列圖像中各圖像對再次均分成大小的小塊，重復步驟a)和步驟b)對小塊進行校準，得到兩個大小不同的校準后的圖像塊。

進一步的，步驟5對兩次分塊校準后的結果進行無縫拼接得到校準結果，其具體步驟如下：

a)將第一次分塊校準之后的圖像塊，按原順序排列得到初始校準后的陣列圖像；

b)初始校準后的陣列圖像在校準過程的圖像塊平移、旋轉、縮放會出現裂縫，利用第二次分塊校準后的圖像塊對這些裂縫進行填充得到無裂縫的最終校準結果。

本發明與已有技術比較具有以下突出特點和顯著優點：

現有技術一般都是利用特征，灰度值，互信息等或者是一些在原有基礎上改進的方法對圖像進行校準，這些校準方法無法消除陣列圖像的視差，尤其是邊緣部分，即利用一個校準矩陣無法實現陣列圖像的校準；而本方法首先以中心圖像為參考圖像，利用多尺度特征對陣列圖像進行匹配，接著引入ransac提高匹配精度進行整體校準。然后，仍以中心圖像為參考圖像，利用數學極限原理，進行分塊校準，塊足夠小則可消除陣列圖像由于位置關系不同引起的視差。分塊校準過程中至少進行兩次分塊，且塊的大小不同，目的是分塊后能達到無縫拼接。分塊校準首先也采用多尺度特征，計算校準之后的兩圖像塊的結構相似度，如果相似度值小于設定閾值則采用基于灰度的校準方法，如果相似度值仍然小于閾值則改變圖像塊的大小，直到相似度達到要求，完成校準過程。最后根據兩次分塊校準結果完成無縫拼接，將陣列相機模組統一到中心相機視角下。本方法無需進行相機標定，校準過程每一小塊對應一個校準矩陣,不僅對于提取到特征點的部分有較好的校準效果，對于邊界或其它提取不到特征點的部分也有很好的校準效果。

附圖說明

圖1為本發明陣列圖像的校準方法的整體流程圖；

圖2為圖1中分塊校準的流程圖；

圖3為陣列相機模組排列方式示例；

圖4為由陣列相機模組得到的圖像示例；

圖5為原始陣列圖像與中心圖像疊加結果；

圖6為整體校準后陣列圖像與中心圖像疊加結果；

圖7為分塊校準后陣列圖像與中心圖像疊加結果。

具體實施方式

為了能夠更清楚地理解本發明的技術內容，特舉以下實施例詳細說明，其目的僅在于更好理解本發明的內容而非限制本發明的保護范圍。

陣列相機模組所得陣列圖像的校準方法具體步驟如圖1流程圖所示。在計算機平臺編程實現本發明的方法，實現陣列相機模組的自然場景圖像校準；參見圖1，本發明陣列圖像的校準方法為：首先，針對陣列相機模組采集得到的陣列圖像提取特征點，并以中心圖像為參考圖像進行匹配，根據匹配結果得到其它圖像到中心圖像的校準矩陣，根據校準矩陣對相應圖像進行投影變換實現校準過程。仍然以中心圖像為參考圖像，對得到的校準結果進行分塊校準，計算校準之后圖像塊之間的相似度，如果相似度值小于設定閾值則采用基于灰度的校準方法，如果相似度值仍然小于閾值則改變圖像塊的大小，直到相似度達到要求，完成的最終校準過程。具體操作步驟為：

步驟1，以中心圖像為參考圖像提取并完成各陣列圖像與中心圖像匹配：檢測各個陣列圖像的多尺度特征，匹配各陣列圖像與中心圖像的特征點；

步驟2，剔除誤匹配點：根據ransac算法剔除匹配過程中的誤匹配點，選取各圖像對中適量的均勻分布的匹配點對；

步驟3，完成圖像對間的整體校準：根據得到的匹配點對信息求得陣列圖像到中心圖像的校準矩陣，根據校準矩陣進行投影變換實現校準過程；

步驟4，對完成整體校準的圖像對分塊校準：對整體校準后的各圖像對進行分塊，且至少分兩次大小不同的小塊，分塊之后同樣采用多尺度特征的方法對各小塊進行校準，如果校準之后的相似度達不到要求，則采用基于灰度的校準方法對各小塊進行校準，如果仍然達不到要求則對此塊進行重新分塊，直到相似度達到要求，完成分塊校準過程；

步驟5，對兩次分塊結果進行無縫拼接完成最終結果：根據步驟4)所得兩次分塊校準結果，將塊與塊進行無縫拼接得到最終陣列圖像的校準結果。

優選的，步驟1中檢測各個陣列圖像的多尺度特征，匹配陣列圖像與參考圖像的特征點的具體步驟如下：

a)、構建陣列圖像的多尺度空間，利用高斯平滑函數與原圖像灰度圖像進行卷積形成圖像金字塔。金字塔最底層為更高層金字塔表示為其中gδ(x，y)表示標準差為δ的平滑窗口，l為金字塔層數；

b)、特征點檢測，在l層，檢測矩陣為利用此矩陣的特征值λ1、λ2的平均檢測函數檢測特征點，為了加快速度和使得特征點分布均勻，在不同尺度金字塔圖像的一定半徑內選取fhm的局部極值；

c)、利用sift特征計算特征點方向，l層特征點鄰域(x，y)的方向為

d)、特征點匹配，利用近鄰法對兩圖像間提取的特征點進行匹配。

優選的，步驟3中根據得到的匹配點對信息求得陣列圖像到參考圖像的校準矩陣，對校準矩陣進行投影變換實現校準過程的具體步驟如下：

a)、根據上述步驟2中得到的匹配點對信息，求得相應陣列圖像到參考圖像的校準矩陣h，其中包含有圖像的平移，旋轉，縮放；

b)、根據jp為校準后圖像，j為相應陣列圖像，得到整體校準結果。

優選的，參見圖2，步驟4中對整體校準后的圖像對進行分塊校準，其具體步驟如下：

a)、將陣列圖像分成小塊，仍然以中心圖像為參考對這些小塊分別進行上述步驟的校準，校準之后計算校準后的塊與參考圖像塊的相似度值，即其中為亮度相似度，為對比度相似度，s(i，j)為結構相似度，其中分別表示圖像的均值，分別表示圖像的方差，表示圖像的協方差；

b)、得到的相似度值s與設定的閾值相比較，如果小于該閾值則利用基于灰度的配準對該塊重新校準，校準之后再計算校準后的塊與參考塊的相似度大小看是否達到設定閾值，如果仍然達不到設定閾值則改變塊的大小，再進行校準，直到相似度值達到設定閾值，如果仍然達不到要求，則選取相似度最大的相應的圖像塊；

c)、為防止圖像塊校準過程中平移，旋轉，縮放，后期拼接過程會有裂縫，將陣列圖像再次分成大小的塊，重復上述步驟對圖像塊進行校準，得到兩個大小不同的校準圖像塊。

優選的，步驟5對兩次分塊校準后的結果進行無縫拼接得到校準結果，其具體步驟如下：

a)、將第一次分塊校準之后的圖像塊，按原順序排列得到初始的校準后的陣列圖像；

b)、初始校準后的陣列圖像在校準過程的圖像塊平移，旋轉，縮放則會出現裂縫，利用第二次分塊校準后的圖像塊對這些裂縫進行填充得到無裂縫的最終校準結果。

圖3為陣列相機模組排列方式的一種示例；圖4為圖3中示例的陣列相機模組得到的圖像示例；圖5為原始陣列圖像與中心圖像疊加的結果，圖6為陣列圖像與中心圖像整體校準后疊加的結果，圖7為陣列圖像與中心圖像分塊校準后疊加的結果，由圖6可以看出陣列圖像與中心圖像整體校準之后中心位置校準效果較好，由于陣列相機模組位置引起的視差導致邊緣部分效果較差，參見圖6中畫圈部分，證明了一個校準矩陣無法實現陣列圖像的校準，由圖7可以看出分塊校準后陣列圖像整體校準效果良好，每一小塊對應自己的校準矩陣消除了邊緣部分由于位置引起的視差，參見圖7中畫圈部分，因此驗證了本發明的有效性和實用性。

以上實施例是參照附圖，對本發明的優選實施例進行詳細說明。本領域的技術人員通過對上述實施例進行各種形式上的修改或變更，但不背離本發明的實質的情況下，都落在本發明的保護范圍之內。