本發明屬于圖像處理技術領域，涉及一種視頻影像序列超分辨率重建方法，特別是涉及一種f-msa超分辨率重建方法。

背景技術：

超分辨率重建是指利用同一場景的低分辨率影像序列來重建出一幅高空間分辨率影像，該技術發展至今，其重建算法可分為頻域法和空域法。頻域方法主要包括解混疊重建方法、遞歸最小二乘法等；空域方法主要包括非均勻插值、迭代反投影、凸集投影、最大后驗概率估計法等。在這些方法中非均勻插值算法憑借其直觀復雜度低的優勢受到眾多研究學者青睞。目前，michaelelad提出的sa算法^[1]是目前為止能夠較好的解決超分辨重建問題的一種快速重建算法，而這個算法的實質衍生于非均勻插值思想。隨后，在sa算法的基礎上，sinafarsiu加入了崩潰點概念，提出了msa算法^[2]，該算法具有很強的魯棒性。但msa算法依然具有一定的缺陷。

上面提到的超分重建算法雖然都利用像素的近似選擇操作來簡化復雜的插值操作，極大的提高了運算效率；但是在處理過程中都存在近似，近似誤差使得重建后影像的邊緣存在明顯的鋸齒。除此以外，還存在下面兩點較大缺陷：

(1)低分辨率影像序列必須滿足一定平移關系。當低分辨率影像序列幀間平移關系不滿足理想條件時(如運動方向固定)，盡管參與重建的低分辨率影像幀數滿足充分條件也會出現低分辨率影像間互補信息缺失嚴重的情況，因而所得影像中只有少部分位置有像素值其余都是0值，出現了“黑色網格”現象，如附圖1所示。

(2)無法提供重建倍數為小數的重建結果。一般情況下衛星視頻序列影像間位移量很小，此時其互補信息不足以得到整數倍重建結果。此外，已有相關論文給出超分辨率重建的最優重建倍數結論，其指出在實際情況下超分辨率重建有效放大倍數的經驗值是1.6，而sa和msa算法都只給出了重建倍數為整數的重建方法，并未考慮非整數情況。

相關參考文獻如下：

[1]eladm,hel-ory,afastsuper-resolutionreconstructionalgorithmforpuretranslationalmotionandcommonspace-invariantblur[c]//electricalandelectronicengineersinisrael,2000.the21stieeeconventionofthe.ieee,2000:402-405.

[2]sinaf,mdirkr,michaele,etal.fastandrobustmultiframesuperresolution[j].ieeetransactionsonimageprocessingapublicationoftheieeesignalprocessingsociety,2004,13(10):1327-1344.

技術實現要素：

本發明在經典sa方法上，引入了msa算法魯棒性的思想，克服了經典sa和msa算法的缺陷，重建結果真實可靠。本發明算法在處理過程中沒有取整近似，因此低分辨率影像信息互補的精度更高，并且能夠提供小數倍的重建結果。

為了達到上述目的，本發明提供的技術方案是：一種f-msa超分辨率重建方法，其特征在于，包括如下步驟，

步驟s1，根據獲得的低分辨率影像序列，選擇參與重建的低分辨率影像的幀數，并建立低分辨率影像坐標系；

步驟s2，確定重建倍數，建立高分辨率影像坐標系，所述高分辨率影像坐標系與低分辨率影像坐標系的原點相同；

步驟s3，針對低分辨率影像，根據運動矩陣，將所有參與重建的低分辨率序列影像按照運動估計參數歸算到所述低分辨率影像坐標系，實現方式如下，

假設f1(i,j)代表第1幀影像，i、j代表低分辨率影像像素在低分辨率影像坐標系中的坐標，fk代表第k幀影像，則第k幀影像與第1幀影像的關系式為，

fk＝f1(i+d(k,1),j+d(k,2))(1≤i≤m,1≤j≤n)(1)

其中，k為參與重建的低分辨率影像的幀數，m、n是低分辨率影像的大小，d為運動矩陣；

步驟s4，根據重建倍數，將步驟3中所得的低分辨率影像轉換至高分辨率影像坐標系下，實現方式如下，

若g(u,v)代表高分辨率影像，u、v代表高分辨率影像像素在高分辨率影像坐標系中的坐標，則高分辨率影像與第一幀影像之間的關系式如下：

其中，r為重建倍數，m、n是低分辨率影像的大??；

步驟s5，設定容許誤差，根據待求點和容許誤差選擇參估點，所述參估點是以待求點為中心，容許誤差為半徑的圓內的低分辨率序列影像的像素點，

nδ(u,v)＝{fk(i,j):(u-i)²+(v-j)²≤δ²}(3)

其中，nδ(u,v)為參估點，δ為設定的容許誤差；

步驟s6，取參估點像素值的中值作為待求點像素值；

步驟s7，將步驟s6獲得的像素值賦給高分影像坐標系下相應的待求點，獲得高分影像的像素值；

步驟s8，完成高分辨率影像所有像素點的計算，顯示高分辨率影像。

而且，所述步驟s3中的運動矩陣利用金字塔lk光流算法得到。

與現有技術相比，本發明的優點是克服了msa方法容易出現黑色網格的現象，實現了任意倍數的重建；克服了經典sa和msa算法的缺陷，重建結果真實可靠；低分辨率影像信息互補的精度更高，對于小數倍的重建結果效果更佳。

附圖說明

圖1“黑色網格”現象；

圖2為本發明實施例低分辨率圖像坐標系；

圖3為本發明實施例高分辨率圖像坐標系；

圖4為本發明實施例坐標系融合圖；

圖5為本發明實施例計算高分辨率影像像素的示意圖；

圖6為本發明實施例原始低分辨率仿真影像序列；

圖7為本發明實施例仿真實驗結果圖，其中，7(a)為原始低分辨率影像細節圖，7(b)為重建1.2倍高分辨率影像細節圖，7(c)為重建1.6倍高分辨率影像細節圖，7(d)為重建1.8倍高分辨率影像細節圖，7(e)為重建2倍高分辨率影像細節圖；

圖8為本發明實施例流程圖。

具體實施方式

根據同一場景成像區域相同的特點可知像方的像素數量增加實質上就是物方像元尺寸的減小。如果直接從物方考慮，分別建立低分辨率影像坐標系xoy(如圖2)和高分辨率影像坐標系x’o’y’(如圖3)，將兩坐標系原點重合，則兩坐標系間存在對應關系如圖4所示。

本實施例根據設定的重建倍數可推導出待求高分辨率像素在低分辨率像素坐標系(參考幀)下的坐標，通過多幀低分辨率影像可搜索得到最佳的低分辨率像素值貢獻給待求高分辨率像素，這一過程沒有近似取整和插值帶來的誤差，因而重建結果更加真實可靠。

下面結合附圖和實施例對本發明的技術方案作進一步說明。

圖8為本發明實施例提供的一種f-msa(fastmedianshiftandadd))超分辨率重建方法的流程圖，具體包括如下步驟：

步驟s1：根據獲得的低分辨率影像序列，選擇參與重建的低分辨率影像；

設k是用于重建的低分辨率影像幀數，m、n是低分影像的大小，根據選取的第一幀低分辨率影像為基準幀建立低分辨率影像的坐標系xoy，以第一幀左上角為原點，格網個數為m*n。

步驟s2：確定重建倍數r，以步驟s1中坐標系xoy的原點為原點建立高分辨率影像坐標系x’o’y’，格網個數為r*m*n*r；

步驟s3：針對低分辨率影像，根據運動矩陣d(矩陣d大小為k*2，矩陣d第一列為第一幀與第k幀間的水平平移量，第二列為第一幀與第k幀間的垂直平移量)，將所有參與重建的低分辨率序列影像按照運動估計參數歸算到步驟s1中的坐標系xoy下，其中，運動矩陣d是描述低分辨率圖像間運動大小的矩陣，可以用金字塔lk光流算法得到，具體計算為現有技術，本發明不予撰述。假設f1(i,j)代表第1幀影像，i、j代表低分影像像素在xoy中的坐標，fk代表第k幀影像，則第k幀影像與第1幀影像的關系式如下：

fk＝f1(i+d(k,1),j+d(k,2))(1≤i≤m,1≤j≤n)(1)

步驟s4：根據重建倍數r，將在步驟s3中xoy坐標系下的低分辨率影像轉換至高分辨率影像坐標系x’o’y’下，若g(u,v)代表高分辨率影像，u、v代表高分影像像素在x’o’y’中的坐標，則其與第一幀影像之間的關系式如下：

步驟s5：根據待求點和容許誤差δ，選擇滿足條件的參估點nδ(u,v)時，參估點選擇的是以當前待求點為中心，容許誤差δ為半徑的圓內的低分序列影像的像素點；

nδ(u,v)＝{fk(i,j):(u-i)²+(v-j)²≤δ²}(3)

其中，k取整數1,2,3…k；

步驟s6：取參估點像素值的中值作為hr影像待求點像素值。

g(u,v)＝median{nδ(u,v)}(4)

步驟s7：將步驟s6獲得的像素值賦給高分影像坐標系下相應的待求點，獲得高分影像的像素值，判段高分辨率影像所有像素值是否全部計算完畢，即u、v<size(hr),是，則返回步驟s6，否，進入步驟s8；

步驟s8：完成高分辨率影像所有像素點的計算，最后顯示高分辨率影像。

現假設重建倍數為r，若利用k幀lr(低分辨率)影像重建一幀hr(高分辨率)影像，那么以第一幀lr影像坐標系xoy的o點為原點按照低分辨率影像幀間亞像素位移將其他n-1幀低分辨率影像像素復制在坐標系xoy下后，建立hr影像坐標系x’o’y’并與xoy重合，將全部lr影像像素坐標換算至hr坐標系x’o’y’下，設定容許誤差，若高分辨率影像待求點像素坐標為(xi,yi)，那么在容許誤差內的全部像素坐標所代表的低分辨率像素點都參與估計，這些點都是參估點，點(xi,yi)的像素值最終取參估點的中值。附圖5給出了r＝1.6，k＝4時f-msa算法的詳細示意圖，其中，lr1、lr2、lr3、lr4分別表示4幀低分辨率影像，hr代表待求的高分辨率影像，圓圈則代表容許誤差范圍。

下面通過實驗用仿真數據對本發明方法進一步說明，實驗數據是衛星仿真視頻序列影像，如附圖6，m＝n＝210，重建倍數r＝1.2、1.6、1.8和2倍，用于重建的低分影像幀數k＝10，通過運動估計可以得到運動矩陣d，d是10*2的矩陣，設定容許誤差δ＝0.5。執行步驟s1到s5，然后根據公式(3)確定參估點，然后對參估點執行后續步驟s6到s8，獲得高分辨率影像。附圖7中7(a)、7(b)、7(c)、7(d)、7(e)分別是原始lr影像和1.2倍、1.6倍、1.8倍、2倍重建的高分辨率影像細節。從圖中可以看出，本發明方法可以實現整數倍和小數倍的重建，并且能夠獲得較好的高分辨率影像。

本文中所描述的具體實施例僅僅是對本發明精神作舉例說明。本發明所屬技術領域的技術人員可以對所描述的具體實施例做各種各樣的修改或補充或采用類似的方式替代，但并不會偏離本發明的精神或者超越所附權利要求書所定義的范圍。