本發明涉及圖像處理，尤其涉及一種水下圖像拼接方法。

背景技術：

1、隨著計算機技術的快速發展，水下圖像處理技術得到了來自海洋科學技術領域研究學者的廣泛關注，計算機視覺技術在水下圖像上的應用也取得了顯著的成果。單張水下圖像只可以獲取有限距離、有限范圍的圖像信息，圖像拼接技術可以將多張有重疊部分的圖像融合成一張廣角度、大范圍的全景圖像，在不損失分辨率和圖像質量的前提下，展示更豐富的信息。水下圖像拼接還有很多科研難關亟待突破，主要包括顏色衰退的水下圖像恢復后仍細節模糊、光照不均勻圖像難以恢復，嚴重退化的水下圖像由于缺少用于全景圖像拼接的有效特征信息，水下圖像特征點偏少和匹配錯誤率高，導致水下圖像拼接難度提升。

2、針對水下圖像拼接所面臨的難關，公開號為cn112308775a的中國發明專利提出了一種水下圖像拼接方法，解決了水下圖像視野受限、因紅色光在水中傳播存在易吸收和衰減快等因素造成的水下圖像色差，以及避免了水下圖像經常出現的邊緣和細節模糊等問題。提升了圖像配準精度和圖像質量。但該項技術方案仍存在以下缺陷：

3、未考慮折射導致的圖像畸變。對于不具備防水性能的相機，需要放入特制的防護罩才能進行水下拍攝。光線從水中傳遞到相機內部時，會經歷水和空氣兩種介質，從而發生折射，導致圖像產生畸變，物理上處于同一平面的物體在圖像中不再處于同一平面，不滿足圖像映射的假設；

4、未考慮特征點偏少的情況。現有的水下圖像拼接算法依賴圖像本身的特征點計算圖像之間的映射關系，但如果目標本身具備的特征點偏少，或由于成像質量導致圖像中的特征點較少，會嚴重影響圖像拼接效果；

5、未考慮圖像重疊率低的情況。圖像重疊率低會導致兩幅圖像之間的公共特征點較少，無法計算圖像之間的映射關系。如果通過改變相機位置提高圖像之間的重疊率，則會浪費相機的分辨率，與圖像拼接的本意(使用多臺相機增大視野范圍)相矛盾。

技術實現思路

1、針對現有技術的不足，本發明提供了一種水下圖像拼接方法，解決了水下圖像特征點偏少、圖像重疊率低、折射矯正參數未能精確標定的技術問題。

2、為解決上述技術問題，本發明提供了如下技術方案：一種水下圖像拼接方法，該方法包括以下步驟：

3、s1、在水上環境下，采用標定板對至少兩個相機進行標定得到相機之間的映射關系，即單應性矩陣h；

4、s2、通過張正友標定法標定每臺相機的內參，包括相機參數和畸變系數；

5、s3、將相機裝入防護罩中，對每臺相機進行標定得到對應的最優折射矯正參數，包括綜合折射率n和圖像中心偏移量δx、δy；

6、s4、根據相機的內參、最優折射矯正參數、映射關系進行水下圖像的拼接，得到最終的拼接圖像。

7、進一步地，在步驟s1中，具體過程包括以下步驟：

8、s11、將標定板擺放在兩臺相機的公共視場中，各拍攝一張圖像；

9、s12、使用sift算子提取特征點，并匹配兩幅圖像中的特征點；

10、s13、根據特征點的匹配關系，求得相機之間的單應性矩陣h，即為相機之間的映射關系，相機之間的映射關系為：

11、

12、式中，(x0,y0)和(x1,y1)表示同一個物理點在相機0和相機1上的像素坐標；h為單應性矩陣；

13、s14、對于多臺相機則以兩兩相機標定的單應性矩陣h為初值，以重投影誤差最小為目標函數，通過光束平差法進行多臺相機的聯合標定。

14、進一步地，在步驟s2中，相機參數m為：

15、

16、畸變系數為：

17、[k1?k2?p1?p2?k3]

18、上式中，fx、fy分別表示x、y方向的等效焦距，以像素為單位；(cx,cy)表示主點坐標；k1、k2、k3表示徑向畸變系數；p1、p2表示切向畸變系數。

19、進一步地，在步驟s3中，具體過程包括以下步驟：

20、s31、在水上環境下，將相機安裝在防護罩中，再把防護罩固定在相機位置上，用相機拍攝標定板得到第一標定板圖像；

21、s32、保持相機與標定板的相互位置關系不變，將相機連同標定裝置浸入水中，用相機拍攝標定板得到第二標定板圖像；

22、s33、令n＝1.33、δx＝0、δy＝0，結合相機的內參，通過折射矯正將水下拍攝的第二標定板圖像轉換為等效的水上拍攝的第一標定板圖像；

23、s34、計算矯正后的第二標定板圖像與之前水上拍攝的第一標定板圖像之間的相關系數r；

24、s35、根據相關系數r確定最優折射矯正參數；

25、若相關系數r小于閾值p，則當前的n和δx、δy即為最優折射矯正參數；

26、相反，則調整n和δx、δy不斷迭代優化，直至相關系數r小于閾值p，或迭代次數大于最大迭代次數n；

27、s36、重復步驟s31-s35，得到每一臺相機的最優折射矯正參數。

28、進一步地，在步驟s33中，將第二標定板圖像轉換為等效的水上拍攝的第一標定板圖像的水下圖像復原公式為：

29、

30、n＝nair/nwater

31、式中，z表示物體點與成像平面間的沿光軸方向的距離，即景深；d表示折射面到相機中心的距離；f表示焦距；pw表示目標點；(ui,vi)表示水下成像點pi的坐標；(u,v)表示復原后空氣中成像點pa的坐標，即復原后的圖像坐標；nwater、nair分別表示水和空氣的折射率；δx、δy是由于相機光軸不垂直于折射平面導致復原后圖像的主點相對于原主點的偏移量；(cx,cy)表示相機中心c的坐標。

32、進一步地，在步驟s34中，相關系數r的計算公式為：

33、

34、式中，p0i表示空氣中棋盤格角點的坐標；p1i表示水下復原圖像中棋盤格角點的坐標；m為角點的數量。

35、進一步地，在步驟s35中，使用遺傳算法以相關系數r最小化為目標調整n和δx、δy，目標函數為：

36、

37、遺傳算法會自動調整n和δx、δy，使相關系數不斷減小，當相關系數小于給定的閾值或者迭代此處超過最大迭代次數時，停止迭代，得到最優的n和δx、δy。

38、進一步地，在步驟s4中，具體過程包括以下步驟：

39、s41、使用標定后相機的畸變系數對水下拍攝的圖像進行畸變矯正；

40、s42、使用綜合折射率n和圖像中心偏移量δx、δy以及相機參數m，對畸變矯正之后的圖像進行折射矯正，將水下拍攝的圖像等效為水上拍攝的圖像；

41、s43、使用單應性矩陣h將等效的水上拍攝的圖像轉換至基準圖像所在的坐標系；

42、s44、使用圖像融合算法融合轉換后的圖像，得到最終的拼接圖像。

43、借由上述技術方案，本發明提供了一種水下圖像拼接方法，至少具備以下有益效果：

44、1、本發明能夠將水下拍攝的圖像等效為水上拍攝的圖像，為水下圖像的拼接提供新的思路，這樣很多經典的圖像處理算法均可以應用，規避了水下光線折射對各種圖像處理算法的干擾，具有較高的實用價值。

45、2、本發明采取在水上環境提前標定相機之間映射關系的方法，解決了水下圖像特征點偏少的難點。并根據水下光線的傳播規律，建立了水下圖像和水上圖像像素坐標的映射關系，將水下拍攝的圖像等效為水上拍攝的圖像，這樣就可以應用水上環境標定的參數進行圖像拼接。

46、3、本發明能夠對水下圖像所存在的畸變進行矯正，同時對畸變矯正之后的圖像進行折射矯正，將水下拍攝的圖像等效為水上拍攝的圖像，充分考慮相機處于防護罩中所存在的兩次折射，并建立使水下圖像與水上圖像能夠直接等效轉換的最優折射矯正參數，從而消除了水下圖像拼接所面臨的干擾，提高了拼接圖像的質量。