本發明屬于圖像識別，涉及一種面向復雜場景的船號識別方法與系統。

背景技術：

1、隨著全球海上貿易的快速增長以及海洋監視與安全管理需求的日益迫切，快速、準確地識別船只身份已成為海上管理的重要環節之一。船號作為船只身份的關鍵標識，其識別技術的準確性和效率在海洋監控和執法活動中具有重要意義。然而，現有的船號識別技術在面對復雜的海洋環境時，仍然存在諸多挑戰，亟待改進。

2、目前，船號識別技術主要面臨以下幾個問題：首先，船號通常位于船體的不同位置，且在不同類型的船只上，船號的尺寸和長度存在較大差異。這種不規則性增加了自動化檢測和識別的難度。其次，惡劣的天氣條件、復雜的海面環境以及船只運動帶來的視覺模糊和遮擋問題，均會顯著影響船號的識別精度。此外，現有的船號數據集較為稀缺，導致相關研究在數據支撐方面存在一定的局限性，進一步增加了技術發展的難度。

3、早期的研究多采用經典的深度卷積神經網絡dcnn進行船號識別。例如，一些基于目標檢測與字符識別的模型結構已被提出，盡管這些方法在單一場景中表現較好，但在面對復雜環境時，往往缺乏足夠的魯棒性。此外，近年，有學者提出了一些改進方法，如采用基于透視變換的字符檢測與識別算法，以提高低分辨率船號的識別精度。然而，這些方法多數只針對檢測或識別單一環節進行優化，未能在檢測和識別過程間形成良好的協同效果。同時，針對復雜場景下的遮擋、模糊等問題，現有的解決方案仍有局限性，多數技術在處理船號的多變外觀和模糊場景時表現不足，無法滿足實際海洋環境中船號識別的應用需求。

技術實現思路

1、本發明的目的在于解決現有技術中只針對檢測或識別單一環節進行優化，未能在檢測和識別過程間形成良好的協同效果；同時，針對復雜場景下的遮擋、模糊等問題，多數技術在處理船號的多變外觀和模糊場景時表現不足，無法滿足實際海洋環境中船號識別的應用需求的問題，提供一種面向復雜場景的船號識別方法與系統。

2、為達到上述目的，本發明采用以下技術方案予以實現：

3、一種面向復雜場景的船號識別方法，包括：

4、基于所采集港口中的船舶視頻，獲取含有若干張船號信息的船舶圖像，構建船舶圖像數據集；

5、基于反向殘差移動塊網絡irmb和drb網絡，構建c2f_irmb_drb模塊；

6、基于c2f_irmb_drb模塊對船舶圖像數據集的圖像特征進行增強；

7、將學習型位置編碼lpe引入aifi_lpe模塊中，并基于增強圖像特征后的船舶圖像數據集，獲取包含位置信息的新船號特征；

8、基于包含位置信息的新船號特征，以及自注意力機制、multihead多頭自注意力機制、layernorm層和前饋神經網絡ffn，獲取經過進一步增強的圖像區域；

9、對經過進一步增強的圖像區域進行識別，得到船舶的船號。

10、本發明的進一步改進在于：

11、進一步的，基于所采集港口中的船舶視頻，獲取含有若干張船號信息的船舶圖像，構建船舶圖像數據集，具體為：基于labelimg軟件對船舶數據集進行船牌標注，并且通過paddlelabel軟件對每張圖像的船號進行標記，得到包含所有船號信息的txt文件，每一行記錄了圖像的地址和對應的船名信息。

12、進一步的，基于c2f_irmb_drb模塊對船舶圖像數據集的圖像特征進行增強，具體為：

13、irmb_drb模塊通過輸出/輸入比為λ的擴展mlpe擴展通道維度；

14、基于擴展窗口多頭注意力機制ew-mhsa和irmb_drb模塊中的drb_dw-conv對圖像特征進一步增強；

15、基于反向輸入/輸出比等于λ的收縮mlps收縮通道尺寸，根據殘差連接得到最終輸出。

16、進一步的，irmb_drb模塊通過輸出/輸入比為λ的擴展mlpe擴展通道維度，具體為：

17、xe＝mlpe(x)＝v????(1)

18、其中，x為船號圖像；x＝q＝k；v、q、k為不同的矩陣；

19、所述基于擴展窗口多頭注意力機制ew-mhsa和irmb_drb模塊中的drb_dw-conv對圖像特征進一步增強，具體為：

20、xf＝(drb_dw-conv(xe),skip)(ew-mhsa(xe))????(2)

21、其中，skip為跳躍連接；

22、所述基于反向輸入/輸出比等于λ的收縮mlps收縮通道尺寸，具體為：

23、xs＝mlps(xf)????(3)

24、所述根據殘差連接得到最終輸出，具體為：

25、y＝x+xs????(4)

26、進一步的，將學習型位置編碼lpe引入aifi_lpe模塊中，并基于增強圖像特征后的船舶圖像數據集，獲取包含位置信息的新船號特征，具體為：

27、將輸入的船號特征x與學習型位置編碼lpe相結合，生成包含位置信息p的新特征，如公式(5)所示：

28、x′＝x+p????(5)

29、在得到包含位置信息p的新特征x′后，通過線性變換得到q、k、v，如公式(6)所示：

30、q＝x′wq，k＝x′wk，v＝x′wv????(6)

31、其中，wq是查詢權重矩陣，用于將輸入特征x映射到查詢矩陣q；wk是鍵權重矩陣，用于將輸入特征x映射到鍵矩陣k；wv是值權重矩陣，用于將輸入特征x映射到值矩陣v。

32、進一步的，基于包含位置信息的新船號特征，以及自注意力機制、multihead多頭自注意力機制、layernorm層和前饋神經網絡ffn，獲取經過進一步增強的圖像區域，具體為：

33、在新的特征表示x′上應用自注意力機制，計算注意力分布并加權求和得到自注意力輸出，公式如式(7)所示：

34、

35、其中，softmax()為歸一化處理，dk為鍵矩陣k的維度，kt為鍵矩陣k的轉置；

36、基于multihead多頭自注意力機制將多個自注意力頭的輸出進行拼接，經過線性變換，模型能夠在不同的子空間中并行地關注不同的信息；公式如式(8)所示：

37、multihead(q,k,v)＝concat(head1，head2，…,headh)wo????(8)

38、其中，wo為權重矩陣，每個頭的計算為：

39、

40、基于layernorm層歸一化和殘差連接，確保捕捉到復雜場景中的細節信息公式如式(9)所示：

41、attentionoutput＝layernorm(x′+multihead(q,k,v))????(9)

42、基于前饋神經網絡ffn增強模型的非線性表達能力，并再次通過層歸一化和殘差連接得到最終輸出，如公式(10)所示：

43、output＝layernorm(attentionoutput+ffn(attentiono???(10)

44、進一步的，對經過進一步增強的圖像區域進行識別，得到船舶的船號，具體為：

45、將檢測出船號的區域分為清晰圖像和低質量圖像；

46、對于低質量圖像進行高斯模糊處理原始圖像，并通過對比度增強，提高圖像中的不同灰度級之間的差異；

47、基于拉普拉斯算法對圖像進行銳化處理，增強圖像的視覺質量；

48、基于tps變換算法，將增強后圖像和清晰圖像的控制點進行映射，并根據pp-lcnet網絡進行特征提取；

49、基于svtr模型對經過特征提取的圖片進行進一步處理和增強，將特征傳遞至全連接層，輸出字符序列得到船舶的船號。

50、進一步的，對于低質量圖像進行高斯模糊處理原始圖像，具體為：

51、yblur＝gσ*y????(11)

52、其中，y為檢測到的船號區域，gσ為標準差為σ的二維高斯核，*表示卷積操作；

53、所述通過對比度增強，提高圖像中的不同灰度級之間的差異，具體為：

54、ycontrast＝α(yblur-min(yblur))+β????(12)

55、其中，min(yblur)為圖像的最小灰度值，α為縮放因子，用于調整圖像的對比度，β為偏移量，用于調整圖像的亮度；

56、所述基于拉普拉斯算法對圖像進行銳化處理，增強圖像的視覺質量，具體為：

57、

58、其中，k為銳化系數，為拉普拉斯算子。

59、進一步的，基于tps變換算法，將增強后圖像和清晰圖像的控制點進行映射，具體為：

60、所述tps變換算法的目標是找到一個變換函數f(x,y),使得控制點(xi,yi)映射到(x′i,y′i)，變換過程如式(14)和式(15)所示：

61、

62、ytps＝f(ysharp)????(15)

63、其中，u＝r2log(r)是徑向基函數，用于對控制點間的影響建模；a1，a2，a3是仿射變換的系數，負責全局線性變換；wi是與每個控制點相關的權重，控制局部的非線性形變；

64、所述基于svtr模型對經過特征提取的圖片進行進一步處理和增強，將特征傳遞至全連接層，輸出字符序列得到船舶的船號，具體為：

65、構建基于svtr模型的損失函數，ctc?loss和attention?loss；

66、所述ctc?loss計算過程如式(16)所示：

67、

68、其中，y＝(y1,y2,…,yt)表示svtr模型輸出的概率分布序列；l＝(l1,l2,…,lt)表示目標標簽序列；π表示一個路徑，即svtr模型在每一步的輸出；b-1(l)是所有路徑的集合，路徑集合中除去空白符和重復標簽后等于l；

69、attention?loss計算過程如式(17)所示：

70、

71、其中，lt,c是目標標簽在時間步t對字符c的真實分布，yt,c是模型在時間步t預測的字符c的概率。

72、所述字符序列計算過程如式(18)所示：

73、

74、其中，i為輸入圖像，arg?max表示選擇使條件概率p(l|i)最大字符序列l；t是模型輸出的概率分布序列的步數，即經過特征提取、增強和映射后的序列的長度；p(yt|i)表示模型在時間步t的輸出字符的條件概率。

75、一種面向復雜場景的船號識別系統，包括：

76、第一獲取模塊，所述第一獲取模塊基于所采集港口中的船舶視頻，獲取含有若干張船號信息的船舶圖像，構建船舶圖像數據集；

77、構建模塊，所述構建模塊基于反向殘差移動塊網絡irmb和drb網絡，構建c2f_irmb_drb模塊；

78、增強模塊，所述增強模塊基于c2f_irmb_drb模塊對船舶圖像數據集的圖像特征進行增強；

79、第二獲取模塊，所述第二獲取模塊將學習型位置編碼lpe引入aifi_lpe模塊中，并基于增強圖像特征后的船舶圖像數據集，獲取包含位置信息的新船號特征；

80、第三獲取模塊，所述第三獲取模塊基于包含位置信息的新船號特征，以及自注意力機制、multihead多頭自注意力機制、layernorm層和前饋神經網絡ffn，獲取經過進一步增強的圖像區域；

81、識別模塊，所述識別模塊對經過進一步增強的圖像區域進行識別，得到船舶的船號。

82、與現有技術相比，本發明具有以下有益效果：

83、本發明通過c2f_irmb_drb模塊對船舶圖像數據集的圖像特征進行增強，并且將學習型位置編碼lpe引入aifi_lpe模塊中，并基于增強圖像特征后的船舶圖像數據集，獲取包含位置信息的新船號特征；根據包含位置信息的新船號特征，以及自注意力機制、multihead多頭自注意力機制、layernorm層和前饋神經網絡ffn，獲取經過進一步增強的圖像區域；然后對增強的圖像區域進行識別，得到船舶的船號。本發明在復雜海洋環境下展現出更高的魯棒性與穩定性，能夠確保特征提取和識別的精度，適用于實際的海上船舶監測和管理應用。