本發明涉及特征檢測和描述領域，更具體地說，涉及一種全局上下文和局部信息聚合的特征檢測和描述方法。

背景技術：

1、圖像特征描述和匹配是計算機視覺中的一項基礎技術，廣泛應用于圖像拼接、slam、三維重建、視覺定位等領域。這一任務通常包含三個主要步驟：特征檢測、特征描述和特征匹配。在特征檢測階段，首先需要一個可靠的特征檢測器來準確地提取圖像中具有穩定性的關鍵點，尤其是在面對不同光照變化或幾何變換時，確保特征點的一致性。接下來，在特征描述階段，通過對每個特征點鄰域的局部圖像信息進行編碼，將其映射為一個高維的特征向量(即特征描述符)，用于表征該特征點的獨特性。特征描述符的設計至關重要，它需要具備對常見光度變換(如光照變化、噪聲、壓縮、模糊等)和幾何變換(如縮放、旋轉、平移和仿射變換等)的魯棒性，以確保特征描述符在不同變換條件下的穩定性。最后，在特征匹配步驟中，匹配算法依賴這些具有高度區分性的特征描述符，來準確地識別圖像中相同的特征點。

2、作為計算機視覺應用的基礎，國內外研究團隊已經提出了大量的特征檢測器和特征描述符方法。早期的傳統方法主要集中在精心設計的方法上，利用對視角和光照等變化具有魯棒性的描述符來識別獨特的關鍵點。harris角點、sift、orb等手工制作的技術使用了明確的幾何概念，如角、梯度和尺度空間極值。隨著深度學習的興起和gpu并行計算的快速發展，基于學習的方法顯現出了巨大的潛力。lift等方法利用cnn來提取更穩健、更具區分度的關鍵點描述符，從而在處理大視角變化和局部特征光照變化方面取得了顯著進步。

3、受卷積神經網絡局部性的限制，現有的局部特征描述方法大多只能學習具有局部信息的局部描述符，而缺乏對全局和周圍空間背景的認識。本發明公開了一種全局上下文和局部信息聚合的特征檢測和描述方法，在卷積神經網絡挖掘的局部信息的基礎上，采用上下文增強和空間一致性加權機制為局部特征引入了全局上下文，提高了特征點檢測的定位精度和描述符的一致性和特異性。

技術實現思路

1、有鑒于此，本發明實施例提供了一種全局上下文和局部信息聚合的特征檢測和描述方法，以實現圖像的特征點檢測和描述。

2、為了實現上述目的，本發明實施例提供了如下方案：

3、一種全局上下文和局部信息聚合的特征檢測和描述方法，其特征在于，包含以下步驟：

4、步驟1.特征提取

5、本發明使用的特征提取網絡是fpn特征金字塔，該網絡以兩個卷積層、兩個relu層、一個最大池化層為基本單位，其中卷積核均為3×3，步長為1，填充為1。根據特征提取網絡提取的特征圖尺寸大小，將特征提取網絡分為4層，其中c1輸出的特征圖高寬和原圖一致且通道數為64、c2的特征圖高寬為原圖的1/2且通道為64、c3的特征圖高寬為原圖的1/4且通道數為128，c4的特征圖高寬為原圖的1/8且通道數為128。

6、步驟2.獲取全局上下文

7、先通過一個自適應平均池化層將步驟1提取的c4特征圖通過平均池化操作調整到(64,64)的尺寸，再以16×16為窗口將特征圖切分為16個塊，每個塊的各像素特征直接疊加到一維，記為xp。使用可學習的線性投影將xp映射到潛在的128維空間。為了使局部描述符獲得相對于全局的空間位置信息，學習特定的位置編碼，并將其添加到xp中，以保留位置信息。經過n個transformer層的重塑后，得到了具有全局上下文的區域級描述符。在本發明方法中，n＝12。

8、步驟3.增強局部信息

9、利用局部特征增強模塊充分采集豐富的局部信息。局部特征增強模塊采用多分支卷積結構提取多種辨別語義信息，采用空洞卷積來獲取更豐富的局部語境信息。局部信息增強模塊有四個分支，每個分支首先對輸入的特征圖進行1×1卷積運算，為后續處理初步調整通道數。接下來，第一個分支是一個殘差結構，不進行額外運算，形成一個等效圖，以保留周圍的關鍵特征信息。其他三個分支執行級聯標準卷積操作，其核大小分別為1×3、3×1和3×3。中間兩個分支增加了額外的空洞卷積，這樣提取的特征圖可以保留更多的上下文信息。

10、步驟4.全局和局部特征融合

11、采用一種基于門控機制的方法，自適應地調節全局上下文信息的引入程度，根據每個局部區域的實際需求智能調整，以此達到優化特征表達的效果。首先通過一個自適應平均池化層將步驟1提取的c4特征圖通過平均池化操作調整到(64,64)的尺寸。在將其輸入一個3×3的卷積層，將輸出維度調整為1，再通過一個relu激活函數，其輸出作為特征融合的權重圖。分別將步驟2得到的全局上下文和該權重圖使用雙線性插值上采樣到(1/4h,1/4w)，矩陣元素相乘，得到自適應調整后的上下文信息。最后將其與步驟3得到的局部增強特征相加，輸出即為全局和局部特征自適應融合后的描述圖。

12、步驟5.多尺度特征檢測

13、本發明方法通過使用特征金字塔進行局部特征檢測來預測不同尺度空間的關鍵點。具體來說，設置了五個檢測頭，分別在不同尺寸的特征圖和步驟2提取的全局特征圖上預測關鍵點熱圖。為了合并預測結果，不同尺度的預測熱圖使用雙線性插值上采樣到圖像尺寸h×w，再使用可學習的參數進行加權求和輸出最終的預測結果熱圖。

14、步驟6.特征一致性加權得到描述符：

15、為了進一步克服關鍵點描述僅基于局部信息的局限性，本發明方法通過特征一致性加權機制獲得對空間信息的認知和洞察。首先將特征金字塔得到的不同尺度特征圖使用上下采樣對齊尺寸，拼接在一起，然后在通道維度上取平均值。最后，加權分數圖w，通過3×3卷積和softplus激活函數從這個平均特征圖中預測出來。

16、在得到加權分數圖w、特征描述圖d和關鍵點概率圖h后，先將從關鍵點概率圖h中得到分數大于檢測閾值的點的坐標并根據圖片的尺寸歸一化到[-1,1]。然后從特征描述圖d中根據歸一化的坐標采樣，經過l2標準化后和加權分數圖w對應的權重相乘得到最終的描述符x。

17、優選的，所述算法訓練時每批圖像數設置為12。

18、優選的，所述算法共迭代40個epoch。

19、優選的，所述算法中transformer層數設置為12。

20、優選的，所述學習率的初始值為0.001，前5個epoch學習率不變，從第6個epoch開始線性衰減到0。

21、本發明公開了一種全局上下文和局部信息聚合的特征檢測和描述方法，在卷積神經網絡挖掘的局部信息的基礎上，采用上下文增強和空間一致性加權機制獲得非局部意識。首先，通過特征金字塔模塊，使用多個卷積層獲得不同感受野的特征圖，從而實現對不同尺度信息的感知。再通過局部特征增強模塊，通過多分支卷積結構和空洞卷積操作，更有效地捕捉特征點周圍的上下文信息，增強網絡對于局部信息的表達能力。然后通過自適應全局上下文模塊，將深層特征圖切分成16×16的塊，編碼后輸入transformer層，學習全局上下文，再自適應地添加到描述符中。最后通過特征一致性加權模塊，在局部描述符的優化和匹配中引入空間一致性加權，提升異源特征的一致性。