本發明屬于無人機航拍目標檢測領域,具體涉及一種基于無人機航拍的圖像特征識別方法。
背景技術:
1、近年來,無人機航拍圖像檢測技術迅速發展,已廣泛應用于精準農業、應急救援、地理測繪勘探等領域。面對錯綜復雜的城市和自然環境,無人機在高空視角能拓展視野范圍和獲取豐富的信息,具有傳統視覺設備難以企及的巨大優勢。然而,航拍圖像中小目標存在分辨率低、背景復雜、特征不足和定位不準等問題,難以精準檢測。
技術實現思路
1、本發明為了解決現有技術中存在的上述至少一個技術問題,提供了一種基于無人機航拍的圖像特征識別方法。
2、本發明采用如下的技術方案實現:一種基于無人機航拍的圖像特征識別方法,構建yolov8網絡模型,將主干網絡中的c2f模塊替換為c2f_rfg模塊,在頸部網絡中添加輕量化跨尺度特征融合網絡結構lccfn以重組panet結構,并在原有的檢測頭基礎上新增小目標檢測頭,在每個檢測頭前加入sws注意力機制,將邊框損失函數由ciou替換為wiseiou,得到rgcs-yolov8n模型;獲取無人機航拍圖像數據集并進行標簽格式轉換,得到標準數據集;基于標準數據集進行rgcs-yolov8n模型的訓練和驗證;將rgcs-yolov8n模型部署在無人機設備上,獲取不同場景下的小目標檢測結果。
3、優選地,將c2f模塊替換為c2f_rfg模塊的步驟為:
4、構建c2f_rfags模塊,c2f_rfags模塊包括輕量級卷積gsconv和感受野注意力卷積rfaconv;
5、將c2f中所有的bottlenneck中的卷積替換為由輕量級卷積gsconv和感受野注意力卷積rfaconv組成的c2f_rfags模塊。
6、優選地,lccfn網絡通過低通道數的卷積運算并將不同尺度的特征通過融合操作整合的步驟如下:
7、對經過rgcs-yolov8n主干網絡提取到160×160、80×80、40×40和20×20的四個不同尺度的特征圖分別進行一次1×1的卷積操作,其中160×160、80×80尺度的特征圖經過卷積操作后保持通道數不變,40×40和20×20特征圖的通道數降為64;
8、在自頂向下的特征融合和自下而上的卷積操作過程中將c2f模塊的通道數統一壓縮為64;在自頂向下的特征融合過程中,在第二次和第三次上采樣之前增加1×1的卷積運算;通過跳躍連接將經過卷積操作的80×80和40×40的淺層和中層特征圖送入深層進行多尺度特征融合;再經過自下而上的卷積操作將各尺度特征信息進行融合并生成最終的特征圖輸出到檢測頭部。
9、優選地,原有的3個檢測頭分別用于生成80×80、40×40和20×20大小的檢測特征圖,分別位于p3、p4、p5層;新增的小目標檢測頭的像素為160×160,位于p2層。
10、優選地,改進邊框損失函數步驟為:
11、采用wise-iou的動態非單調聚焦機制,采用離群度代替iou來評估錨框質量,同時采用梯度增益分配策略;
12、改進的邊框損失函數的公式如下:
13、lwiouv3=γ·lwiouv1·liou
14、
15、式中,lwiouv1=rwiou·liou,其中rwiou表示高質量錨框的損失,rwiou的公式如下:
16、其中wc和hc是最小包圍框的寬和高,xgt表示真實框的寬;ygt表示真實框的高;x0表示標注框的寬;y0表示標注框的高;liou表示交并比損失函數,iou為交并比;
17、γ表示梯度增益;α和β分別表示常數和離群度;δ表示自定義超參數。
18、優選地,基于模型的預測結果和真實結果構成的混淆矩陣,選取目標檢測任務中的精確度、召回率、平均精度均值、參數量作為評價指標進行模型的評估。
19、優選地,將無人機航拍圖像數據集的標簽格式由voc格式轉換為yolo格式,得到標準數據集;同時搭建pytorch虛擬環境,作為rgcs-yolov8n模型的訓練環境;
20、將模型經過標準數據集中的訓練集訓練得到的最優權重參數進行保存;將標準數據集中的測試集輸入保存已訓練的rgcs-yolov8n模型,對模型檢測性能進行評估驗證。
21、優選地,rgcs-yolov8n模型的輸出由grad-cam方法生成熱力圖,同時在測試集中選取昏暗、遮擋、小目標密集和多尺度環境四組照片進行可視化對比。
22、與現有技術相比,本發明的有益效果是:
23、本方法基于rgcs-yolov8n模型在主干網絡、頸部網絡、損失函數部分進行改進,設計了sws無參注意力機制。提出了針對無人機航拍圖像小目標檢測的rgcs-yolov8n算法。其中在主干網絡中通過使用gsconv輕量化卷積替換傳統卷積以及設計lccfn頸部網絡,大大減少了模型的參數量,達到了輕量化的效果,對無人機這種資源受限的邊緣設備具有更好的部署優勢。
24、通過設計sws無參注意力機制,在simam注意力基礎上增加切片操作,使小目標特征得到加強,提高了小目標檢測精度。同時添加小目標檢測頭嵌入lccfn頸部網絡中進一步提高小目標檢測性能。改進ciou損失函數為wiou損失函數,平衡訓練過程中的樣本質量,提高了模型的檢測精度,降低了無人機航拍圖像小目標檢測漏檢率和誤檢率。
1.一種基于無人機航拍的圖像特征識別方法,其特征在于:
2.根據權利要求1所述的一種基于無人機航拍的圖像特征識別方法,其特征在于:將c2f模塊替換為c2f_rfg模塊的步驟為:
3.根據權利要求2所述的一種基于無人機航拍的圖像特征識別方法,其特征在于:
4.根據權利要求3所述的一種基于無人機航拍的圖像特征識別方法,其特征在于:原有的3個檢測頭分別用于生成80×80、40×40和20×20大小的檢測特征圖,分別位于p3、p4、p5層;新增的小目標檢測頭的像素為160×160,位于p2層。
5.根據權利要求2所述的一種基于無人機航拍的圖像特征識別方法,其特征在于:
6.根據權利要求1所述的一種基于無人機航拍的圖像特征識別方法,其特征在于:基于模型的預測結果和真實結果構成的混淆矩陣,選取目標檢測任務中的精確度、召回率、平均精度均值、參數量作為評價指標進行模型的評估。
7.根據權利要求1所述的一種基于無人機航拍的圖像特征識別方法,其特征在于:將無人機航拍圖像數據集的標簽格式由voc格式轉換為yolo格式,得到標準數據集;同時搭建pytorch虛擬環境,作為rgcs-yolov8n模型的訓練環境;
8.根據權利要求7所述的一種基于無人機航拍的圖像特征識別方法,其特征在于:rgcs-yolov8n模型的輸出由grad-cam方法生成熱力圖,同時在測試集中選取昏暗、遮擋、小目標密集和多尺度環境四組照片進行可視化對比。