本發明涉及野生動物智能監測領域，具體是一種基于知識圖譜的野生動物行為自動化識別方法，用于對野生動物監測數據進行深入分析。

背景技術：

1、深入研究野生動物的行為習性，不僅有助于了解它們的生存狀態和與環境的互動，還能為制定更有針對性的保護和管理策略提供科學依據。通過對野生動物日常活動和生存模式的研究，專家可以減少不利因素的干擾，促進生物多樣性和生態平衡。

2、然而，傳統的野生動物行為研究方法存在諸多不足。直接觀察和捕捉標記需要接近動物，可能打擾它們的自然行為，導致應激反應或行為改變。此外，依賴目視和手動記錄的方式受限于觀察者的視野和時間，難以在大范圍內收集長期、連續的數據。這些方法既耗時又耗力，效率低下，難以滿足現動物研究的需求。

3、隨著新一代信息技術的發展，研究人員開始利用紅外陷阱相機等設備，在不干擾動物的情況下持續監測并收集動物野外活動數據。之后，充分利用深度學習等智能技術，處理和分析野生動物的圖像信息。然而，這些智能技術主要優化了動物淺層次的識別過程，無法自動化識別出所采集監測數據中野生動物的深層次行為。同時，由于對計算機等專業知識要求高，野生動物專家需要計算機專家的協助，并無法直接使用這些智能技術。換而言之，在野生動物智能監測領域，對于動物行為的自動化深入理解仍是挑戰。幸運的是，除了深度學習等智能技術外，知識圖譜方法可以構建人類易理解的關系圖，幫助野生動物專家快速理解動物之間的行為關系。因此，亟需充分結合深度學習等智能監測技術的成果，充分發揮知識圖譜的人類專家易讀易懂的優勢，設計出一種基于知識圖譜的野生動物行為自動化識別方法，以便動物學領域的研究學者可以基于新一代信息化技術開展動物學研究。

技術實現思路

1、有鑒于現有技術的上述缺陷，本發明需要解決的技術問題是提供一種基于知識圖譜的野生動物行為自動化識別方法，能夠通過自動化識別動物目標和環境類別，利用知識圖譜的易于人類理解的特性，為野生動物專家提供高質量的動物行為及其關系結果。

2、為實現上述目的，本發明提供了一種基于知識圖譜的野生動物行為自動化識別方法，其特征在于，包括如下步驟：

3、步驟一、使用yolo和sam識別動物與環境實體；

4、步驟二、基于視覺和文字特征的融合模型提取實體間關系并生成知識圖譜。

5、進一步而言，步驟一具體包括：

6、a0、利用在野生動物數據集上微調后的yolo檢測模型從原始紅外相機拍攝的圖像中高效識別出動物和環境目標對象的邊界框集合并確定動物或環境的實體類別名稱ti。其中，n是檢測到的對象數量，每個邊界框bi由歸一化后取值范圍為[0,1]的中心坐標和尺寸表示，即

7、a1、使用lora(low-rank?adaptation?of?large?language?models)技術在野生動物數據集上微調分割模型sam(segment?anything?mode)，獲得適用野生動物數據的sam分割模型；

8、a2、生成正向和負向提示點輸入sam，以每個邊界框bi為基礎獲取動物實體和環境實體的精確分割掩碼得到動物對象和環境對象的分割掩碼；

9、a3、對得到的分割掩碼進行篩選，獲得高質量掩碼用以表征動物實體及環境實體。

10、進一步而言，步驟一中a2具體包括：

11、b1、在每個包含環境實體的邊界框bi內隨機生成k個正向的提示點作為sam的輸入提示。對于第i個邊界框而言，第k個正向提示點(xi,k,yi,k)的坐標為：

12、k＝1,2,…,k,

13、其中，表示區間[a,b]上的均勻分布。所有正提示點的標簽設為li,k＝1；

14、b2、從已分割出的動物實體的掩碼中隨機選取k’個標簽設為li,k＝0的像素點作為負向提示點，以解決環境類實體通常不規則且與動物實體重疊度高的問題；

15、b3、將圖像i、提示點集合和邊界框集合輸入到微調后的sam中，生成圖像i中全部動物實體和環境實體的分割掩碼：

16、

17、進一步而言，步驟一中a3具體包括：

18、c0、通過計算掩碼集合中掩碼mj與對應邊界框bi的交并比(iou)以丟棄質量不佳的掩碼，保留高質量掩碼用以知識圖譜生成：

19、

20、c1、丟棄iou(mj,bi)<0.5的掩碼，獲得高質量掩碼集合用以表征動物實體及環境實體。

21、進一步而言，步驟二具體包括：

22、d0、對于任意兩個實體，基于視覺模型和掩碼抽取高級圖像語義特征；

23、d1、對于任意兩個實體，基于語言模型和實體類別名稱抽取高級文本語義特征；

24、d2、融合高級圖像語義特征和高級文本語義特征后，生成包含動物實體和環境實體的知識圖譜。

25、進一步而言，步驟二中d0具體包括：

26、e1、使用預訓練好的高效卷積神經網絡efficientnet-b4網絡和可以增強通道間特征表達的squeeze-and-excitation(se)模塊作為骨干模型抽取圖像的特征圖其中c＝1792；

27、e2、將高質量掩碼集合和特征圖f做像素點乘后獲得保留了實體信息的特征圖fv；

28、e3、使用包括兩層relu激活層、組歸一化(gn)和dropout層的全連接層對視覺特征抽取高級圖像語義特征hv：

29、hv＝dropout(gn(relu(w2·dropout(gn(relu(w1fv+b1)))+b2))),

30、其中，是全連接層的權重矩陣，hv為最終映射的512維向量。

31、進一步而言，步驟二中d1具體包括：

32、f1、將實體動物或環境的實體類別名稱ti輸入到bert(bidirectional?encoderrepresentations?from?transformers)模型中，獲得語義特征向量

33、f2、利用一層全連接層將語義特征向量fl降維至高級圖像語義特征一致，同時加入drop-out機制減輕過擬合后獲得高級語義文本特征：

34、hl＝dropout(gn(relu(wlfl+bl))),

35、其中，是全連接層的權重矩陣。

36、進一步而言，步驟二中d2具體包括：

37、g1、對于任意兩個實體，將高級圖像語義特征hv作為查詢(query)，高級文本語義特征hl作為鍵(key)和值(value)，利用多頭注意力機制獲取融合后的特征hfused＝multiheadattention(hv,hl,hl)；

38、g2、將融合特征hfused經過softmax層，得到任意兩個實體關系概率分布softmax(hfused)，將概率大于0.5的關系類型保留作為兩實體之間的關系，如不存在大于0.5的關系類型則表明這兩個實體間不存在關系。

39、g3、將實體和實體間關系和概率值存儲在多元數組，并利用知識圖譜可視化技術形成人類動物專家易于理解的動物行為知識圖譜。

40、本發明的有益效果是：本發明能夠自動從已普遍應用的陷阱相機等野生動物監測設備采集的數據中自動識別野生動物和環境實體，分析出動物行為后，可視化生成相應知識圖譜以便于野生動物專家理解和應用。