本發明涉及智能監控與自動化控制，具體涉及基于多模態感知的智能驅鳥方法和系統。

背景技術：

1、在農業、機場、電力設施等場景中，鳥類活動常常帶來一系列問題，如農作物受損、飛行安全隱患以及電力設施短路等。傳統的驅鳥方法，如設置假人、使用化學藥劑或聲音驅趕等，往往存在效率低、效果不持久或對環境造成污染等問題。隨著科技的進步，人們開始嘗試利用智能化手段進行驅鳥。然而，現有的智能驅鳥方法大多僅依賴于單一模態的傳感器信息，如僅依靠聲音或圖像數據，導致對鳥類活動的監測不夠全面和準確。因此，如何實現對鳥類活動的精準監測與有效驅趕，成為亟待解決的問題。

技術實現思路

1、針對上述存在的技術不足，本發明的目的是提供基于多模態感知的智能驅鳥方法和系統，解決現有技術中驅鳥方法效率低、效果差，難以實現對鳥類活動的精準監測與有效驅趕的問題。

2、為解決上述技術問題，本發明采用如下技術方案：

3、第一方面，本發明提供基于多模態感知的智能驅鳥方法，所述方法包括：

4、步驟s100：利用聲音傳感器和深度相機獲取實時鳥類信息；

5、步驟s200：對實時鳥類信息進行數據預處理；

6、步驟s300：根據歷史鳥類信息，基于多模態融合的深度學習算法建立鳥類檢測模型；

7、步驟s400：將預處理后的實時鳥類信息輸入鳥類檢測模型，輸出鳥類的行為模式和實時位置；

8、步驟s500：根據鳥類的行為模式和實時位置，通過驅鳥手段進行干預。

9、優選地，在第一方面的一種可能的實施方式中，所述鳥類信息包括聲音傳感器數據和鳥類深度圖像數據。

10、優選地，在第一方面的一種可能的實施方式中，所述數據預處理包括對聲音傳感器數據進行頻譜分析和特征提取以及對鳥類深度圖像數據進行圖像增強和校正處理。

11、優選地，在第一方面的一種可能的實施方式中，所述歷史鳥類信息包括歷史聲音傳感器數據和歷史鳥類深度圖像數據。

12、優選地，在第一方面的一種可能的實施方式中，所述基于多模態融合的深度學習算法包括：

13、數據嵌入層，用于將歷史聲音傳感器數據和歷史鳥類深度圖像數據嵌入到高維空間中，形成各自的模態特征向量；

14、圖構建層，根據嵌入后的模態特征向量，為每個監測區域構建多模態圖，這些圖包括代表同一模態內特征的同質節點、代表不同模態間特征的異質節點，以及表示模態內的順序關系和模態間的相互依賴關系的邊；

15、圖注意力機制層，在構建好的多模態序列圖上，應用雙重注意力機制來獨立聚合異構和同構節點信息，自適應地關注重要的節點和關系；

16、異步更新層，通過更新門異步更新每個節點的表示，每個模態優先考慮其固有的順序性或其與另一模態的相互作用；

17、輸出層，根據異步更新層輸出的節點表示，應用分類和回歸算法來輸出鳥類的行為模式和實時位置。

18、優選地，在第一方面的一種可能的實施方式中，所述行為模式包括飛行姿態、棲息狀態以及覓食狀態。

19、優選地，在第一方面的一種可能的實施方式中，所述步驟s400具體包括：將預處理后的聲音傳感器數據和鳥類深度圖像數據輸入到鳥類檢測模型中，模型首先通過數據嵌入層將輸入數據轉換為模態特征向量，然后在圖構建層構建多模態圖，接著在圖注意力機制層應用雙重注意力機制聚合節點信息，通過異步更新層更新節點表示，最后在輸出層應用分類和回歸算法輸出鳥類的行為模式和實時位置。

20、優選地，在第一方面的一種可能的實施方式中，所述驅鳥手段包括：

21、當鳥類處于棲息狀態時，采用聲音干擾裝置播放特定頻率的聲音以驅趕鳥類；

22、當鳥類處于飛行姿態時，利用光束驅鳥裝置發射強光光束干擾鳥類的飛行路徑；

23、當鳥類處于覓食狀態時，通過機械式驚鳥裝置產生突發聲響或物理震動來驚擾鳥類。

24、第二方面，本發明提供基于多模態感知的智能驅鳥系統，所述系統包括：

25、數據采集模塊，用于利用聲音傳感器和深度相機獲取實時鳥類信息；

26、數據預處理模塊，對采集到的聲音和圖像數據進行預處理，包括頻譜分析、特征提取、圖像增強和校正等；

27、模型訓練模塊，根據歷史鳥類信息，基于多模態融合的深度學習算法建立鳥類檢測模型；

28、實時檢測模塊，將預處理后的實時鳥類信息輸入到訓練好的模型中，輸出鳥類的行為模式和實時位置；

29、驅鳥控制模塊，根據檢測到的行為模式和位置信息，選擇合適的驅鳥手段進行干預。

30、本發明的有益效果在于：通過融合聲音傳感器數據和深度相機圖像數據，實現了對鳥類活動的全面監測。利用深度學習算法和多模態融合技術，建立了高精度的鳥類檢測模型，能夠準確識別鳥類的行為模式和實時位置。同時，根據鳥類的不同行為模式，本發明還設計了多種驅鳥手段，實現了對鳥類活動的精準干預。相比傳統驅鳥方法，本發明具有更高的效率和更好的效果，能夠顯著降低鳥類活動帶來的損失和風險。此外，本發明還具有環境友好、易于部署和維護等優點，具有廣泛的應用前景和市場價值。

技術特征：

1.基于多模態感知的智能驅鳥方法，其特征在于，所述方法包括：

2.如權利要求1所述智能驅鳥方法，其特征在于，所述鳥類信息包括聲音傳感器數據和鳥類深度圖像數據。

3.如權利要求1所述智能驅鳥方法，其特征在于，所述數據預處理包括對聲音傳感器數據進行頻譜分析和特征提取以及對鳥類深度圖像數據進行圖像增強和校正處理。

4.如權利要求1所述智能驅鳥方法，其特征在于，所述歷史鳥類信息包括歷史聲音傳感器數據和歷史鳥類深度圖像數據。

5.如權利要求1所述智能驅鳥方法，其特征在于，所述基于多模態融合的深度學習算法包括：

6.如權利要求5所述智能驅鳥方法，其特征在于，所述行為模式包括飛行姿態、棲息狀態以及覓食狀態。

7.如權利要求5所述智能驅鳥方法，其特征在于，所述步驟s400具體包括：將預處理后的聲音傳感器數據和鳥類深度圖像數據輸入到鳥類檢測模型中，模型首先通過數據嵌入層將輸入數據轉換為模態特征向量，然后在圖構建層構建多模態圖，接著在圖注意力機制層應用雙重注意力機制聚合節點信息，通過異步更新層更新節點表示，最后在輸出層應用分類和回歸算法輸出鳥類的行為模式和實時位置。

8.如權利要求1所述智能驅鳥方法，其特征在于，所述驅鳥手段包括：

9.基于多模態感知的智能驅鳥系統，其特征在于，所述系統包括：

技術總結
本發明涉及智能監控與自動化控制檢測技術領域，公開了基于多模態感知的智能驅鳥方法和系統。該方法融合了聲音傳感器數據和深度相機圖像數據，以全面監測鳥類活動。通過深度學習算法和多模態融合技術，建立了高精度的鳥類檢測模型，能夠準確識別鳥類的行為模式和實時位置。根據鳥類的不同行為模式，設計了聲音干擾、光束驅鳥和機械式驚鳥多種驅鳥手段，實現了對鳥類活動的精準干預。相比傳統驅鳥方法，本發明具有更高的效率和更好的效果，能夠顯著降低鳥類活動帶來的損失和風險，同時具備環境友好、易于部署和維護等優點，具有廣泛的應用前景和市場價值。

技術研發人員：高鵬,趙波,段迎春
受保護的技術使用者：南京思宇電氣技術有限公司
技術研發日：
技術公布日：2025/4/6