本發明涉及基于神經網絡模型的異常預警，尤其涉及一種基于深度學習圖像處理的河流異常預警方法及系統。

背景技術：

1、極端天氣事件頻繁引發漂浮物堆積、河岸坍塌、水位異常等現象，這些問題不僅對河流生態環境造成嚴重破壞，還可能引發洪澇災害、交通中斷和基礎設施損壞等次生災害。傳統的河流監控方式多依賴人工巡邏和靜態視頻監控，雖然可以提供一定的監控保障，但由于覆蓋范圍有限、響應速度慢，且缺乏智能化分析處理能力，無法實時監控和高效管理動態異常狀況，從而導致安全隱患較大。

2、近年來，人工智能，尤其是基于深度學習的計算機視覺技術取得了顯著進展。多模態異常檢測模型作為一種創新性方法，能夠有效結合空間和時間的動態關系，已在多個領域展現出卓越的性能。多模態異常檢測模型能夠在河流環境中實時分析動態目標（如漂浮物、河岸裂縫等）的行為，克服了傳統方法在動態目標檢測中的局限性。

3、現有方法大多聚焦于靜態目標檢測和分類，缺乏對時間序列中動態特征的有效分析，導致無法準確識別河流環境中的實時動態異常。

技術實現思路

1、本發明提出一種基于深度學習圖像處理的河流異常預警方法及系統，以解決現有技術無法準確識別河流環境中的實時動態異常的問題。

2、本發明通過以下技術方案來實現上述目的：

3、本發明一種基于深度學習圖像處理的河流異常預警方法，包括：

4、獲取第一信息和第二信息，所述第一信息包括河流區域歷史的多模態數據集，所述第二信息包括河流區域實時的多模態數據集，所述多模態數據集包括河流區域監控的視頻數據、水文參數和環境參數；

5、對所述第一信息進行預處理，得到預處理數據；

6、根據所述預處理數據訓練預設的多模態異常檢測模型，所述多模態異常檢測模型包括cnn特征提取模塊、lstm特征提取模塊、圖卷積模塊、特征融合模塊和時空行為預測模塊，所述cnn特征提取模塊用于通過預訓練的cnn網絡對所述視頻數據進行特征提取，所述lstm特征提取模塊用于對水文參數和環境參數進行特征提取，所述圖卷積模塊用于使用圖卷積網絡對cnn特征提取模塊輸出的時空特征進行建模，所述特征融合模塊用于將所述lstm特征提取模塊的輸出和所述圖卷積模塊的輸出進行拼接，所述時空行為預測模塊用于融合特征通過若干全連接層處理，輸出目標的空間位置和行為預測結果；

7、將所述第二信息預處理后輸入訓練好的多模態異常檢測模型，輸出河流異常預警結果。

8、進一步地，獲取多模態數據集，包括：

9、獲取河流區域的多光譜視頻數據；

10、獲取微型水文監測站的檢測數據，檢測數據包括水利設施上游處和漂浮物聚集敏感區的濁度檢測數據、ph值測量數據、流速數據；

11、獲取環境傳感器監測到的環境參數，所述環境參數包括降水量、風速、溫度、濕度。

12、進一步地，所述預處理步驟包括：

13、基于高斯濾波算法對待處理數據中的視頻數據進行去噪處理，所述待處理數據為第一信息或第二信息；

14、基于采用對比度受限自適應直方圖均衡化算法對去噪后的數據進行增強處理；

15、基于卷積神經網絡的光照歸一化模型對增強后的數據進行光照歸一化處理；

16、基于自適應retinex分解方法對光照歸一化處理后的數據消除反射干擾處理；

17、基于最小-最大歸一化方法對所述待處理數據中的流速數據進行歸一化處理；

18、基于標準化方法對所述濁度數據進行歸一化處理；

19、對所述環境參數對進行歸一化處理，使得所述環境參數與所述視頻數據和水文參數為同一尺度。

20、進一步地，根據所述預處理數據訓練預設的多模態異常檢測模型，包括：

21、構建多模態異常檢測模型；

22、利用pytorch框架對所述多模態異常檢測模型進行訓練，學習率初始為0.01，采用余弦退火策略動態調整，批量大小取256，使用adam優化器優化；

23、優化的損失函數包括：

24、，

25、，

26、其中，為邊界框損失，為時空特征損失，n是目標總數，c是目標類別數量，是目標i的真實類別分布，是所述多模態異常檢測模型預測的目標i屬于類別k的概率值，areaofoverlap代表預測邊界框和真實邊界框重疊區域的面積，areaofunion代表預測邊界框和真實邊界框的總面積；

27、訓練時加入數據增強策略：包括在-15°到15°范圍內隨機旋轉圖像，在0.8到1.2倍范圍內隨機調整亮度，隨機裁剪圖像的邊緣部分以增加數據的多樣性，模型訓練共進行100個epoch，每個epoch結束時對驗證集進行評估，當平均精度達到90%以上時，停止訓練。

28、進一步地，所述圖卷積模塊的計算公式如下：

29、，

30、其中，為時空鄰接矩陣，表示圖中節點間的時空連接，為第l層的卷積核權重，為激活函數。

31、進一步地，所述特征融合模塊用于將所述lstm特征提取模塊的輸出和所述圖卷積模塊的輸出進行拼接后，所述特征融合模塊還用于：

32、將所述拼接得到的特征輸入全連接層，輸出特征向量；

33、將所述特征向量輸入softmax激活函數，得到權重向量；

34、將所述權重向量分別與所述lstm特征提取模塊的輸出和所述圖卷積模塊的輸出相乘后再將特征進行拼接。

35、進一步地，還包括所述河流異常預警結果中異常預警的異常事件，系統實時觸發預警機制，生成報警信息并推送至監控中心，同時記錄異常事件的視頻片段。

36、進一步地，還包括對所述河流異常預警結果進行匯總與分析，生成包括異常事件頻率、發生時間和區域分布在內的監控報告。

37、進一步地，還包括結合新增采集的數據，通過增量學習對所述多模態異常檢測模型進行優化，并利用版本管理工具對所述多模態異常檢測模型的迭代優化過程進行記錄。

38、本發明還提供了用于一種基于深度學習圖像處理的河流異常預警方法的系統，包括：

39、視頻監控設備，所述視頻監控設備包括根據河流地形特征和監測重點區域在河流區域部署的多光譜智能監控設備：

40、微型水文監測站，所述微型水文監測站布設在水利設施上游50米處、漂浮物聚集敏感區；

41、環境傳感器，所述環境傳感器包括根據河流地形特征和監測重點區域在河流區域部署的降水量傳感器、風速傳感器、溫度傳感器和濕度傳感器；

42、數據采集與存儲系統，所述數據采集與存儲系統與所述視頻監控設備、微型水文監測站、環境傳感器分別相連，所述數據采集與存儲系統用于采集和存儲采集到的視頻數據、水文參數和環境參數；

43、獲取模塊，所述獲取模塊用于獲取數據采集與存儲系統采集的信息，所述信息包括第一信息和第二信息，所述第一信息包括河流區域歷史的多模態數據集，所述第二信息包括河流區域實時的多模態數據集，所述多模態數據集包括河流區域監控的視頻數據、水文參數和環境參數；

44、預處理模塊，所述預處理模塊用于對所述第一信息進行預處理，得到預處理數據；

45、訓練模塊，所述訓練模塊用于根據所述預處理數據訓練預設的多模態異常檢測模型，所述多模態異常檢測模型包括cnn特征提取模塊、lstm特征提取模塊、圖卷積模塊、特征融合模塊和時空行為預測模塊，所述cnn特征提取模塊用于通過預訓練的cnn網絡對所述視頻數據進行特征提取，所述lstm特征提取模塊用于對水文參數和環境參數進行特征提取，所述圖卷積模塊用于使用圖卷積網絡對cnn特征提取模塊輸出的時空特征進行建模，所述特征融合模塊用于將所述lstm特征提取模塊的輸出和所述圖卷積模塊的輸出進行拼接，所述時空行為預測模塊用于融合特征通過若干全連接層處理，輸出目標的空間位置和行為預測結果；

46、預警模塊，所述預警模塊用于將所述第二信息預處理后輸入訓練好的多模態異常檢測模型，輸出河流異常預警結果。

47、本發明的有益效果在于：

48、本發明提出的一種基于深度學習圖像處理的河流異常預警方法及系統通過深度學習目標檢測技術與多模態異常檢測模型的結合，結合多模態數據融合與物理約束優化，開發了一套高效智能的河流異常預警系統。該系統不僅能夠實現河流環境的全局監控和精準異常檢測，還能動態地分析和預測潛在的風險，顯著提升系統在復雜環境中的適應能力，為河流安全管理提供更智能、自動化的技術支持。