本發明涉及數據處理，尤其涉及基于大數據分析的水利數據處理方法、裝置及存儲介質。

背景技術：

1、水利數據處理主要依托于大數據、云計算、物聯網及人工智能等現代信息技術，其能夠實現對海量水利數據的實時采集、高效存儲、深度分析及智能決策，從而優化水資源配置，提升水利管理效率與決策精準度。

2、中國專利公開號：cn113626648a公開了一種水利數據處理系統、方法和存儲介質，包括水利數據獲取平臺、水利數據共享交換平臺、水利數據資源目錄平臺、水利數據統一服務平臺、水利數據資源運營管理平臺、水利數據智能平臺、水利數據治理平臺，其中，水利數據獲取平臺獲取水利數據后通過水利數據共享交換平臺匯聚資源池，水利數據資源目錄平臺對資源池數據進行編目管理，所述水利數據統一服務平臺和水利數據治理平臺從資源池中獲取所述水利數據并從水利數據智能平臺獲取算法和模型對水利數據進行處理后供水利數據資源運營管理平臺調用。該發明實現了對水利平臺中數據的統一管理，未實現結合水利數據和環境數據對高含沙量河道數據的監測，存在對水利數據處理效率低，對數據異常監測不準確的問題。

技術實現思路

1、本發明的目的在于提供基于大數據分析的水利數據處理方法、裝置及存儲介質，以解決現有技術存在的問題中的至少一個。

2、為實現上述目的，本發明采用了如下技術方案：

3、基于大數據分析的水利數據處理方法，包括：

4、采集水利數據和環境數據，并對采集到的數據進行預處理，以剔除異常數據；

5、構建數據節點，并對水利數據和環境數據進行權重分配，以得到水利環境參數，并結合數據節點、水利數據、水利環境參數分析水利節點特征；

6、存儲水利數據和環境數據，并分析水利數據預測值；

7、分析計算水利數據預測值與水利數據的數據殘差，并對數據殘差和水利節點特征進行耦合分析，以判斷數據狀態并預警；

8、采集預警后的預警反饋，以觸發特征優化規則。

9、進一步地，根據降水量對含沙量、土壤位移和泵機功率進行權重分配，若降水量小于等于8毫米，則設置水利環境參數的表達式為w(i)=α1×s(i)+α2×d(i)+α3×|δp(i)/t|；反之，則設置水利環境參數的表達式為w(i)=(α1+sdp)×s(i)+(α2-sdp)×d(i)+α3×|δp(i)/t|；其中，i表示數據節點編號，α1表示含沙量權重，s(i)表示含沙量，α2表示土壤位移權重，d(i)表示土壤位移，α3表示功率變化權重，δp(i)表示當前分析周期與上一分析周期泵機功率的變化量，t表示預設分析周期的時長，sdp表示降水補正參數。

10、進一步地，結合數據節點、水利數據和水利環境參數分析構建水利節點特征；

11、對水利數據和環境數據進行回歸分析，以分析水利數據預測值。

12、進一步地，將當前分析周期采集的水利數據與上一分析周期水利數據預測值的差值作為數據殘差；

13、分別計算水位殘差、含沙量殘差和降水量殘差的標準差，若當前分析周期的數據殘差大于2倍的其對應的數據的標準差，則判定當前分析數據為待定異常；反之，則判定當前分析數據為待定正常；并根據水位、含沙量和降水量中為待定異常的數據數量判斷數據狀態，若當前分析周期的水位、含沙量和降水量中為待定異常的數據數量大于等于2，則判定當前分析周期的數據狀態為異常，并預警；反之，則判定當前分析周期的數據狀態為正常。

14、進一步地，分別對水位殘差、含沙量殘差和降水量殘差與水利節點特征進行協方差分析，以得到協方差矩陣，設置水位殘差與水利節點特征的協方差矩陣為cov(rl(i),f(i,θ(i)))，設置含沙量殘差與水利節點特征的協方差矩陣為cov(rs(i),f(i,θ(i)))，設置降水量殘差與水利節點特征的協方差矩陣為cov(rm(i),f(i,θ(i)))；其中，rl(i)表示水位殘差，rs(i)表示含沙量殘差，m(i)表示降水量殘差；

15、依據協方差矩陣判斷特征關聯性，若cov(rl(i),f(i,θ(i)))大于等于協方差閾值，則判定水位特征關聯性強；反之，則判定水位特征關聯性弱；若cov(rs(i),f(i,θ(i)))大于等于協方差閾值，則判定含沙量特征關聯性強；反之，則判定含沙量特征關聯性弱；若cov(rm(i),f(i,θ(i)))大于等于協方差閾值，則判定降水量特征關聯性強；反之，則判定降水量特征關聯性弱。

16、進一步地，根據特征關聯性更新數據狀態的判斷過程，當數據狀態為異常時，若為待定異常的數據全為特征關聯性強，則更新數據狀態為嚴重異常；若為待定異常的數據中僅存在一種數據為特征關聯性強，則更新數據狀態為輕微異常；若為待定異常的數據的數據數量等于3且其中為特征關聯性強的數據數量等于2，則更新數據狀態為中度異常；當數據狀態為正常時，若存在一種為待定異常的數據且為待定正常的數據的全為特征關聯性弱，則更新數據狀態為輕微異常。

17、進一步地，依據特征決定系數和水利環境決定系數更新特征關聯性的判斷過程，若水利環境決定系數大于等于特征決定系數，則調整協方差閾值，以更新特征關聯性的判斷過程；反之，不更新特征關聯性的判斷過程；所述協方差閾值的調整方法為增大協方差閾值，增大量為[(0.8-協方差閾值)×(水利環境決定系數-特征決定系數)]。

18、進一步地，若存在連續三次預警反饋為誤報，則觸發特征優化規則，所述特征優化規則為若水位為待定異常且降水量為待定正常，則將泵機功率權重增大β，若含沙量為待定異常，則將含沙量權重降低β，若降水量為待定異常且水位為待定正常，則將泵機功率權重降低β；并將權重調整量均分至其他兩種數據的權重，其中，β表示百分比參數。

19、另一方面，本發明還提供一種基于大數據分析的水利數據處理裝置，包括：

20、采集處理模塊，用以采集水利數據和環境數據，并對采集到的數據進行預處理，以剔除異常數據；

21、構建分析模塊，用以構建數據節點，并對水利數據和環境數據進行權重分配，以得到水利環境參數，并結合數據節點、水利數據、水利環境參數分析水利節點特征；

22、存儲分析模塊，用以存儲水利數據和環境數據，并分析水利數據預測值；

23、狀態判斷模塊，用以分析計算水利數據預測值與水利數據的數據殘差，并對數據殘差和水利節點特征進行耦合分析，以判斷數據狀態并預警；

24、反饋優化模塊，用以采集預警后的預警反饋，以觸發特征優化規則。

25、另一方面，本發明還提供一種存儲介質，存儲有指令，當其在計算機上運行時，使得計算機執行如上任一項所述的方法。

26、本發明的有益效果如下：通過對水利數據和環境數據的采集分析，以融合含沙量數據與動態權重分配，實現高含沙量河道的精準異常監測，并使用協方差閾值與權重動態調整機制，以提升在惡劣天氣下的異常檢測準確率，并使用分級預警機制，以縮短應急響應時間。

技術特征：

1.一種基于大數據分析的水利數據處理方法，其特征在于，包括：

2.根據權利要求1所述的基于大數據分析的水利數據處理方法，其特征在于，根據降水量對含沙量、土壤位移和泵機功率進行權重分配，若降水量小于等于8毫米，則設置水利環境參數的表達式為w(i)=α1×s(i)+α2×d(i)+α3×|δp(i)/t|；反之，則設置水利環境參數的表達式為w(i)=(α1+sdp)×s(i)+(α2-sdp)×d(i)+α3×|δp(i)/t|；其中，i表示數據節點編號，α1表示含沙量權重，s(i)表示含沙量，α2表示土壤位移權重，d(i)表示土壤位移，α3表示功率變化權重，δp(i)表示當前分析周期與上一分析周期泵機功率的變化量，t表示預設分析周期的時長，sdp表示降水補正參數。

3.根據權利要求2所述的基于大數據分析的水利數據處理方法，其特征在于，結合數據節點、水利數據和水利環境參數分析構建水利節點特征；

4.根據權利要求3所述的基于大數據分析的水利數據處理方法，其特征在于，將當前分析周期采集的水利數據與上一分析周期水利數據預測值的差值作為數據殘差；

5.根據權利要求4所述的基于大數據分析的水利數據處理方法，其特征在于，分別對水位殘差、含沙量殘差和降水量殘差與水利節點特征進行協方差分析，以得到協方差矩陣，設置水位殘差與水利節點特征的協方差矩陣為cov(rl(i),f(i,θ(i)))，設置含沙量殘差與水利節點特征的協方差矩陣為cov(rs(i),f(i,θ(i)))，設置降水量殘差與水利節點特征的協方差矩陣為cov(rm(i),f(i,θ(i)))；其中，rl(i)表示水位殘差，rs(i)表示含沙量殘差，m(i)表示降水量殘差；

6.根據權利要求5所述的基于大數據分析的水利數據處理方法，其特征在于，根據特征關聯性更新數據狀態的判斷過程，當數據狀態為異常時，若為待定異常的數據全為特征關聯性強，則更新數據狀態為嚴重異常；若為待定異常的數據中僅存在一種數據為特征關聯性強，則更新數據狀態為輕微異常；若為待定異常的數據的數據數量等于3且其中為特征關聯性強的數據數量等于2，則更新數據狀態為中度異常；當數據狀態為正常時，若存在一種為待定異常的數據且為待定正常的數據的全為特征關聯性弱，則更新數據狀態為輕微異常。

7.根據權利要求6所述的基于大數據分析的水利數據處理方法，其特征在于，依據特征決定系數和水利環境決定系數更新特征關聯性的判斷過程，若水利環境決定系數大于等于特征決定系數，則調整協方差閾值，以更新特征關聯性的判斷過程；反之，不更新特征關聯性的判斷過程；所述協方差閾值的調整方法為增大協方差閾值，增大量為[(0.8-協方差閾值)×(水利環境決定系數-特征決定系數)]。

8.根據權利要求7所述的基于大數據分析的水利數據處理方法，其特征在于，若存在連續三次預警反饋為誤報，則觸發特征優化規則，所述特征優化規則為若水位為待定異常且降水量為待定正常，則將泵機功率權重增大β，若含沙量為待定異常，則將含沙量權重降低β，若降水量為待定異常且水位為待定正常，則將泵機功率權重降低β；并將權重調整量均分至其他兩種數據的權重，其中，β表示百分比參數。

9.一種基于大數據分析的水利數據處理裝置，應用于如權利要求1-8任一項所述的方法，其特征在于，包括：

10.一種存儲介質，其特征在于，存儲有指令，當其在計算機上運行時，使得計算機執行如權利要求1-8任一項所述的方法。

技術總結
本發明涉及數據處理技術領域，尤其涉及基于大數據分析的水利數據處理方法、裝置及存儲介質，包括采集水利數據和環境數據，并對采集到的數據進行預處理，以剔除異常數據；構建數據節點，并對水利數據和環境數據進行權重分配，以得到水利環境參數，并結合數據節點、水利數據、水利環境參數分析水利節點特征；存儲水利數據和環境數據，并分析水利數據預測值；分析計算水利數據預測值與水利數據的數據殘差，并對數據殘差和水利節點特征進行耦合分析，以判斷數據狀態并預警；采集預警后的預警反饋，以觸發特征優化規則。本發明實現了綜合水利數據中的多項參數對水利數據的精確監測處理。

技術研發人員：熊孟琴,趙建民,劉紅波,劉偉才,鄭艷軍,劉向楠
受保護的技術使用者：濰坊貝陽機械有限公司
技術研發日：
技術公布日：2025/4/28