本發明屬于數據質量控制，尤其涉及一種湖泊水質監測數據質量控制方法及系統。

背景技術：

1、本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

2、浮標自動監測系統是實現水質連續監測的重要技術手段之一。通過浮標的連續觀測，水質變化特征從過去的定性描述逐步轉變為精確的定量測量。同時，隨著監測數據的長期積累，這些數據將為開展大尺度水環境時空變化研究提供寶貴的基礎信息。作為內陸水體，湖泊的水質監測在環境保護和水資源管理中具有重要作用。浮標自動監測系統能持續提供水質數據，但由于設備長期運行，某些參數可能出現漂移，加之湖泊環境的獨特性，如水流緩慢、水體交換能力低和季節性變化顯著等，數據質量控制面臨諸多挑戰。

3、發明人發現，現有的水質數據質量控制方法主要存在以下問題：在質量控制過程中，很多方法常常涉及到人為設定的檢測標準或閾值，這些閾值無法適用于所有水域，人為設定的閾值也可能對數據的分布形態過于敏感，導致在數據分布不均勻或存在極端值的情況下，異常值的判定可能不準確，同時，此類方案依賴于先驗知識，即需要依賴于先驗知識或歷史數據來設定閾值，這限制了質量控制方法的普適性和靈活性；其次，現有的水質數據質量控制方法流程主要針對于海洋水域類型，但由于湖泊環境的特殊性，直接應用于湖泊水域，會出現數據控制效果不佳的情況，對于湖泊水域缺乏具有針對性且效果良好的數據質量控制策略。

技術實現思路

1、本發明實施例提供了一種湖泊水質監測數據質量控制方法及系統，以解決傳統方案需要人為參與，且依賴于先驗知識，導致質量控制結果準確性和適用性較差的問題；以及湖泊環境的特殊性無法直接利用現有方法的問題。

2、根據本發明實施例的第一個方面，提供了一種湖泊水質監測數據質量控制方法，包括：

3、獲取湖泊水質監測數據，并進行相應預處理；

4、對于預處理后的湖泊水質監測數據，根據是否發生特殊事件進行分類，獲得特殊事件對應的湖泊水質監測數據以及非特殊事件對應的湖泊水質監測數據，其中，所述特殊事件為人為因素和環境因素導致的湖泊水質異常發生的事件；

5、對非特殊事件對應的湖泊水質監測數據進行季節性異常值分析，獲得初始異常數據；其中，所述季節性異常值分析具體為：對湖泊水質監測數據進行季節性劃分，針對每個季節的數據分別執行3σ分析和箱型圖分析，獲得初始異常數據；

6、對于獲得的初始異常數據，基于混合檢驗策略，獲得真實異常值并進行異常值剔除；

7、對于湖泊水質監測數據中原有的缺失值以及因異常值剔除產生的缺失值，基于缺失值的鄰近數據進行缺失值補全。

8、進一步的，所述針對每個季節的數據分別執行3σ分析和箱型圖分析，獲得初始異常數據，具體為：對于每個季節的湖泊水質監測數據分別進行均值和標準差計算；基于湖泊水質監測數據中與均值的偏差超過三倍標準差的監測數據，構建第一初始異常數據集；對于每個季節的湖泊水質監測數據，執行箱型圖分析，確定上四分位數、下四分位數以及四分位距，基于所述上四分位數、下四分位數以及四分位距，確定第二初始異常數據集；基于所述第一初始異常數據集和第二初始異常數據集的交集，獲得初始異常數據。

9、進一步的，基于混合檢驗策略，獲得真實異常值，具體為：基于獲得的初始異常數據，分別執行范圍檢驗法、均方差檢驗法以及尖峰檢驗萊因達法，獲得第一異常數據集、第二異常數據集和第三異常數據集；基于所述第一異常數據集、第二異常數據集和第三異常數據集的并集，獲得真實異常數據。

10、進一步的，所述特殊事件包括但不限于污染事件或赤潮事件。

11、進一步的，基于缺失值的鄰近數據進行缺失值補全，具體為：基于k近鄰算法確定缺失值數據的預設數量的鄰近數據，基于所述鄰近數據的均值進行缺失值補全。

12、進一步的，所述近鄰數據的確定基于監測數據時間序列中的位置關系，結合k近鄰算法來確定近鄰數據，或，通過對監測數據進行多維特征提取，基于不同監測數據之間的相似度計算結果確定近鄰數據。

13、根據本發明實施例的第二個方面，提供了一種湖泊水質監測數據質量控制系統，包括：

14、數據獲取單元，其用于獲取湖泊水質監測數據，并進行相應預處理；

15、數據分類單元，其用于對于預處理后的湖泊水質監測數據，根據是否發生特殊事件進行分類，獲得特殊事件對應的湖泊水質監測數據以及非特殊事件對應的湖泊水質監測數據，其中，所述特殊事件為人為因素和環境因素導致的湖泊水質異常發生的事件；

16、初始異常數據獲取單元，其用于對非特殊事件對應的湖泊水質監測數據進行季節性異常值分析，獲得初始異常數據；其中，所述季節性異常值分析具體為：對湖泊水質監測數據進行季節性劃分，針對每個季節的數據分別執行3σ分析和箱型圖分析，獲得初始異常數據；以及，對于特殊事件對應的湖泊水質監測數據進行獨立分析，確定初始異常數據；

17、異常值剔除單元，其用于對于獲得的初始異常數據，基于混合檢驗策略，獲得真實異常值并進行異常值剔除；

18、缺失值填充單元，其用于對于湖泊水質監測數據中原有的缺失值以及因異常值剔除產生的缺失值，基于缺失值的鄰近數據進行缺失值補全。

19、根據本發明實施例的第三個方面，提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上運行的計算機程序，所述處理器執行所述程序時實現所述的一種湖泊水質監測數據質量控制方法。

20、根據本發明實施例的第四個方面，提供了一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現所述的一種湖泊水質監測數據質量控制方法。

21、根據本發明實施例的第五個方面，提供了一種計算機程序產品，其包括計算機程序，所述計算機程序被處理器執行時實現所述的一種湖泊水質監測數據質量控制方法。

22、以上一個或多個技術方案存在以下有益效果：

23、(1)本發明提供了一種湖泊水質監測數據質量控制方法及系統，所述方案不需要人為進行閾值參數的設置，且不需要先驗知識的輔助，所述方案基于湖泊環境的特殊性，采用季節性異常分析的方式，將數據進行季節性劃分，分別進行初始異常數據的判斷；并通過混合驗證策略，對獲得的初始異常值進行二次驗證，有效保證了異常數據識別的準確性，并基于其鄰域數據對異常數據進行補全，有效保證了湖泊水質監測數據的數據質量。

24、(2)本發明所述方案通過將湖泊水質監測數據根據是否發生特殊事件進行分類，對特殊事件下的數據進行獨立分析的方式，有效避免了特殊事件下的數據被誤識別為異常數據的情況，提高了本發明所述方案的適應性。

25、(3)本發明所述方案在保證數據質量控制準確度的同時，能夠適應內陸水質特征復雜的湖泊水體類型，并具備較佳的數據質量控制效果，對于未來內陸湖泊浮標數據質量控制發展具有重要意義。

26、本發明附加方面的優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。