本發明涉及電力信息,尤其涉及一種配電網數據檢驗方法、系統、設備及其存儲介質。
背景技術:
1、隨著能源互聯網的發展,電力系統的結構和運行方式日趨擴大和復雜化,對作為核心組成部分的電網管理控制系統處理電網的規模和數據質量提出了新的要求,為保障電力系統運行數據的安全性和準確性,要求現場運行人員能夠快速、準確、全面的掌握電力系統數據的實際運行狀態,了解和分析電力系統的數據質量。傳統電網機械性的針對數據進行規則校驗,數據檢測的范圍較窄以及不夠深入,難以為后續優化決策提供足夠的分析支撐。
2、未來能源互聯網的應用功能,要求模型全、數據全、功能全,因而計算所需數據規模更大;對數據精度提出了更高需求。這些特征都要求數據準確性的大幅度提升,電力系統分析的計算數據量通常以電網節點數的平方比例增長,隨著系統規模的不斷增大,現代大電網分析的計算數據量將持續地增長,需要采取有效措施,使數據質量成指數倍地提高,才能使各項應用功能才在大電網一體化分析決策中發揮作用。
技術實現思路
1、發明目的:本發明的目的是提供一種配電網數據檢驗方法、系統、設備及其存儲介質,用以在數據量大且數據標準相對模糊的情況下進行有效數據校核。
2、技術方案:本發明所述的配電網數據檢驗方法包括如下步驟:
3、(1)規則校驗對應數據,校驗規則設計;
4、(2)對多源數據進行一致性數據校核;
5、(3)對核心數據進行合規性和有效性校核;
6、(4)在規則校驗基礎上增加機器學習算法校驗。
7、進一步地,所述步驟(1)校驗規則設計過程中遵循的準則為完整性、一致性以及準確性。
8、進一步地,所述步驟(1)校驗規則基于機器學習算法進行模糊數據篩選的設計,包括:
9、(1.1)直接對具備明顯邊界的設備數據進行判斷,并從設備基礎數據庫進行查詢整理。
10、(1.2)對設備基礎數據的查詢整理要整合多方面數據源進行源數據比對,對同一設備在不同數據源中的差異進行特征提取,根據提取出的特征進行后續的數據治理以及模型調整。
11、進一步地,所述步驟(2)包括對多個數據源的設備數據進行一致性篩查時,從不同來源獲取的數據在邏輯和內容上都保持一致,對比設備的狀態和事件數據在不同數據源中一致,使用可視化工具直觀展示數據一致性情況。
12、進一步地,所述步驟(3)驗證數據包括配電自動化原始數據、電網資源業務中臺模型信息、可信監控數據以及配網終端信息、配網自動化設備、配網饋線信息、da過程信息、通訊終端、終端投退信息、開關臺帳、配變臺帳和饋線臺帳。
13、進一步地,所述步驟(3)包括驗證數據是否落在指定的范圍內、檢查數據之間的引用關系是否正確。
14、進一步地,所述步驟(4)包括:(4.1)在構建孤立森林之前,需要確定森林中的
15、樹的數量,每棵樹稱為孤立樹;
16、(4.2)對于每棵孤立樹,從原始特征集中隨機選擇一個特征,在特征的取值范圍內隨機選擇一個切分點,將數據分成兩部分,對每個分割出的子集遞歸地重復上述步驟,直到滿足子集大小達到預設的最小樣本數或者子集無法進一步切分,即只有一個樣本或所有樣本的特征值相同;
17、(4.3)對于一個給定樣本,計算其在每棵孤立樹上的路徑長度,即從根節點到該樣本的葉節點的路徑長度;
18、(4.4)在所有孤立樹上計算該樣本的平均路徑長度;
19、(4.5)使用公式將路徑長度轉換為異常分數。異常分數越高,表示樣本越可能是異常點;
20、(4.6)根據計算出的異常分數,對樣本進行排序,分數高的樣本被認為是異常樣本;
21、(4.7)選擇一個閾值,將異常分數高于該閾值的樣本標記為異常,閾值的選擇可以根據具體應用需求和評估結果來確定;
22、(4.8)機器學習算法應用結束。
23、本發明所述的配電網數據檢驗系統,其特征在于,包括:
24、規則設定模塊,用于根據對應數據進行校驗規則設計;
25、校驗模塊,用于對多源數據進行一致性數據校核,對核心數據進行合規性和有效性校核;
26、機器學習模塊,用于在規則校驗基礎上增加機器學習算法進行校驗。
27、本發明所述處理器執行所述程序時實現根據權利要求1-7任一項所述的配電網數據檢驗方法。
28、本發明所述計算機程序被設計為運行時實現根據權利要求1至7任一項所述的配電網數據檢驗方法。
29、有益效果:本發明與現有技術相比,具有如下顯著優點:
30、在數據同步方面,利用設備唯一性的準則,實現了對設備臺賬數據同步的設計工作;
31、在數據規則設定方面,基于數據模型設計,實現了對電氣設備的各維度標準的全面篩查,獲得了比人工核查數據更加優異的數據管理效率;
32、在數據校核方面,根據設備數據的性質和開斷設備的狀態實現對電網數據范圍劃分,將機器學習技術無縫嵌套在規則校驗的開發語言中,消除了數據誤判、數據漏判,極大減少了數據校核的時間開銷,提升了數據核查效率。
1.一種配電網數據檢驗方法,其特征在于,所述方法包括如下步驟:
2.根據權利要求1所述的配電網數據檢驗方法,其特征在于,所述步驟(1)校驗規則設計過程中遵循的準則為完整性、一致性以及準確性。
3.根據權利要求1所述的配電網數據檢驗方法,其特征在于,所述步驟(1)校驗規則基于機器學習算法進行模糊數據篩選的設計,包括:
4.根據權利要求1所述的配電網數據檢驗方法,其特征在于,所述步驟(2)包括對多個數據源的設備數據進行一致性篩查時,從不同來源獲取的數據在邏輯和內容上都保持一致,對比設備的狀態和事件數據在不同數據源中一致,使用可視化工具直觀展示數據一致性情況。
5.根據權利要求1所述的配電網數據檢驗方法,其特征在于,所述步驟(3)驗證數據包括配電自動化原始數據、電網資源業務中臺模型信息、可信監控數據以及配網終端信息、配網自動化設備、配網饋線信息、da過程信息、通訊終端、終端投退信息、開關臺帳、配變臺帳和饋線臺帳。
6.根據權利要求1所述的配電網數據檢驗方法,其特征在于,所述步驟(3)包括驗證數據是否落在指定的范圍內、檢查數據之間的引用關系是否正確。
7.根據權利要求1所述的配電網數據檢驗方法,其特征在于,所述步驟(4)包括:
8.一種配電網數據檢驗系統,其特征在于,包括:
9.一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序,其特征在于,所述處理器執行所述程序時實現根據權利要求1-7任一項所述的配電網數據檢驗方法。
10.一種存儲介質,存儲有計算機程序,其特征在于,所述計算機程序被設計為運行時實現根據權利要求1至7任一項所述的配電網數據檢驗方法。