本發明涉及電力數字管理，具體涉及一種面向高比例新能源水電區域的采集、匯聚管理方法及設備。

背景技術：

1、可再生能源與水電、儲能等靈活資源打捆形成一體化協調運行是近幾年涌現出的重要新型發電系統，通過協調運行，可大幅提高可再生能源消納，為電網提供可控、可調節和穩定的電力供應。同時，隨著電力量測和通信技術的快速發展，廣域量測和外部信息（環境、氣象、社會等）等大量信息的接入，電力系統已經發展成為一個具有多源信息交互的復雜高維異構的電力信息物理系統。上述背景下，新能源大量接入的水電區域電力系統表現出數據量龐大、變量錯綜復雜的特性，這些特點顯著影響了電力系統的分析和調度模型的建立。因此，亟需根據電網、新能源多源異構數據的特點，定義數據的標準格式，統一異構數據的轉換格式，實現數據的無縫管理，解決新能源消納過程中數據融合與清理、存取優化等關鍵問題。

技術實現思路

1、本發明提供一種面向高比例新能源水電區域的采集、匯聚管理方法及設備，旨在解決上述技術問題。

2、為解決上述技術問題，本發明所采用的技術方案是：

3、面向高比例新能源水電區域的多源多維數據采集方法，包括：

4、step1、數據采集；以目標水電站及其近區的區域電網為目標，以目標范圍內的數據采集與監視控制系統scada、能量管理系統ems、廣域監測系統wams、配電管理系統dms、用電信息采集系統、營銷管理系統、配網微型同步相量測量裝置d-pmu、?高級量測體系ami等內部數據，地理信息系統gis、氣象信息系統、互聯網數據、公共服務部門數據、社會經濟數據等外部數據為基礎進行數據采集；

5、step2、基于神經網絡的數據預處理；獲取原始數據后，考慮數據的格式、完整性以及同步性，進行數據的預處理。

6、上述的step2中數據預處理的具體內容包括：

7、1）數據格式校驗：使用數據驗證規則以檢查數據是否符合預期的格式和范圍，包括數據長度、數據類型以及數據范圍的校驗；

8、2）數據缺失處理：通過神經網絡預測數據缺失部分并進行重建；

9、3）數據異常處理：基于多源數據互校核的不良數據甄別，通過基于規則的神經網絡分類器，將數據之間的規則構造成神經元與神經元之間的關聯系數，訓練多源數據訓練得到的神經網絡可以甄別出違背規則的數據；

10、4）數據異常處理：數據重復處理：使用siamese孿生神經網絡清除重復數據，將數據輸入兩個神經網絡，兩個神經網絡分別將輸入映射到新的空間，并通過損失函數的計算判斷數據的相似程度，以此判別重復重復數據，損失函數如下所示：

11、

12、其中y代表輸入數據x是否屬于同一類別；輸入同一類別為0，不屬于同一類別為1。

13、上述兩個神經網絡可分別為lstm和cnn。

14、使用上述的面向高比例新能源水電區域的多源多維數據采集方法的匯聚管理方法，匯聚管理方法包括：

15、step1、數據匯集；實時數據云平臺內置實時數據服務，且實時數據云平臺內的實時數據服務作為應用代理向各個區域的實時數據服務請求數據，并將各個區域返回的數據綜合分析后提供給各應用；應用使用id作為全局唯一索引訪問數據，代理分析id所屬的維護區域，以維護區域的實時數據作為數據來源；應用需要的數據屬于不同的維護區域時，由代理負責向不同的區域請求數據，并在合并后返回給應用，實時數據的實際存儲方式和位置對應用是透明的；

16、step2、基于rdf的信息模型驗證；

17、step3、多源多維數據管理。

18、上述的step2中基于rdf的信息模型驗證具體包括：

19、step2.1、基于信息模型的定義，編寫shacl約束規則，包括數據類型約束sh:datatype、屬性約束sh:propertyshape以及值約束sh:in、sh:mincount、sh:maxcount?；

20、step2.2、使用rdflib工具提取示例數據的rdf信息；

21、step2.3、使用shacl驗證引擎執行驗證操作，查找不符合約束規則的錯誤信息并進行修正。

22、上述的step3中多源多維數據管理包括：

23、1）利用設計存算分離的分布式存儲架構，將待清洗數據通過hdfs部署在一個獨立集群中，將數據清洗算法通過hadoop計算組件部署在另一個集群中，實現計算和存儲按需彈性擴展，滿足數據的高效共享；

24、2）使用數據立方對匯集數據進行存儲；根據確定的維度和度量，設計數據模型的事實表和維度表；通過數據提取、轉換和加載將處理好的電力數據加載到設計好的事實表和維度表中；同時建立數據索引，包括數據庫的名字和屬性、數據庫中的表、表的名字、表的列和分區及其屬性、表的屬性以及表的數據所在目錄等。

25、使用上述的數據匯聚管理方法的電子設備，電子設備包括處理器、通信接口、存儲器和通信總線，處理器，通信接口，存儲器通過通信總線完成相互間的通信，處理器可以調用存儲器中的邏輯指令，以執行實時數據匯集及處理方法。

26、上述的存儲器中的邏輯指令通過軟件功能單元的形式實現，并作為獨立的產品銷售或使用。

27、本發明提供一種面向高比例新能源水電區域的采集、匯聚管理方法及設備，在新能源裝機容量急劇上升、電力量測通信設備大量接入的趨勢下，針對海量數據多源異構且缺少統一數據管理工具的問題，提出了多源多維數據采集和管理方法，并在理論基礎上完成了相關設備及裝置。該方法可高效采集區域內多源電氣/非電氣信息，通過數據立方以統一結構在云平臺進行分布式存儲，有利于海量信息的讀取及調用。為區域電網數字孿生建模及智能調度這一業務提供了技術支撐。

技術特征：

1.面向高比例新能源水電區域的多源多維數據采集方法，其特征在于，包括：

2.根據權利要求1中所述的面向高比例新能源水電區域的多源多維數據采集方法，其特征在于，所述的step2中數據預處理的具體內容包括：

3.使用權利要求2所述的面向高比例新能源水電區域的多源多維數據采集方法的匯聚管理方法，其特征在于，匯聚管理方法包括：

4.根據權利要求3所述的面向高比例新能源水電區域的多源多維數據匯聚管理方法，其特征在于，所述的step2中基于rdf的信息模型驗證具體包括：

5.根據權利要求4所述的面向高比例新能源水電區域的多源多維數據匯聚管理方法，其特征在于，所述的step3中多源多維數據管理包括：

6.使用權利要求5所述的數據匯聚管理方法的電子設備，其特點在于，電子設備包括處理器、通信接口、存儲器和通信總線，處理器，通信接口，存儲器通過通信總線完成相互間的通信，處理器可以調用存儲器中的邏輯指令，以執行實時數據匯集及處理方法。

7.根據權利要求6中所述的面向高比例新能源水電區域的多源多維數據的電子設備，其特點在于，所述的存儲器中的邏輯指令通過軟件功能單元的形式實現，并作為獨立的產品銷售或使用。

技術總結
本發明公開了一種面向高比例新能源水電區域的采集、匯聚管理方法及設備，該方法通過目標區域內的數據采集與監視控制系統SCADA等對多類型數據進行采集，通過基于神經網絡的數據預處理方法將風電場數據、光伏電站數據、水電站數據和接入電網側數據以統一的標準與規范進行整合；其次，建立實時數據云平臺，通過數據立方對元數據進行索引，形成“現象?數據?數據源”的統一架構存儲模型并形成了相應設備；最后，通過CIM模型轉換為IEC?61850規約，旨在為電力自動化系統中的設備之間提供互操作性和通信能力。這一方法應用于新能源接入場景下的水電站及其近區的區域電網，對多源信息交互的復雜高維異構數據進行融合、清理及存取優化，有利于電力信息物理系統實現數據規范整合、安全共享，支撐電網安全穩定運行。

技術研發人員：華小軍,鄧友漢,張沖林,蔣定國,吳雨航,李雨抒,王錦瑞,陳靜,廖思陽,岳曉宇,徐箭
受保護的技術使用者：中國長江電力股份有限公司
技術研發日：
技術公布日：2025/4/28