本發明涉及基于知識圖譜的數據處理與融合,尤其是一種基于知識圖譜的配電網中臺的跨域數據融合方法及系統。
背景技術:
1、在現代電力系統中,配電網是至關重要的一環。配電網通過配電設施從輸電網接收電能并分配給用戶使用,這些配電設施包括架空線路、電纜線、電線桿、變壓器、開關及補償器設備等。在傳統的配電網管理中,面臨著電力設備多樣性、數據異構性和系統復雜性等挑戰,存在各個子系統之間的數據孤島現象嚴重,數據處理系統缺乏整合性和智能性,此外,還面臨著數據隱私、安全性和系統架構的限制,導致跨域數據集成和處理難以高效進行,無法滿足跨不同數據源、部門和應用場景的需求。
2、配電網的各個子系統之間獨立運行,各自采集和處理數據,導致數據分散在不同系統中,難以實現數據的共享和綜合利用,造成數據孤島問題;其次,不同系統產生的數據格式各異,缺乏標準化,增加了數據整合的難度。例如,設備運行數據、故障數據、維護記錄等數據格式各不相同,給統一管理帶來了巨大挑戰;由于配電網中的系統架構復雜,涉及多個領域和部門,造成系統之間的互操作性差,難以實現有效的協同工作;此外,配電網中臺跨域數據的原始數據中可能存在噪聲、冗余和不完整等問題,影響數據分析的準確性和有效性,并且在數據傳輸和存儲過程中,如何保障數據的安全性和隱私性成為重要問題,尤其是在涉及敏感用戶信息和關鍵設備數據時;最后,傳統的數據處理系統在應對海量數據時往往效率低下,缺乏智能化手段,難以及時提供有價值的決策支持。
技術實現思路
1、為克服配網數據的上述處理融合方面的技術問題,本發明提供一種基于知識圖譜的配電網中臺的跨域數據融合方法及系統,解決數據孤島及其他數據處理的技術問題,有效實現數據共享、服務共享和資源整合,解決當前配網領域中分布式系統之間數據難以協同的問題,實現多系統之間數據的語義整合和共享,提高配電網絡的運維效率和智能化水平。
2、為實現上述目的,本發明應用跨域數據整合技術、大數據處理與分析技術以及智能化運維技術等,通過構建配網中臺跨域數據知識圖譜。技術方案如下:
3、一種基于知識圖譜的配網中臺跨域數據融合方法,具體包括如下步驟:
4、s1、首先采用智能網關設備對配網運行所涉及的各設備、各線路等數據進行采集,匯聚到配網中臺數據采集模塊中;
5、s2、將所述配網中臺數據采集模塊中的數據通過5g通信協議端口傳輸到數據處理與存儲模塊中,進行數據清洗、數據整合和數據轉換等操作,并將數據分類為結構化數據、半結構化數據、非結構化數據,采用專用存儲設備或數據庫管理系統存儲結構化數據,然后將其與半結構化數據、非結構化數據傳輸至知識圖譜構建模塊;
6、s3、知識圖譜構建模塊接收數據后,對半結構化數據與非結構化數據進行知識抽取,再同結構化數據進行知識融合處理;
7、s4、配網中臺數據經知識圖譜構建模塊各項處理后,存儲于數據庫中,經終端展示模塊將所構建的跨域數據知識圖譜進行可視化展示,更全面地反映配網中臺跨域數據關系,了解電力系統的運行狀況,實現更智能、可靠的配電網管理。
8、進一步地,所述智能網關設備集成多種互聯網通訊方法,對配網運行所涉及的各設備、各線路等數據進行實時采集,該設備通常包括支持多種通信協議的通信模塊、處理物聯網設備發送的數據和指令的處理器模塊、存儲處理分析后數據與設備間通信數據的存儲模塊以及提供數據安全保護和防護措施的安全模塊。
9、進一步地,所述5g通信協議端口采用sa模式,將ng-ran和5g核心網(5gc)的接口運用到基于知識圖譜的配網中臺跨域數據融合系統中,將系統控制端和配網端分離,通過雙方的協議棧接口進行數據通信連接。
10、進一步地,所述專用的存儲設備或數據庫采用適當的數據庫管理系統(如mysql、mongodb)進行存儲,以確保高效存儲和檢索且存儲過程中可考慮使用數據分區、索引等方法提高檢索效率。
11、進一步地,在一個優選地實施方式中,所述知識抽取是對半結構化和非結構化數據進行實體抽取、關系抽取及屬性抽取,采用bert+pgd+bilstm+crf組合模型進行知識抽取,具體如下:
12、bert(bidirectional?encoder?representation?from?transformer)結合投影梯度下降算法(projected?gradient?descent,pgd)進行預訓練,將向量輸入到雙向長短期記憶網絡(bi-directional?long?short-term?memory,bi?lstm)模型中,通過bi?lstm網絡的隱藏層編碼后,將發射矩陣輸入到條件隨機場(conditional?random?field,crf)層,crf層作為bi?lstm模型的解碼層,在條件隨機場模型里面考慮預測標簽序列的合理性,可以對bilstm模型的預測結果進行校正。
13、在一個優選地實施方式中,所述知識融合是指將來自不同來源的知識整合到一起,解決知識沖突和重復,提高知識的一致性和完整性,主要包括實體識別與鏈接、知識合并(重復實體合并、關系融合),采用圖卷積神經網絡(graph?convolutional?network,gcn)對知識圖譜的實體進行操作,其輸入的是節點(實體)的特征向量和圖結構,其目標是學習輸入圖的特征函數,產生節點級的輸出,值得一提的是gcn對輸入的任意大小和形狀的圖都可以進行端到端的學習。gcn對知識圖譜的實體進行卷積操作后對任意中心實體的k階鄰居進行層次采樣形成一個子圖,將自注意力機制(self-attention)應用到子圖中,通過query矩陣、key矩陣和value矩陣計算子圖中實體的attention值,最后通過加權平均和得到最終的中心實體表示。
14、假設告警知識圖譜中有n個實體,使one-hot編碼初始化每個實體的特征表示向量,維度為d維,定義矩陣h=n×d,稱h為特征向量矩陣。每個實體之間組成n×n的矩陣,定義矩陣a=n×n,稱a為鄰接矩陣,gcn具體如下式所示:
15、
16、式中:為鄰接矩陣的度矩陣;w(l)為可學習的權重矩陣;l為圖卷積網絡的層數;σ是激活函數,h(l)是前一層gcn的輸出,視為每個節點的特征值。
17、進一步地,所述知識存儲于數據庫中指的是圖的形式存儲數據的圖數據庫:圖由節點(entities)和邊(relationships)構成,通過節點和邊之間的關系來組織和連接數據,節點通常代表實體(如斷路器、隔離開關、桿塔等),而邊則表示這些實體之間的關系(比如關系、連接、交互等),每個節點和邊都可以有一個或多個屬性(properties),比如投入使用時間、制造廠商等。此外,節點可以通過標簽(labels)分組,為信息分類提供了更大的便利。
18、一種應用于上述方法的基于知識圖譜的配網中臺跨域數據融合系統,包括:配網中臺數據采集模塊,用于采集配網運行相關的各部門、各系統、各線路數據,并傳輸至數據處理與存儲模塊中;
19、數據處理與存儲模塊,用于接收所述配網中臺數據采集模塊傳輸的配網中臺數據,并對數據進行清洗、分類等預處理,然后把預處理后的數據進行有區別的存儲并傳輸到知識圖譜構建模塊中;
20、知識圖譜構建模塊,用于接收處理后的配網中臺跨域數據,采用多模型對其進行實體關系抽取、知識融合,實現配網中臺知識圖譜的構建;
21、存儲與終端展示模塊,用于存儲配網中臺知識圖譜的實體與關系,并將其進行可視化展示。
22、進一步地,所述數據處理與存儲模塊中將數據進行存儲是指將結構化數據先存儲至mysql數據庫中,將半結構化和非結構化數據傳輸至下一模塊進行處理。
23、進一步地,所述知識圖譜構建模塊中對于實體關系采用bert+pgd+bilstm+crf進行抽取,通過gcn結合self-attention實現知識融合,消除實體指稱項與實體對象之間的歧義,進而進行存儲和展示。
24、進一步地,所述知識存儲采用圖數據庫nebulagraph對數據進行存儲,其能夠承載數千億個點和數萬億條邊的超大規模數據集,并且提供毫秒級查詢,由三種服務構成:meta服務、graph服務和storage服務,是一種存儲與計算分離的架構。
25、本發明與現有技術比較具有的益效果:
26、本發明的基于知識圖譜的配網中臺跨域數據融合方法及系統,通過采集配網數據,經數據處理模塊進行清洗、分類和存儲,再傳輸至知識圖譜構建模塊進行實體關系抽取和知識融合,最終通過nebulagraph進行數據存儲及可視化展示。該系統有效打破數據孤島,提升數據整合與共享能力,提高數據處理的智能化和效率,保障數據安全性和隱私保護,促進了配電網的智能化管理和決策支持。
27、本發明可以廣泛用于電力設備監控、故障診斷、設備維護、能效管理等多個方面。通過對海量數據的高效整合和智能分析,可以實現對配電網運行狀態的全面掌握,提升配電網的運行效率和可靠性。同時,該系統還可以為配電網的智能化升級提供重要的技術支持,推動電力行業的數字化轉型和智能化發展。