一種基于GTechnology平臺的數據校驗系統及方法
【專利摘要】本發明的目的在于提供一種基于GTechnology平臺的數據校驗系統和方法，該系統包括數據訪問層、業務邏輯層和用戶界面層；該方法包括如下步驟：系統通過數據訪問組件從GTechnology平臺中進行數據采集，得到需要校驗的數據；數據校驗模塊對得到的數據進行校驗，通過解析XML文件，得到各類數據所定義的規則校驗函數，執行規則校驗函數完成數據校驗，違反規則的數據被記錄保存在問題列表中；基于得到的問題列表，數據處理模塊從數據類型、數據值在定義域范圍內、空值、冗余數據幾個方面加以驗證，對通過驗證的數據進行數據轉換和清理。該系統和方法可以對存在的垃圾數據、冗余數據進行有效處理，保證數據庫中數據記錄無重復、無冗余；對GTechnology平臺中的問題數據、不兼容數據等進行清理，保證數據的正確性和完整性。
【專利說明】一種基于GTechno1gy平臺的數據校驗系統及方法
【技術領域】
[0001]本發明涉及電力系統數據處理【技術領域】,具體來說涉及一種基于GTechnology (地理空間設施管理平臺)平臺的數據校驗系統和數據校驗方法。
【背景技術】
[0002]廣東電網公司圍繞創先工作要求，已經在全省統一建設、推廣、實施了基于GIS的營配一體化平臺。其中，GIS主要應用的平臺是Gtechnology平臺。目前,廣東電網公司下屬各供電企業已將主網GIS與配網GIS進行了集成，構建了從500kV設備到0.4kV用戶一體化的全電網模型。另外，部分供電企業已建設通信資源GIS系統、車輛管理GIS系統等。從系統上線運行至今，廣東電網公司各地市局GIS系統電網資源數據總量約900G，大約有5000個用戶同時在線使用。由于系統建設初期，缺乏經驗，缺乏統一的規范和標準，各地市局在系統建設過程中提出了不同的建設要求，使得GIS系統的數據存在差異，不利于縱向數據貫通。同時，系統現有的數據校驗方法也無法系統、全面的保證系統數據的完整性、一致性、準確性、唯一性和適時性，導致系統數據質量方面存在較多問題，包括業務系統數據與GIS數據邏輯關系繁雜、冗余數據較多、數據內容不一致等，嚴重影響業務系統相關應用的實用化水平。

【發明內容】

[0003]本發明的目的在于提供一種基于GTechnology平臺的、采用多維度校驗數據的校驗系統和數據校驗方法，該系統和方法可系統的、全面的保證電網系統中的數據質量。
[0004]本發明的目的可通過以下的技術措施來實現:
[0005]一種基于GTechnology平臺的數據校驗系統，包括數據訪問層、業務邏輯層和用戶界面層；所述數據訪問層包括數據訪問組件，提供訪問系統數據的接口、提供進行數據交換的接口，用于與系統進行數據交互，對系統數據進行查詢；所述業務邏輯層包括數據校驗規則庫、數據校驗模塊和數據處理模塊，用于各類數據的邏輯處理；所述用戶界面層是用于人機交互的界面，直觀展示各種數據校驗處理分析的結果。
[0006]所述數據校驗規則庫后臺以XML文件的方式進行存儲和管理。
[0007]所述數據校驗模塊根據不同類型數據的校驗規則編寫各類校驗方法，并形成數據校驗函數庫用于對數據進行整理和校驗。
[0008]所述數據處理模塊根據校驗結果進行數據轉換和清理，用于對各類問題數據編寫數據處理方法，形成預處理方案。
[0009]—種基于GTechnology平臺的數據校驗方法,具體步驟如下:
[0010]A、根據業務需求對各類數據及其所需校驗規則、校驗函數進行配置，每類數據可對應多個校驗規則或采用XML文件格式直接進行配置；
[0011]B、通過數據訪問組件從GTechnology平臺中進行數據采集，得到需要校驗的數據；[0012]C、數據校驗模塊對步驟B得到的數據進行校驗，通過解析所述XML文件，得到各類數據所定義的規則校驗函數，執行規則校驗函數完成數據校驗，違反規則的數據被記錄保存在問題列表中；
[0013]步驟C中所述的規則校驗函數為校驗函數庫中的公共函數和自定義函數。所述公共函數用于典型數據、共同規則的數據驗證和核對,例如C#中算術類函數“doubleSign (double x) ”,引用“System.Math, dll”類庫即可獲取；自定義函數用于特殊對象、特殊業務規則的數據驗證和核對，這些函數是根據業務規則、邏輯自行編寫的，系統啟動時已加載在內存中，在任何情況下都能夠使用，并且不需要載入任何類庫或輔助函數。
[0014]D、基于步驟C得到的問題列表，從數據類型、數據值在定義域范圍內、空值、冗余數據幾個方面加以驗證，對通過驗證的數據進行數據轉換和清理。所述數據轉換包括數據單位之間的轉換(如Ikm轉為1000m)、數據類型轉換(如字符串類型轉為日期類型)、數據映射轉換(如將中文描述映射轉為代碼ID，機構名XX供電局轉為機構編碼05)、替換空值(如用O);數據清理主要是刪除冗余數據。
[0015]完成一次數據校驗和數據處理后，校驗處理結果將保存到對應的庫表，系統自動生成異常數據統計報表并導出。
[0016]本發明對比現有技術，有如下優點:
[0017]本發明基于GTechnology平臺，從多維度進行數據校驗，使用該系統和方法可以對存在的垃圾數據、冗余數據進行有效處理，保證數據庫中數據記錄無重復、無冗余；對GTechnology平臺中的問題數據、不兼容數據等進行清理，保證數據的正確性和完整性；能夠有效控制GTechnology平臺中不同類型數據的合理變化范圍，將數據誤差控制在既定范圍內；能夠支撐生產、營銷等系統相關業務的運行，提升供電企業的信息化水平，適用于未來GIS發展需要。
【專利附圖】

【附圖說明】
[0018]圖1是本發明基于GTechnology平臺的數據校驗系統架構示意圖；
[0019]圖2是數據校驗方法的數據校驗規則庫、數據校驗函數庫模型示意圖；
[0020]圖3是本發明基于GTechnology平臺的數據校驗的流程圖。
【具體實施方式】
[0021]下面對結合附圖對本發明方法的實施方式做詳細說明。
[0022]如圖1所示，一種基于GTechnology平臺的數據校驗系統，包括數據訪問層、業務邏輯層和用戶界面層。數據訪問層用于與系統進行數據交互，對系統數據進行查詢；業務邏輯層用于各類數據的邏輯處理，包括數據校驗規則庫、數據校驗模塊和數據處理模塊，數據校驗模塊用于對數據進行整理和校驗，數據處理模塊根據校驗結果進行數據轉換和清理；用戶界面層是用于人機交互的界面，直觀展示各種數據校驗處理分析的結果。
[0023]用戶界面層是給使用本系統的操作/維護/管理人員提供一個人機交互的界面，系統使用人員可以通過此界面進行各種數據校驗、數據處理、對分析結果統計導出，并對數據校驗規則庫所涉及的各種規則、參數配置進行定義、管理。
[0024]業務邏輯層中的數據校驗模塊，是根據不同類型數據的校驗規則編寫各類校驗方法，并形成數據校驗函數庫。數據處理模塊是針對各類問題數據編寫了數據處理方法，形成預處理方案。數據校驗規則庫后臺以XML文件的方式進行存儲和管理。
[0025]數據訪問層主要是數據訪問組件，提供了訪問系統數據的接口、提供進行數據交換的接口。
[0026]—種基于GTechnology平臺的數據校驗方法,其特征在于具體步驟如下:
[0027]A、如圖2所示，數據校驗規則庫配置，通過用戶界面層根據業務需求對各類數據及其所需校驗規則、校驗函數進行配置，每類數據可對應多個校驗規則；也可采用XML文件
格式直接進行配置，格式如下:
[0028]
【權利要求】
1.一種基于GTechnology平臺的數據校驗系統，其特征在于:包括數據訪問層、業務邏輯層和用戶界面層；所述數據訪問層包括數據訪問組件，提供訪問系統數據的接口、提供進行數據交換的接口，用于與系統進行數據交互，對系統數據進行查詢；所述業務邏輯層包括數據校驗規則庫、數據校驗模塊和數據處理模塊，用于各類數據的邏輯處理；所述用戶界面層是用于人機交互的界面，直觀展示各種數據校驗處理分析的結果。
2.根據權利要求1所述的數據校驗系統，其特征在于:所述數據校驗規則庫后臺以XML文件的方式進行存儲和管理。
3.根據權利要求1所述的數據校驗系統，其特征在于:所述數據校驗模塊根據不同類型數據的校驗規則編寫各類校驗方法，并形成數據校驗函數庫用于對數據進行整理和校驗。
4.根據權利要求1所述的數據校驗系統，其特征在于:所述數據處理模塊根據校驗結果進行數據轉換和清理，用于對各類問題數據編寫數據處理方法，形成預處理方案。
5.—種基于GTechnology平臺的數據校驗方法,其特征在于包括如下步驟: A、根據業務需求對各類數據及其所需校驗規則、校驗函數進行配置，每類數據可對應多個校驗規則或采用XML文件格式直接進行配置； B、通過數據訪問組件從GTechnology平臺中進行數據采集，得到需要校驗的數據； C、數據校驗模塊對步驟B得到的數據進行校驗，通過解析所述XML文件，得到各類數據所定義的規則校驗函數，執行規則校驗函數完成數據校驗，違反規則的數據被記錄保存在問題列表中； D、基于步驟C得到的問題列表，從數據類型、數據值在定義域范圍內、空值、冗余數據幾個方面加以驗證，對通過驗證的數據進行數據轉換和清理； F、完成一次數據校驗和數據處理后，校驗處理結果將保存到對應的庫表，系統自動生成異常數據統計報表并導出。
6.根據權利要求5所述的數據校驗方法，其特征在于:步驟C中所述的規則校驗函數為校驗函數庫中的公共函數和自定義函數；所述公共函數用于典型數據、共同規則的數據驗證和核對；所述自定義函數用于特殊對象、特殊業務規則的數據驗證和核對。
7.根據權利要求5所述的數據校驗方法，其特征在于:所述數據轉換包括數據單位之間的轉換、數據類型轉換、數據映射轉換、替換空值；所述數據清理為刪除冗余數據。
【文檔編號】G06F9/44GK103605512SQ201310542927
【公開日】2014年2月26日 申請日期:2013年11月5日 優先權日:2013年11月5日
【發明者】陳炯聰, 齊志剛, 杜旭, 劉森, 顏璟儀, 湯彧, 高曉靜, 甘杉, 駱書劍, 許曉艷, 顏文濤 申請人:廣東電網公司電力科學研究院, 北京中合實創電力科技有限公司