用于支撐智慧城市運行管理的智能電網大數據挖掘系統及方法
【技術領域】
[0001] 本發明屬于數據挖掘領域，特別設及一種適用于支撐智慧城市運行管理的智能電 網大數據挖掘系統及方法。
【背景技術】
[0002] 智慧城市是城市可持續發展需求與新一代信息技術應用相結合的產物，是通過綜 合運用現代科學技術，統籌業務應用系統，整合信息通信資源，集城市運行管理、能源供需、 公共服務、產業優化、環境監測等為一體的城市科學發展新實踐，智能電網與智慧城市緊密 結合，能夠促進城市綠色發展，保障城市用電安全，完善城市通信信息網絡，帶動城市產業 發展，豐富城市服務內涵。智慧城市的高效運轉離不開智能電網，智能電網是智慧城市的關 鍵基礎和客觀需要。
[0003] 智慧城市的本質是對數據的智慧處理。大數據改變了城市的管理方式、運行模式， 讓人們享受智慧的生活體驗。在智慧城市建設的過程中，大數據的收集、存儲、分析挖掘及 使用是智慧城市面臨的挑戰。又由于智能電網對智慧城市的支撐作用，對智能電網的大數 據挖掘則顯得尤其重要。
[0004] 大數據是智能電網的典型特點，要實現智能電網支撐智慧城市必須掌握數據處理 的關鍵技術即大數據挖掘技術。目前存在多種數據挖掘方法和技術，基本上按挖掘任務分 屬五類：預測、分類、關聯規則、聚類分析、離群分析。通過該些技術方法來進行數據挖掘， 得到有用信息。但是數據挖掘模型的建立沒有通用性，一般現在大多數的做法是根據需要 的一個任務目標來建立相應模型進行數據挖掘，然而該個模型在其他的任務上卻沒有適用 性。

【發明內容】

[0005] 針對現有方法存在的不足，本發明提出一種用于支撐智慧城市運行管理的電網大 數據挖掘系統及方法。
[0006] 本發明所采用的技術方案是該樣實現的：
[0007] -種用于支撐智慧城市運行管理的智能電網大數據挖掘系統，包括：
[0008] 數據提取模塊：用于提取智慧城市運行管理所需的智能電網數據；
[0009] 數據處理模塊；用于對數據提取模塊提取的智能電網數據進行分類整合處理；
[0010] 數據挖掘模塊：具有基于云計算的數據聚類分析方法（即，基于云計算的MapRe化ce-APS方法）、改進的關聯規則方法和改進的離群分析方法該=種數據挖掘方法， 并具有獨立工作模式和聯合工作模式；能夠根據不同運行任務目標，進行工作模式選擇后， 對數據處理模塊處理后的智能電網數據進行挖掘得到有用信息；所述獨立工作模式，指的 是根據運行任務目標從基于云計算的數據聚類分析方法、改進的關聯規則方法和改進的離 群分析方法中選擇一種數據挖掘方法進行數據挖掘的工作模式；所述聯合工作模式指的是 根據運行任務目標從基于云計算的數據聚類分析方法、改進的關聯規則方法和改進的離群 分析方法中選擇至少兩種挖掘方法聯合進行數據挖掘的工作模式；
[0011] 數據可視化模塊；用于可視化數據挖掘模塊的智能電網大數據挖掘后得到的有用 f目息；
[0012] 一種用于支撐智慧城市運行管理的電網大數據挖掘方法，包括如下步驟：
[0013] 步驟1 ;各城市運行管理部口從智能電網數據庫中提取出所需的智能電網數據；
[0014] 步驟2;對步驟1提取的智能電網數據進行分類整合處理得到所需的數據集；
[0015] 步驟3;將數據集和城市運行管理部口的運行任務目標輸入到數據挖掘模塊；
[0016] 步驟4 ;數據挖掘模塊對運行任務目標進行分析；
[0017] 步驟5;在對輸入的運行任務目標分析后，根據所輸入的運行任務目標的個數，數 據挖掘模塊決定其數據挖掘的工作模式；當所選的運行目標任務為一個時，則數據挖掘模 塊進行獨立工作模式；當所選的運行目標任務為多個時，則數據挖掘模塊進行聯合工作模 式；
[0018] 步驟6 ;在不同的工作模式下，根據不同挖掘方法進行數據挖掘，得到的有用信息 輸出到數據可視化模塊進行顯示。
[0019] 所述的基于云計算的數據聚類分析方法的運行環境由兩種不同類型的數據節點 組成；在從節點上負責數據的處理，在主節點上負責運行目標任務調度及不同節點之間的 數據共享；具體包括如下步驟；
[0020] 步驟A01 ;首先采用AP算法（即，近鄰傳播聚類算法）確定最佳聚類數的捜索范 圍，并選擇合適的有效性分析指標，評估該捜索范圍內各聚類結果的質量，根據評估結果得 到數據集聚類數1。。，從而得到最佳聚類數范圍[2,1。。]，并將數據集聚類數1。。作為基于云 計算的數據聚類分析方法的輸入；
[0021] 步驟A02;基于并行框架的方法，將輸入的數據集進行隨機劃分，劃分結果標 記為數據片spliti、split2、splits、...、和邱，并將各隨機劃分的數據片均轉化為 <key,value〉形式，作為各map函數的輸入；
[002引步驟A03 ;Map階段；根據步驟A01中輸入的數據集聚類數1。。對輸入的數據片運 用C均值聚類算法（又稱FCM聚類算法）進行分析，得到初始聚類中屯、，根據密度指標將數 據集中每個數據點劃分到數據點附近的聚類中，直到所有的數據點都劃分完畢；
[002引步驟A04 ;取所有map函數的輸出，對輸出結果進行匯總對map函數輸出的數據 節點，Wkey值為索引進行分組和排序，將屬于同一聚類的數據點進行匯總，匯總之后輸出 至Re化ce階段；
[0024]步驟A05 ;Re化ce階段；讀取步驟A04的輸出結果并進行匯總處理，處理結束后輸 出聚類中屯、點及隸屬于該個聚類中屯、的數據至下一步的驗證環節；
[00巧]步驟A06 ;對Re化ce階段的輸出結果進行驗證；采用Si化ouette指標對輸出結果 進行有效性分析，符合指標則作為最終結果進行輸出并顯示，否則返回到步驟A01，同時改 變輸入最佳聚類數為1。。+1。
[0026] 所述的改進的關聯規則方法，是通過將DIC算法與DHP算法結合，相比于DIC算法 能夠進一步減少掃描數據庫的次數，提高效率，高效找出事物中的全部頻集，并且精確度又 比DHP算法高。按如下步驟進行：
[0027] 步驟B01;用戶設定最小支持度和最小置信度，輸入待處理數據事物庫；
[0028] 步驟B02;基于分層劃分技術的方法，對給定的數據事物庫進行DIC算法分區，將 數據庫劃分為N片表區；
[0029] 步驟B03;計算每個表區內項目集的最小支持度；
[0030] 步驟B04;統計每個表區內的局部頻繁項目集巧，形成候選項目集，其中每個表區 內最小支持度大于設定的最小支持度的項目集為頻繁項目集，i表示頻繁項目集中的項目 個數；k表示頻繁項目集中第k個項目；
[003。步驟B05;在上一步的基礎上進一步采用畑P算法，將每個表區的候選項目集中含 有i-1個公共項目的局部頻繁項目集進行兩兩合并；
[0032] 步驟B06;對每個表區重復執行步驟B03至步驟B04,得到全局項目頻繁集；
[0033] 步驟B07;執行Apriori算法第二步，計算全局頻繁項目集的最小置信度，進而得 到關聯規則。
[0034] 所述的改進的離群分析方法，為首先根據用戶需要的檢測方向（例如，檢測電 壓），確定檢測屬性（例如，電壓）從而進行相應的子空間選擇；選擇了子空間后在各子空 間中運用聚類密度算法檢測子空間中差異性較大的離群數據點；在此基礎之上，通過計算 多個子空間的離群程度的加權和來定義一個離群對象；按如下步驟進行：
[0035] 步驟C01;用戶根據檢測方向從原始輸入數據中決定最終輸入數據（例如原始輸 入數據含有電壓，電流，功率等等數據，但是用戶現在的檢測方向只是檢測電壓，那么只選 取電壓數據作為最終的輸入數據），并基于檢測屬性（電壓）選擇子空間；
[0036] 步驟C02;在子空間中運用基于密度的聚類算法來檢測子空間中差異性較大的離 群數據點；
[0037] 步驟C03;計算多個子空間屬性的邊際密度概率和子空間的聯合密度分布概率來 判斷子空間屬性之間的相關性；
[0038] 步驟C04;選取相關性較大的子空間，并計算被懷疑的離群數據點相對于前述相 關性較大的子空間的離群偏差程度的加權和；
[0039] 步驟C05;將步驟C04得到的計算結果與設定好的離群偏差加權和闊值比較，大于 闊值的則被認為是離群數據點；
[0040] 步驟C06;統計由步驟C05中得到的相對于相關程度大的子空間檢測出的離群數 據點和個別獨立的子空間中檢測出的離群數據點作為最終結果輸出并顯示。
[0041] 本發明的優點；本發明的用于支撐智慧城市運行管理的電網大數據挖掘系統及 方法中的數據挖掘模炔基于云計算的MapRe化ce-APS算法、改進的關聯規則算法和改進的 離群分析算法，具有采用其中之一的算法單獨執行數據挖掘的獨立工作模式和具有采用其 中至少兩種算法聯合進