專利名稱：數據中心系統及數據處理方法
技術領域：
本發明涉及一種數據中心系統及數據處理方法，屬于數據管理技術領域。
背景技術：
現有的數據中心系統通常使用關系型數據庫或非關系型數據庫。其中，關系型數據庫在是一種建立在關系模型基礎上的數據庫，借助于集合代數等數學概念和方法來處理數據庫中的數據，關系模型由關系數據結構、關系操作集合、關系完整性約束三部分組成。非關系型數據庫是沒有建立在關系模型基礎上的數據庫。其中所述關系型數據庫具有高度的安全性，但缺陷在于當涉及大量數據源的索引時，在效率和實現上存在眾多的技術瓶頸，因此存在分布式查詢效率低的問題。所述非關系型數據庫具備自由模式，可以很好地適橫向擴展需求。分片能力，存儲海量數據，但缺陷在于·缺乏權限限制，安全性較低。現有數據中心系統的缺陷在于僅能擇一地選擇關系型數據庫或非關系型數據庫進行構建，因此無法充分利用兩種數據庫的優勢。

發明內容
本發明提供一種數據中心系統及數據處理方法，用以充分利用關系型數據庫和非關系型數據庫各自的優勢。本發明一方面提供一種數據處理方法，其中包括數據中心系統接收到查詢請求后從數據源抽取待處理的原始數據；將所述原始數據中的機密數據導出到關系數據庫中，并將所述原始數據中的海量數據導出到非關系數據庫中；根據所述查詢請求對所述非關系數據庫中的海量數據進行統計分析得到有價值數據；將所述機密數據與所述有價值數據相關聯生成查詢結果數據進行輸出。本發明另一方面提供一種數據中心系統，其中包括抽取模塊，用于當接收到查詢請求后從數據源抽取待處理的原始數據；導出模塊，用于將所述原始數據中的機密數據導出到關系數據庫中，并將所述原始數據中的海量數據導出到非關系數據庫中；分析模塊，用于根據所述查詢請求對所述非關系數據庫中的海量數據進行統計分析得到有價值數據；輸出模塊，用于將所述機密數據與所述有價值數據相關聯生成查詢結果數據進行輸出。本發明通過將機密數據導出到關系數據庫，從而保證了機密數據的安全性，并通過將海量數據導出到非關系數據庫，提高了分布式查詢的效率，從而能夠充分利用關系型數據庫和非關系型數據庫各自的優勢實現數據處理。


圖I為本發明所述數據處理方法實施例的流程圖；圖2為本發明所述數據中心系統實施例的結構示意圖。
具體實施例方式圖I為本發明所述數據處理方法實施例的流程圖，如圖所示，包括如下步驟步驟100，數據中心系統接收到查詢請求后從數據源抽取待處理的原始數據。其中，所述待處理的原始數據是指為了滿足所述查詢請求而需要進行處理的原始數據，例如，為了查詢如下表5中的數據，則如下的表I 4中的數據則為需要抽取的待處理的原始數據；所述數據源可以由DB2、oracle、sqlserver等數據庫構成；具體地，可以使
用數據提取、轉換和加載(Extraction Transformation Loading,簡稱ETL)工具進行上述抽取操作，所述原始數據的內容舉例如下表I
Id密碼
2氺氺氺氺氺氺氺氺氺
3氺氺氺氺氺氺氺氺氺表2
Id標簽(tags)
1狗(Dog)
~貓(Cat)
2貓(Cat)
3鼠(Mouse)
3貓(Cat)
3狗(Dog)表權利要求
1.一種數據處理方法，其特征在于，包括 數據中心系統接收到查詢請求后從數據源抽取待處理的原始數據； 將所述原始數據中的機密數據導出到關系數據庫中，并將所述原始數據中的海量數據導出到非關系數據庫中； 根據所述查詢請求對所述非關系數據庫中的海量數據進行統計分析得到有價值數據； 將所述機密數據與所述有價值數據相關聯生成查詢結果數據進行輸出。
2.根據權利要求I所述的方法，其特征在于，所述數據中心系統從數據源抽取待處理的原始數據包括所述數據中心系統利用ETL工具抽取所述待處理的原始數據。
3.根據權利要求2所述的方法，其特征在于，將所述原始數據中的機密數據導出到關系數據庫中，并將所述原始數據中的海量數據導出到非關系數據庫中包括 根據所述ETL工具的配置文件中的預設配置信息識別所述原始數據中的機密數據和海量數據； 將識別出的機密數據導出到所述關系數據庫中，并將識別出的海量數據導出到所述非關系數據庫中。
4.根據權利要求I所述的方法，其特征在于，所述對所述非關系數據庫中的海量數據進行統計分析得到有價值數據包括通過多個云節點服務器采用映射化簡技術對所述非關系數據庫中的海量數據進行實時統計分析和/或離線統計分析得到所述有價值數據。
5.根據權利要求I所述的方法，其特征在于，將所述查詢結果數據進行輸出包括通過基于HTTP協議的REST接口將所述查詢結果數據作為數據產品進行輸出。
6.一種數據中心系統，其特征在于，包括 抽取模塊，用于當接收到查詢請求后從數據源抽取待處理的原始數據； 導出模塊，用于將所述原始數據中的機密數據導出到關系數據庫中，并將所述原始數據中的海量數據導出到非關系數據庫中； 分析模塊，用于根據所述查詢請求對所述非關系數據庫中的海量數據進行統計分析得到有價值數據； 輸出模塊，用于將所述機密數據與所述有價值數據相關聯生成查詢結果數據進行輸出。
7.根據權利要求6所述的系統，其特征在于，所述導出模塊包括 識別單元，用于根據ETL工具的配置文件中的預設配置信息識別所述原始數據中的機密數據和海量數據； 導出單元，用于將識別單元識別出的機密數據導出到所述關系數據庫中，并將識別出的海量數據導出到所述非關系數據庫中。
8.根據權利要求6所述的系統，其特征在于，還包括 所述關系數據庫，用于接收由導出模塊導出的機密數據； 所述非關系數據庫，用于接收由導出模塊導出的海量數據。
9.根據權利要求6所述的系統，其特征在于，還包括所述數據源，用于保存所述原始數據。
全文摘要
本發明提供一種數據中心系統及數據處理方法。其中方法包括數據中心系統接收到查詢請求后從數據源抽取待處理的原始數據；將所述原始數據中的機密數據導出到關系數據庫中，并將所述原始數據中的海量數據導出到非關系數據庫中；根據所述查詢請求對所述非關系數據庫中的海量數據進行統計分析得到有價值數據；將所述機密數據與所述有價值數據相關聯生成查詢結果數據進行輸出。本發明能夠充分利用關系型數據庫和非關系型數據庫各自的優勢實現數據處理。
文檔編號G06F17/30GK102855277SQ201210257038
公開日2013年1月2日 申請日期2012年7月23日 優先權日2012年7月23日
發明者王偉華, 李建功, 李珩, 齊飛, 博格利 申請人:中國聯合網絡通信集團有限公司