本發(fā)明涉及數(shù)據(jù)處理，更具體地說，本發(fā)明涉及一種面向云計算環(huán)境的用戶數(shù)據(jù)處理優(yōu)化系統(tǒng)。

背景技術(shù)：

1、申請公布號為cn110874268a的專利公開了一種數(shù)據(jù)處理方法、裝置和設(shè)備，該方法包括：先獲取待處理數(shù)據(jù)以及多個數(shù)據(jù)處理系統(tǒng)各自對應(yīng)的運行狀態(tài)信息。根據(jù)獲取到的多個數(shù)據(jù)處理系統(tǒng)各自對應(yīng)的運行狀態(tài)信息分別確定各數(shù)據(jù)處理系統(tǒng)的處理能力。根據(jù)各數(shù)據(jù)處理系統(tǒng)的處理能力確定待處理數(shù)據(jù)中的第一數(shù)據(jù)塊對應(yīng)的目標(biāo)數(shù)據(jù)處理系統(tǒng)，并將此第一數(shù)據(jù)塊發(fā)送至目標(biāo)數(shù)據(jù)處理系統(tǒng)，以使此目標(biāo)數(shù)據(jù)處理系統(tǒng)處理此第一數(shù)據(jù)塊。通過設(shè)置多個數(shù)據(jù)處理系統(tǒng)，能夠使每個數(shù)據(jù)塊都交由處理能力最適合的數(shù)據(jù)處理系統(tǒng)來處理，使得數(shù)據(jù)塊被及時處理，從而保證待處理數(shù)據(jù)能夠在預(yù)設(shè)時間內(nèi)全部處理完畢。用戶則能夠得到對應(yīng)于全部待處理數(shù)據(jù)的數(shù)據(jù)處理結(jié)果，提高數(shù)據(jù)處理結(jié)果的可用性。

2、但是，在數(shù)據(jù)處理的過程中，數(shù)據(jù)量龐大且混亂，如何對數(shù)據(jù)進行整理，獲得冷數(shù)據(jù)和熱數(shù)據(jù)，將相互影響的數(shù)據(jù)進行聚合，增加數(shù)據(jù)處理的速度，節(jié)約云計算資源，并確定數(shù)據(jù)的優(yōu)先級，根據(jù)數(shù)據(jù)的優(yōu)先級將對應(yīng)格子渲染為相應(yīng)的顏色，根據(jù)渲染結(jié)果對數(shù)據(jù)進行處理，使得數(shù)據(jù)處理有條不紊的進行，是我們需要解決的問題，為此，現(xiàn)提供一種面向云計算環(huán)境的用戶數(shù)據(jù)處理優(yōu)化系統(tǒng)。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的上述缺陷，為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種面向云計算環(huán)境的用戶數(shù)據(jù)處理優(yōu)化系統(tǒng)，包括：

2、數(shù)據(jù)采集模塊，用于采集原始用戶數(shù)據(jù)；

3、數(shù)據(jù)預(yù)處理模塊，用于對原始用戶數(shù)據(jù)進行預(yù)處理，獲得預(yù)處理用戶數(shù)據(jù)；

4、數(shù)據(jù)存儲模塊，用于對預(yù)處理用戶數(shù)據(jù)進行分析，獲得熱數(shù)據(jù)和冷數(shù)據(jù)，并對熱數(shù)據(jù)和冷數(shù)據(jù)進行存儲；

5、數(shù)據(jù)聚合模塊，用于對存儲的熱數(shù)據(jù)和冷數(shù)據(jù)進行聚合，獲得聚合數(shù)據(jù)包；

6、優(yōu)化處理模塊，用于構(gòu)建格子空間，將聚合數(shù)據(jù)包映射至格子空間內(nèi)，獲取聚合數(shù)據(jù)包的優(yōu)先級，根據(jù)聚合數(shù)據(jù)包的優(yōu)先級將對應(yīng)格子渲染為相應(yīng)的顏色，根據(jù)渲染結(jié)果對聚合數(shù)據(jù)包進行處理。

7、進一步地，所述原始用戶數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及半結(jié)構(gòu)化數(shù)據(jù)；

8、所述結(jié)構(gòu)化數(shù)據(jù)包括的數(shù)據(jù)類別為用戶賬號數(shù)據(jù)、交易訂單數(shù)據(jù)以及業(yè)務(wù)日志監(jiān)控數(shù)據(jù)，所述非結(jié)構(gòu)化數(shù)據(jù)包括的數(shù)據(jù)類別為文檔文件數(shù)據(jù)、媒體數(shù)據(jù)以及傳感器物聯(lián)網(wǎng)數(shù)據(jù)，所述半結(jié)構(gòu)化數(shù)據(jù)包括的數(shù)據(jù)類別為社交數(shù)據(jù)和網(wǎng)絡(luò)爬蟲數(shù)據(jù)。

9、進一步地，所述對原始用戶數(shù)據(jù)進行預(yù)處理，獲得預(yù)處理用戶數(shù)據(jù)的方法包括：

10、判斷原始用戶數(shù)據(jù)中是否存在異常值，若存在異常值，則將原始用戶數(shù)據(jù)中的異常值剔除，并使用插值法填補剔除的原始用戶數(shù)據(jù)中的異常值，得到初步用戶數(shù)據(jù)，若不存在異常值，則將原始用戶數(shù)據(jù)記為初步用戶數(shù)據(jù)；

11、將初步用戶數(shù)據(jù)中不同數(shù)據(jù)類別的數(shù)據(jù)進行時間對齊，獲得預(yù)處理用戶數(shù)據(jù)；

12、進行時間對齊的過程包括：

13、對于每個數(shù)據(jù)類別，從初步用戶數(shù)據(jù)中提取出時間戳序列，獲取每個時間戳序列中相鄰時間戳之間的時間間隔，將每個時間戳序列中相鄰時間戳之間的時間間隔進行比較，獲得最長時間間隔；

14、若時間戳序列的時間間隔和最長時間間隔不相同，則記為待轉(zhuǎn)換序列，將待轉(zhuǎn)換序列中相鄰時間戳之間的時間間隔轉(zhuǎn)換為最長時間間隔，匯集當(dāng)前時間戳和上一個時間戳之間的所有數(shù)據(jù)，將當(dāng)前時間戳上的數(shù)據(jù)和匯集的數(shù)據(jù)作為當(dāng)前時間戳上的數(shù)據(jù)。

15、進一步地，所述判斷原始用戶數(shù)據(jù)中是否存在異常值的方法包括：

16、步驟a1：隨機選擇一個數(shù)據(jù)類別構(gòu)建一個隔離樹，隨機選擇此數(shù)據(jù)類別中的一個數(shù)據(jù)作為切割點，根據(jù)切割點將q個數(shù)據(jù)類別中的所有數(shù)據(jù)分為兩部分，分別構(gòu)建左子樹和右子樹，對每個子樹的節(jié)點遞歸重復(fù)，直至滿足節(jié)點中數(shù)據(jù)的數(shù)量小于等于1時停止，q為數(shù)據(jù)類別的數(shù)量；

17、步驟a2：重復(fù)步驟a1構(gòu)建q-1個隔離樹，計算每個數(shù)據(jù)的偏離分?jǐn)?shù)，i為q個數(shù)據(jù)類別中所有數(shù)據(jù)的索引，pl(i)為第i個數(shù)據(jù)的偏離分?jǐn)?shù)，aj(i)為第i個數(shù)據(jù)在所有隔離樹中的平均路徑長度，n為q個數(shù)據(jù)類別中所有數(shù)據(jù)的數(shù)量，c(n)為路徑長度的理論期望值；

18、其中，r為隔離樹的索引，ar(i)為第i個數(shù)據(jù)在第r個隔離樹中的路徑長度，路徑長度為從切割點到只存在一個數(shù)據(jù)的節(jié)點所需的分裂次數(shù)；h(n-1)為諧波數(shù)，

19、步驟a3：預(yù)設(shè)偏離分?jǐn)?shù)閾值py，當(dāng)數(shù)據(jù)的偏離分?jǐn)?shù)高于偏離分?jǐn)?shù)閾值py時，判定為異常值，否則，判定為正常值。

20、進一步地，所述預(yù)設(shè)偏離分?jǐn)?shù)閾值的方法包括：

21、獲取m個歷史用戶數(shù)據(jù)，并獲取歷史用戶數(shù)據(jù)中的歷史異常值對應(yīng)的歷史偏離分?jǐn)?shù)，提取歷史偏離分?jǐn)?shù)中的最小值pymin和最大值pymax，構(gòu)建新的閾值范圍為：

22、其中，k為歷史用戶數(shù)據(jù)的索引，pykmin為第k個歷史用戶數(shù)據(jù)中的歷史異常值對應(yīng)的歷史偏離分?jǐn)?shù)的最小值，pykmax為第k個歷史用戶數(shù)據(jù)中的歷史異常值對應(yīng)的歷史偏離分?jǐn)?shù)的最大值；

23、獲取每個歷史偏離分?jǐn)?shù)的出現(xiàn)次數(shù)，根據(jù)出現(xiàn)次數(shù)將歷史偏離分?jǐn)?shù)在新的閾值范圍內(nèi)按照降序排列，選擇前p_x個歷史偏離分?jǐn)?shù)中最小的歷史偏離分?jǐn)?shù)作為偏離分?jǐn)?shù)閾值。

24、進一步地，所述對預(yù)處理用戶數(shù)據(jù)進行分析，獲得熱數(shù)據(jù)和冷數(shù)據(jù)，并對熱數(shù)據(jù)和冷數(shù)據(jù)進行存儲的方法包括：

25、獲取預(yù)處理用戶數(shù)據(jù)的距離當(dāng)前時間最近的訪問時間、訪問頻率以及數(shù)據(jù)大小，基于線性加權(quán)求和的方法獲得冷熱數(shù)據(jù)判別公式：

26、其中，t為時間差，t＝t當(dāng)-t近；t當(dāng)為當(dāng)前時間，t近為最近的訪問時間，w1、w2和w3為權(quán)重系數(shù)，f為訪問頻率，s為數(shù)據(jù)大小；

27、設(shè)置判別閾值：lr0；

28、當(dāng)lr>lr0時，將預(yù)處理用戶數(shù)據(jù)記為熱數(shù)據(jù)，當(dāng)lr≤lr0時，將預(yù)處理用戶數(shù)據(jù)記為冷數(shù)據(jù)；

29、數(shù)據(jù)存儲模塊設(shè)置有熱數(shù)據(jù)存儲子區(qū)間和冷數(shù)據(jù)存儲子區(qū)間，將熱數(shù)據(jù)存儲至熱數(shù)據(jù)存儲子區(qū)間，將冷數(shù)據(jù)存儲至冷數(shù)據(jù)存儲子區(qū)間。

30、進一步地，所述對存儲的熱數(shù)據(jù)和冷數(shù)據(jù)進行聚合，獲得聚合數(shù)據(jù)包的方法包括：

31、步驟b1：獲取熱數(shù)據(jù)和冷數(shù)據(jù)對應(yīng)的冷熱數(shù)據(jù)判別公式的結(jié)果，并獲取結(jié)果的最大值，將結(jié)果的最大值對應(yīng)的熱數(shù)據(jù)或冷數(shù)據(jù)標(biāo)記為聚合子數(shù)據(jù)；

32、步驟b2：獲取聚合子數(shù)據(jù)變動時同時發(fā)生變動的熱數(shù)據(jù)和冷數(shù)據(jù)，將此熱數(shù)據(jù)和冷數(shù)據(jù)標(biāo)記為聯(lián)系變動數(shù)據(jù)，將聚合子數(shù)據(jù)與聯(lián)系變動數(shù)據(jù)進行打包，獲得聚合數(shù)據(jù)包；

33、步驟b3：獲取未被標(biāo)記為聚合子數(shù)據(jù)和聯(lián)系變動數(shù)據(jù)的熱數(shù)據(jù)和冷數(shù)據(jù)，并記為未標(biāo)記數(shù)據(jù)，提取未標(biāo)記數(shù)據(jù)對應(yīng)的冷熱數(shù)據(jù)判別公式的結(jié)果，并獲取結(jié)果的最大值，將結(jié)果的最大值對應(yīng)的未標(biāo)記數(shù)據(jù)標(biāo)記為聚合子數(shù)據(jù)，重復(fù)步驟b2；

34、步驟b4：重復(fù)步驟b3，直至所有熱數(shù)據(jù)和冷數(shù)據(jù)均被標(biāo)記為聚合子數(shù)據(jù)或聯(lián)系變動數(shù)據(jù)。

35、進一步地，所述構(gòu)建格子空間，將聚合數(shù)據(jù)包映射至格子空間內(nèi)，獲取聚合數(shù)據(jù)包的優(yōu)先級，根據(jù)聚合數(shù)據(jù)包的優(yōu)先級將對應(yīng)格子渲染為相應(yīng)的顏色的方法包括：

36、構(gòu)建l行k列的格子空間；

37、獲取每個熱數(shù)據(jù)和冷數(shù)據(jù)的最晚處理時間，根據(jù)最晚處理時間和當(dāng)前時間獲得熱數(shù)據(jù)和冷數(shù)據(jù)的處理緊急度cj，并設(shè)置處理緊急度閾值范圍(cj0，cj1)；

38、其中，cj＝t晚-t當(dāng)；t晚為最晚處理時間；

39、當(dāng)cj≤cj0時，將此熱數(shù)據(jù)和冷數(shù)據(jù)記為最高優(yōu)先數(shù)據(jù)，并獲取存在最高優(yōu)先數(shù)據(jù)的聚合數(shù)據(jù)包，將此聚合數(shù)據(jù)包的優(yōu)先級設(shè)置為最高優(yōu)先級，并將此聚合數(shù)據(jù)包所處的格子渲染為紅色；

40、當(dāng)cj0<cj<cj1時，將此熱數(shù)據(jù)記為熱一級數(shù)據(jù)，將此冷數(shù)據(jù)記為冷一級數(shù)據(jù)；

41、當(dāng)cj≥cj1時，將此熱數(shù)據(jù)記為熱二級數(shù)據(jù)，將此冷數(shù)據(jù)記為冷二級數(shù)據(jù)；

42、其中，cj0為處理緊急度閾值范圍內(nèi)的最小值，cj1為處理緊急度閾值范圍內(nèi)的最大值；

43、根據(jù)熱一級數(shù)據(jù)、冷一級數(shù)據(jù)、熱二級數(shù)據(jù)以及冷二級數(shù)據(jù)的數(shù)量獲得其余聚合數(shù)據(jù)包的優(yōu)先級判別公式：yx＝g1×h(x1)+g2×d(x2)+g3×p(x3)+g4×y(x4)；

44、其中，g1、g2、g3和g4分別為聚合數(shù)據(jù)包中熱一級數(shù)據(jù)的數(shù)量、冷一級數(shù)據(jù)的數(shù)量、熱二級數(shù)據(jù)的數(shù)量和冷二級數(shù)據(jù)的數(shù)量，h(x1)為熱一級數(shù)據(jù)數(shù)量影響函數(shù)，d(x2)為冷一級數(shù)據(jù)數(shù)量影響函數(shù)，p(x3)為熱二級數(shù)據(jù)數(shù)量影響函數(shù)，y(x4)為冷二級數(shù)據(jù)數(shù)量影響函數(shù)，x1、x2、x3和x4分別為熱一級數(shù)據(jù)數(shù)量影響函數(shù)的自變量、冷一級數(shù)據(jù)數(shù)量影響函數(shù)的自變量、熱二級數(shù)據(jù)數(shù)量影響函數(shù)的自變量和冷二級數(shù)據(jù)數(shù)量影響函數(shù)的自變量；

45、其中，

46、預(yù)設(shè)優(yōu)先級判別公式結(jié)果閾值范圍(yx?0，yx1)；

47、當(dāng)yx≤yx0時，將聚合數(shù)據(jù)包的優(yōu)先級設(shè)置為三級優(yōu)先級，并將此聚合數(shù)據(jù)包所處的格子渲染為綠色；

48、當(dāng)yx0<yx<yx1時，將聚合數(shù)據(jù)包的優(yōu)先級設(shè)置為二級優(yōu)先級，并將此聚合數(shù)據(jù)包所處的格子渲染為黃色；

49、當(dāng)yx≥yx1時，將聚合數(shù)據(jù)包的優(yōu)先級設(shè)置為一級優(yōu)先級，并將此聚合數(shù)據(jù)包所處的格子渲染為橙色；

50、其中，yx0為優(yōu)先級判別公式結(jié)果閾值范圍內(nèi)的最小值，yx1為優(yōu)先級判別公式結(jié)果閾值范圍內(nèi)的最大值。

51、進一步地，所述預(yù)設(shè)優(yōu)先級判別公式結(jié)果閾值范圍的方法包括：

52、對歷史用戶數(shù)據(jù)進行分析，獲得歷史熱數(shù)據(jù)和歷史冷數(shù)據(jù)，對歷史熱數(shù)據(jù)和歷史冷數(shù)據(jù)進行聚合，獲得歷史聚合數(shù)據(jù)包，獲取一級優(yōu)先級的歷史聚合數(shù)據(jù)包的優(yōu)先級判別公式的輸出結(jié)果的最大值與三級優(yōu)先級的歷史聚合數(shù)據(jù)包的優(yōu)先級判別公式的輸出結(jié)果的最小值；

53、根據(jù)輸出結(jié)果的最小值和最大值獲得優(yōu)先級判別公式結(jié)果閾值范圍(yx?0，yx1)；

54、其中，pj_min為輸出結(jié)果的最小值，pj_max為輸出結(jié)果的最大值。

55、進一步地，所述根據(jù)渲染結(jié)果對聚合數(shù)據(jù)包進行處理的方法包括：

56、步驟c1：獲取紅色格子、綠色格子、黃色格子以及橙色格子的數(shù)量，并設(shè)置數(shù)量閾值ls；

57、步驟c2：當(dāng)紅色格子的數(shù)量大于數(shù)量閾值，獲取紅色格子內(nèi)聚合數(shù)據(jù)包的大小，并進行降序排列，依次對前l(fā)s個聚合數(shù)據(jù)包進行處理，直至所有紅色格子內(nèi)聚合數(shù)據(jù)包處理完成，當(dāng)紅色格子的數(shù)量小于等于數(shù)量閾值，直接對紅色格子內(nèi)的聚合數(shù)據(jù)包進行處理；

58、步驟c3：重復(fù)步驟c2對橙色格子內(nèi)的聚合數(shù)據(jù)包進行處理；

59、步驟c4：重復(fù)步驟c2對黃色格子內(nèi)的聚合數(shù)據(jù)包進行處理；

60、步驟c5：重復(fù)步驟c2對綠色格子內(nèi)的聚合數(shù)據(jù)包進行處理。

61、本發(fā)明一種面向云計算環(huán)境的用戶數(shù)據(jù)處理優(yōu)化系統(tǒng)的技術(shù)效果和優(yōu)點：

62、對原始用戶數(shù)據(jù)進行了預(yù)處理，獲得了預(yù)處理用戶數(shù)據(jù)，去除了原始用戶數(shù)據(jù)中的異常值，從而使得后續(xù)的數(shù)據(jù)處理更加準(zhǔn)確，將不同數(shù)據(jù)類別的數(shù)據(jù)進行了時間對齊，從而使得數(shù)據(jù)更加有序，方便了后續(xù)的數(shù)據(jù)處理，對預(yù)處理用戶數(shù)據(jù)進行分析，獲得了熱數(shù)據(jù)和冷數(shù)據(jù)，從而了解數(shù)據(jù)是否為常用數(shù)據(jù)，為后續(xù)確定數(shù)據(jù)處理的優(yōu)先級提供了參考，對存儲的熱數(shù)據(jù)和冷數(shù)據(jù)進行聚合，獲得了聚合數(shù)據(jù)包，將相互影響的數(shù)據(jù)聚合在一起，對聚合數(shù)據(jù)包進行處理，進一步提高了數(shù)據(jù)處理的速度，節(jié)約了云計算資源，根據(jù)聚合數(shù)據(jù)包的優(yōu)先級將對應(yīng)格子渲染為相應(yīng)的顏色，根據(jù)渲染結(jié)果對聚合數(shù)據(jù)包進行處理，從而使得數(shù)據(jù)處理進行的有條不紊，確保了較高優(yōu)先級的數(shù)據(jù)進行優(yōu)先處理，滿足了系統(tǒng)的需求。