本技術涉及分布式數據分析引擎，尤其涉及一種分布式數據分析引擎的容量自動管理方法及系統。

背景技術：

1、分布式數據分析引擎是指能夠在分布式存儲環境中處理和分析大量數據的系統，被廣泛應用于大數據處理、實時數據分析、機器學習等場景。

2、公開號為cn112099977a的中國專利申請，公開了一種分布式跟蹤系統的實時數據分析引擎，包括數據處理模塊及與數據處理模塊連接的數據采集模塊和數據分析模塊，數據采集模塊和數據處理模塊通過數據接收模塊連接，數據接收模塊和數據處理模塊之間采用kafka集群作為中間層，kafka與數據接收模塊中的數據接收節點之間采用異步傳輸方式，kafka統計特定時間間隔內每個url的訪問的響應時間，數據處理模塊采用基于時間窗口的數據預聚合，通過比較響應時間對應的字段，進行數據聚合，并將新數據添加到聚合的結果中，數據預聚合的結果存儲在redis緩存中，提取數據匯總結果并存儲，同時刪除redis緩存中的數據。此外，公開號為cn111625696a中國專利申請，提供了一種多源數據分析引擎的分布式調度方法、計算節點裝置、可讀存儲介質、計算設備及多源數據分析引擎的分布式調度系統，節省了大量的通信成本，提高了多源數據分析引擎的分布式處理效率，方法包括：多源數據分析引擎的調度指數最高的計算節點接收查詢任務；計算節點確定查詢任務的包括中間結果集的子查詢任務，以及確定中間結果集的存儲節點；計算節點計算將中間結果集遷移至本地的第一時間開銷，以及計算由存儲節點執行子查詢任務的第二時間開銷；計算節點根據第一時間開銷和第二時間開銷的比較結果，選擇由計算節點將中間結果集遷移至本地并執行子查詢任務，還是由存儲節點執行子查詢任務。然而，上述兩個專利申請均未考慮如何有效的利用容量，容量管理效率不高。

技術實現思路

1、本技術的管理模塊將待存儲的不同的數據劃分到特征數值個數的數據組中，使本技術的每個節點模塊均衡的進行隱秘數據的存儲，并且在需要調整當前使用的節點模塊的數量的情況下，本技術的管理模塊以數據組為單位進行容量管理。本技術旨在有效的利用容量，提高容量管理效率。

2、本技術提供了一種分布式數據分析引擎的容量自動管理方法，包括如下步驟：

3、s1、管理模塊獲取若干個預設數值，基于獲取的若干個預設數值確定特征數值，將待存儲的不同的數據劃分到特征數值個數的數據組中；

4、s2、所述管理模塊基于當前使用的節點模塊的數量，以及全部的數據組的個數制定待存儲的不同的數據的存儲計劃表，當前使用的節點模塊的數量與若干個預設數值中的其中之一相對應，依據存儲計劃表以隱秘存儲的方式分別將若干個數據組中的所有數據存儲到相應的節點模塊中；

5、s3、所述管理模塊判斷是否需要調整當前使用的節點模塊的數量，在否的情況下，重復本步驟，在是的情況下，繼續下個步驟；

6、s4、在減少當前使用的節點模塊的數量的情況下，所述管理模塊計算特征數值與調整后的節點模塊的數量的第一比值，計算特征數值與調整前的節點模塊的數量的第二比值，分別從待減少的節點模塊中將第一比值和第二比值的差值個數的數據組中的所有隱秘數據轉存到相應的其他節點模塊中，在增加當前使用的節點模塊的數量的情況下，所述管理模塊計算特征數值與調整前的節點模塊的數量的第三比值，計算特征數值與調整后的節點模塊的數量的第四比值，分別從當前使用的節點模塊中將第三比值和第四比值的差值個數的數據組中的所有隱秘數據轉存到相應的待增加的節點模塊中；

7、s5、提取模塊從相應的節點模塊中提取存儲的隱秘數據，針對隱秘數據進行恢復處理，并且分析模塊使用恢復處理后的數據進行分析處理。

8、作為本技術的一種優選技術方案，所述s4中，在減少當前使用的節點模塊的數量的情況下，減少后的節點模塊的數量與若干個預設數值中的其中之一相對應。

9、作為本技術的一種優選技術方案，所述s4中，在增加當前使用的節點模塊的數量的情況下，增加后的節點模塊的數量與若干個預設數值中的其中之一相對應。

10、作為本技術的一種優選技術方案，所述管理模塊以隱秘存儲的方式分別將若干個數據組中的所有數據存儲到相應的節點模塊中，包括如下步驟：

11、s21、關于若干個數據組中的每個數據，所述管理模塊針對數據進行隱秘處理以得到隱秘數據；

12、s22、關于若干個數據組中的每個數據對應的待存儲的隱秘數據，所述管理模塊將待存儲的隱秘數據分別與相應的節點模塊中已存儲的不同的隱秘數據進行對比處理；

13、s23、關于若干個數據組中的每個數據對應的待存儲的隱秘數據，所述管理模塊判斷是否存在與待存儲的隱秘數據擁有相同部分的已存儲的隱秘數據，在是的情況下，針對待存儲的隱秘數據中的不同部分進行存儲處理，在否的情況下，針對待存儲的隱秘數據進行存儲處理。

14、作為本技術的一種優選技術方案，所述s21中，所述管理模塊針對數據進行隱秘處理以得到隱秘數據，包括如下步驟：

15、s211、所述管理模塊將數據劃分為若干個部分數據，并且所述管理模塊按照獲得若干個部分數據的順序依次為每個部分數據生成一個順序編號；

16、s212、所述管理模塊使用若干個部分數據中的除了最大的順序編號對應的部分數據之外的全部的其他部分數據組成中間數據，并且針對所述中間數據進行第一運算處理以得到第一運算結果數據；

17、s213、所述管理模塊針對第一運算結果數據與若干個部分數據中的最大的順序編號對應的部分數據進行第二運算處理以得到第二運算結果數據，并且根據第二運算結果數據生成混淆數據；

18、s214、所述管理模塊針對混淆數據與所述中間數據進行第二運算處理以得到第一隱秘數據，并且針對若干個部分數據中的最大的順序編號對應的部分數據進行加密處理以得到第二隱秘數據，連接第一隱秘數據與第二隱秘數據以得到隱秘數據。

19、作為本技術的一種優選技術方案，所述s22中，所述管理模塊將待存儲的隱秘數據分別與相應的節點模塊中已存儲的不同的隱秘數據進行對比處理，包括如下步驟：

20、s221、關于相應的節點模塊中已存儲的每個隱秘數據，所述管理模塊針對隱秘數據進行分割處理，以得到第一部分數據和第二部分數據，并且針對待存儲的隱秘數據進行同樣的分割處理，以得到第三部分數據和第四部分數據；

21、s222、所述管理模塊判斷第一部分數據與第三部分數據是否相同，在是的情況下，將第三部分數據當作待存儲的隱秘數據中的相同部分，將第四部分數據當作待存儲的隱秘數據中的不同部分。

22、作為本技術的一種優選技術方案，所述提取模塊針對隱秘數據進行恢復處理，包括如下步驟：

23、s51、所述提取模塊針對隱秘數據進行分割處理，以獲得部分隱秘數據一和部分隱秘數據二，并且繼續針對部分隱秘數據二進行解密處理以獲得解密結果數據；

24、s52、所述提取模塊根據解密結果數據生成混合數據，并且針對混合數據與部分隱秘數據一進行第二運算處理以得到第一恢復數據；

25、s53、所述提取模塊針對第一恢復數據進行第一運算處理以得到中間恢復數據，并且繼續針對中間恢復數據與解密結果數據進行第二運算處理以得到第二恢復數據，連接第一恢復數據和第二恢復數據以得到恢復處理后的數據。

26、作為本技術的一種優選技術方案，所述提取模塊在從相應的節點模塊中提取存儲的隱秘數據的同時還提取隱秘數據的元數據，提取隱秘數據的元數據包括：判斷內存中的元數據的數量是否超過預設的數量閾值，在未超過的情況下，提取隱秘數據的元數據，在超過的情況下，將在最近7天未被訪問過的若干個元數據從內存中卸載，繼續判斷內存中的元數據的數量是否超過預設的數量閾值，在未超過的情況下，提取隱秘數據的元數據，在超過的情況下，使用lru算法確定若干個元數據，將確定的若干個元數據從內存中卸載，提取隱秘數據的元數據。

27、本技術還提供一種分布式數據分析引擎的容量自動管理系統，包括如下模塊：

28、管理模塊，用于獲取若干個預設數值，基于獲取的若干個預設數值確定特征數值，將待存儲的不同的數據劃分到特征數值個數的數據組中；同時用于基于當前使用的節點模塊的數量，以及全部的數據組的個數制定待存儲的不同的數據的存儲計劃表，當前使用的節點模塊的數量與若干個預設數值中的其中之一相對應，按照存儲計劃表以隱秘存儲的方式分別將若干個數據組中的所有數據存儲到相應的節點模塊中；并且用于判斷是否需要調整當前使用的節點模塊的數量；還用于在減少當前使用的節點模塊的數量的情況下，計算特征數值與調整后的節點模塊的數量的第一比值，計算特征數值與調整前的節點模塊的數量的第二比值，分別從待減少的節點模塊中將第一比值和第二比值的差值個數的數據組中的所有隱秘數據轉存到相應的其他節點模塊中，在增加當前使用的節點模塊的數量的情況下，計算特征數值與調整前的節點模塊的數量的第三比值，計算特征數值與調整后的節點模塊的數量的第四比值，分別從當前使用的節點模塊中將第三比值和第四比值的差值個數的數據組中的所有隱秘數據轉存到相應的待增加的節點模塊中；

29、節點模塊，用于存儲待存儲的數據對應的隱秘數據；

30、提取模塊，用于從相應的節點模塊中提取存儲的隱秘數據，針對隱秘數據進行恢復處理；

31、分析模塊，用于使用提取模塊恢復處理后的數據進行分析處理。

32、與現有技術相比，本技術的有益效果至少如下所述：

33、在本技術提供的技術方案中，首先，獲取若干個預設數值，基于獲取的若干個預設數值確定特征數值，將待存儲的不同的數據劃分到特征數值個數的數據組中；其次，基于當前使用的節點模塊的數量，以及全部的數據組的個數制定待存儲的不同的數據的存儲計劃表，依據存儲計劃表以隱秘存儲的方式分別將若干個數據組中的所有數據存儲到相應的節點模塊中；再次，在需要減少當前使用的節點模塊的數量的情況下，計算特征數值與調整后的節點模塊的數量的第一比值，計算特征數值與調整前的節點模塊的數量的第二比值，分別從待減少的節點模塊中將第一比值和第二比值的差值個數的數據組中的所有隱秘數據轉存到相應的其他節點模塊中，在需要增加當前使用的節點模塊的數量的情況下，計算特征數值與調整前的節點模塊的數量的第三比值，計算特征數值與調整后的節點模塊的數量的第四比值，分別從當前使用的節點模塊中將第三比值和第四比值的差值個數的數據組中的所有隱秘數據轉存到相應的待增加的節點模塊中；最后，從相應的節點模塊中提取存儲的隱秘數據，針對提取的隱秘數據進行恢復處理，使用恢復處理后的數據進行分析處理。通過本技術，不僅能有效的利用容量，提高容量管理效率，而且還能避免數據被泄露的問題。