本公開涉及融合存儲,尤其涉及一種數據處理方法、裝置、設備及計算機可讀存儲介質。
背景技術:
1、混閃超融合系統作為一種融合存儲系統,使用固態硬盤(solid?state?drive,ssd)作為緩存層,機械硬盤(hard?disk?drive,hdd)作為容量層進行分層存儲。由于固態硬盤的讀寫效率高于機械硬盤,為了盡可能通過固態硬盤實現上層應用的數據讀寫,通常會在固態硬盤中劃分固定比例的兩部分空間,一部分空間專供數據讀取請求使用,以供將機械硬盤中的數據寫入到固態硬盤中,再通過固態硬盤實現數據讀取請求;另一部分空間則專供數據寫入請求使用,存儲數據寫入請求的數據。
2、但是,這種固定比例的存儲空間劃分對于融合存儲系統的數據處理能力限制較大,例如不同的上層應用其讀寫i/o比例不同;或是當某一類io(讀或寫)操作集中時,由于固態硬盤專用空間的限制,需要頻繁與機械硬盤交互,造成讀寫時延增加,請求響應變慢。因此,現有融合存儲系統中的數據處理方法缺乏合理性。
技術實現思路
1、為了解決上述技術問題,本公開提供了一種數據處理方法、裝置、設備及計算機可讀存儲介質,以提高融合存儲系統中的數據處理方法的合理性。
2、第一方面,本公開實施例提供一種數據處理方法,所述融合存儲系統包括第一存儲空間以及第二存儲空間,所述第一存儲空間的讀寫時延小于所述第二存儲空間的讀寫時延,所述數據處理方法包括:
3、基于數據塊的訪問信息,更新所述數據塊的熱度值;
4、當第一存儲空間中的數據存儲情況滿足預設數據落盤條件時,根據所述數據塊的熱度值確定所述第一存儲空間中的目標遷移數據塊;
5、將所述目標遷移數據塊遷移至第二存儲空間中。
6、可選的,所述基于數據塊的訪問信息,更新所述數據塊的熱度值,包括:
7、響應于對于所述數據塊的訪問操作,增加所述數據塊的熱度值,并將所述訪問信息中數據塊的響應時間更新為所述訪問操作發生的時間;
8、基于所述響應時間與當前時間的時間差,降低所述數據塊的熱度值。
9、可選的,所述數據塊的熱度值包括基準熱度值,所述響應于所述數據塊的訪問操作,增加所述數據塊的熱度值,包括:
10、每當發生一次數據塊的訪問操作,將所述數據塊的熱度值增加第一熱度調整值。
11、可選的,所述基于所述響應時間與當前時間的時間差,降低所述數據塊的熱度值,包括:
12、基于所述時間差確定第二熱度調整值,所述第二熱度調整值與所述時間差成正比;
13、將所述數據塊的熱度值降低第二熱度調整值。
14、可選的,所述預設數據落盤條件包括:
15、所述第一存儲空間中的剩余存儲容量小于第一存儲容量閾值;和/或,
16、所述第一存儲空間中關鍵數據塊的大小大于第二存儲容量閾值,所述關鍵數據塊為所述第一存儲空間中熱度值高于第一熱度值閾值的至少一個數據塊。
17、可選的,所述根據所述數據塊的熱度值確定所述第一存儲空間中的目標遷移數據塊,包括:
18、選取所述第一存儲空間中熱度值最低的多個數據塊作為候選數據塊;
19、從所述候選數據塊中選取目標遷移數據塊,以使所述目標遷移數據塊的大小大于第三存儲容量閾值,且所述目標遷移數據塊的數量最少。
20、可選的,所述將所述目標遷移數據塊遷移至第二存儲空間中,包括:
21、確定所述目標遷移數據塊中的備份數據塊,所述備份數據塊為所述目標遷移數據塊中熱度值最高的多個數據塊,且所述備份數據塊的大小與所述第一存儲空間中非目標遷移數據塊的大小之和小于第四存儲容量閾值;
22、將所述目標遷移數據塊復制至第二存儲空間中;
23、保留第一存儲空間中所述備份數據塊,刪除所述第一存儲空間中除所述備份數據塊以外的目標遷移數據塊。
24、可選的,所述方法還包括:
25、響應于待寫入數據的數據寫入事件觸發,獲取所述待寫入數據的預設優先級;
26、基于熱度值計算參數,計算所述待寫入數據的熱度值,所述熱度值計算參數包括所述預設優先級、預設熱度步長以及基準熱度值;
27、基于所述待寫入數據以及所述待寫入數據的熱度值構建待寫入數據塊;
28、將所述待寫入數據塊存入所述融合存儲系統中。
29、可選的,所述基于所述預設優先級、預設熱度步長以及基準熱度值,計算得到所述待寫入數據塊的熱度值,包括:
30、基于所述預設優先級以及預設熱度步長,計算熱度加成值,所述熱度加成值與所述預設優先級成正比;
31、計算基準熱度值與所述優先級加成熱度值之和,得到所述待寫入數據塊的熱度值。
32、可選的,所述方法還包括:
33、統計所述融合存儲系統中數據訪問請求的命中率,所述命中率為所述第一存儲空間中存儲有所述數據訪問請求對應的目標數據的概率;
34、當所述命中率低于預設命中率閾值時,對所述熱度值計算參數進行更新,以使所述命中率高于所述預設命中率閾值。
35、可選的,所述方法包括:
36、響應于待寫入數據的數據寫入請求,若所述第一存儲空間中存在所述待寫入數據,則將所述待寫入數據對應數據塊的響應時間更新為當前時間;或者,
37、若所述第一存儲空間中不存在所述待寫入數據,且所述待寫入數據的大小不大于所述第一存儲空間中的剩余存儲容量,則將所述待寫入數據寫入所述第一存儲空間中,并記錄所述待寫入數據對應數據塊的響應時間為當前時間。
38、可選的,所述方法還包括:
39、響應于對于目標數據塊的數據讀取請求,若所述目標數據塊僅位于第二存儲空間中,且所述目標數據塊的大小不大于所述第一存儲空間中的剩余存儲容量,則將所述目標數據塊遷移至第一存儲空間中,以基于所述第一存儲空間完成所述數據讀取請求。
40、第二方面,本公開實施例提供一種數據處理裝置,所述裝置應用于融合存儲系統,所述融合存儲系統包括第一存儲空間以及第二存儲空間,所述第一存儲空間的讀寫時延小于所述第二存儲空間的讀寫時延,所述數據處理裝置包括:
41、更新模塊,用于基于數據塊的訪問信息,更新所述數據塊的熱度值;
42、確定模塊,用于當第一存儲空間中的數據存儲情況滿足預設數據落盤條件時,根據所述數據塊的熱度值確定所述第一存儲空間中的目標遷移數據塊;
43、遷移模塊,用于將所述目標遷移數據塊遷移至第二存儲空間中。
44、第三方面,本公開實施例提供一種融合存儲系統管理設備,包括:
45、存儲器;
46、處理器;以及
47、計算機程序;
48、其中,所述計算機程序存儲在所述存儲器中,并被配置為由所述處理器執行以實現如第一方面所述的方法。
49、第四方面,本公開實施例提供一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執行以實現第一方面所述的方法。
50、第五方面,本公開實施例還提供了一種計算機程序產品,該計算機程序產品包括計算機程序或指令,該計算機程序或指令被處理器執行時實現如上所述的數據處理方法。
51、本公開實施例提供的數據處理方法、裝置、設備及計算機可讀存儲介質,基于數據塊的訪問情況動態調整數據塊的熱度值,并在第一存儲空間滿足預設數據落盤條件時,根據動態調整后的熱度值確定目標遷移數據塊,并將目標遷移數據塊遷移至第二存儲空間,基于熱度值對數據塊進行動態管理,減少了對第一存儲空間進行固定區域的劃分所帶來的讀寫時延增加、請求響應變慢等問題,提高融合存儲系統中數據存儲的靈活性。