麻豆精品无码国产在线播放,国产亚洲精品成人AA片新蒲金,国模无码大尺度一区二区三区,神马免费午夜福利剧场

一種數據重構方法、裝置、設備、介質和產品與流程

文檔序號:41739690發布日期:2025-04-25 17:16閱讀:5來源:國知局
一種數據重構方法、裝置、設備、介質和產品與流程

本發明涉及數據存儲的,特別是涉及一種數據重構方法、裝置、設備、介質和產品。


背景技術:

1、隨著科技發展,進入數據大爆炸時代,海量的數據需要存儲和讀取。數據已經取代計算成為了信息計算的中心。這促使存儲技術的需求不斷提高,包括容量需求、i/o(input/output,輸入輸出)性能需求、數據安全性需求、可擴展性需求等。為了解決相關問題,raid技術應運而生。

2、raid(redundant?array?of?independent?disks,獨立磁盤冗余陣列)技術作為高性能、高可靠性的存儲技術,已經得到了廣泛的應用。raid主要利用數據條帶、鏡像和數據校驗技術來獲取高性能、高可靠性、容錯能力和擴展性,根據運用或者組合這三種技術的策略和架構,可以把raid分為不同的等級,以滿足不同場景的需求,其中鏡像和數據校驗技術可以提高數據的可靠性。

3、當raid系統中某個成員盤出現硬件鏈路故障就會觸發raid系統進入降級狀態?,之后的io數據將不會更新到對應盤上。后續硬件鏈路故障恢復,但是恢復的盤內沒有新的io數據,不能直接將其直接加入到raid組,會導致條帶不一致問題。要將恢復的盤加入raid組,需要進行全盤數據重構操作,這個重構過程是十分漫長的,往往需要數小時,且在重構過程中raid系統還處于降級狀態,其可靠性和性能都會有所下降。

4、因此,如何高效率的進行數據重構,是本領域技術人員亟待解決的技術問題。


技術實現思路

1、本發明目的是提供一種數據重構方法、裝置、設備、介質和產品,不需要進行全盤數據重構,僅僅需要通過輸入輸出映射表記錄的輸入輸出信息確定需要進行數據重構的多個待重構條帶組,以便于基于該部分數據進行重構,使得重構數據量減少,進而提高了重構效率,能讓獨立磁盤冗余陣列快速度進入有保護狀態,也能減少重構對盤的寫入數據量提高盤的使用壽命。

2、第一方面,提供了一種數據重構方法,包括:當監測到有磁盤上線后,根據所述磁盤的獨立磁盤冗余陣列原信息確定所述磁盤的獨立磁盤冗余陣列組;確定所述磁盤的獨立磁盤冗余陣列組是否為當前的獨立磁盤冗余陣列組;若是當前的獨立磁盤冗余陣列組,則讀取當前的獨立磁盤冗余陣列組的輸入輸出映射表,其中,所述輸入輸出映射表中記錄有所述磁盤下線后的輸入輸出信息,所述輸入輸出映射表由第一數量的映射值構成,每個映射值由第二數量的位值構成,當位值為1時,表示有輸入輸出信息寫入位值對應的條帶組;根據所述輸入輸出映射表,確定需要進行數據重構的多個待重構條帶組;根據所述多個待重構條帶組,對加入所述磁盤后的獨立磁盤冗余陣列組進行數據重構。

3、本發明在一較佳示例中可以進一步配置為:根據所述輸入輸出映射表,確定需要進行數據重構的多個待重構條帶組,包括:確定所述輸入輸出映射表的映射值不為0的目標映射值標識;根據所述目標映射值標識的目標偏移位,確定目標條帶組標識,所述目標偏移位是位值為1的偏移位;根據所述目標條帶組標識,確定需要進行數據重構的多個待重構條帶組。

4、本發明在一較佳示例中可以進一步配置為:還包括:當異常磁盤下線后,獲取新輸入輸出信息;根據新輸入輸出信息的每個位置信息,計算每個位置信息在所述輸入輸出映射表中的輸入輸出位置,其中,新輸入輸出信息的位置信息由新輸入輸出信息的起始位置信息至結束位置信息構成,輸入輸出位置包括:映射值標識以及偏移位標識;將所述新輸入輸出信息的每個位置信息在所述輸入輸出映射表中的輸入輸出位置的位值記為1。

5、本發明在一較佳示例中可以進一步配置為:根據新輸入輸出信息的每個位置信息,計算每個位置信息在所述輸入輸出映射表中的輸入輸出位置,包括:利用預設操作,依次計算新輸入輸出信息的每個位置信息的映射值標識和偏移位標識;其中,預設操作包括:根據新輸入輸出信息的位置信息和條帶組大小,得到條帶組標識;根據條帶組標識和第二數量,確定映射值標識和偏移位標識。

6、本發明在一較佳示例中可以進一步配置為:根據新輸入輸出信息的每個位置信息,計算每個位置信息在所述輸入輸出映射表中的輸入輸出位置,包括:根據新輸入輸出信息的起始位置信息,計算起始位置信息在所述輸入輸出映射表中的起始輸入輸出位置;根據新輸入輸出信息的結束位置信息,計算結束位置信息在所述輸入輸出映射表中的結束輸入輸出位置;將起始輸入輸出位置和結束輸入輸出位置之間的所有輸入輸出位置,作為所述新輸入輸出信息的輸入輸出位置。

7、本發明在一較佳示例中可以進一步配置為:還包括:當獨立磁盤冗余陣列組正常時,標記所述輸入輸出映射表為無效狀態;當獨立磁盤冗余陣列組異常時,標記所述輸入輸出映射表為有效狀態,所述有效狀態用于指示在輸入輸出映射表記錄輸入輸出信息。

8、本發明在一較佳示例中可以進一步配置為:還包括:根據所述多個待重構條帶組,對加入所述磁盤后的獨立磁盤冗余陣列組進行數據重構之后,還包括:清除所述輸入輸出映射表中所有的位值。

9、本發明在一較佳示例中可以進一步配置為:當監測到有磁盤上線后,還包括:判斷所述磁盤中是否存儲有獨立磁盤冗余陣列原信息;若所述磁盤中存儲有獨立磁盤冗余陣列原信息,則根據所述磁盤的獨立磁盤冗余陣列原信息確定所述磁盤的獨立磁盤冗余陣列組;若所述磁盤中未存儲有獨立磁盤冗余陣列原信息,則執行全盤數據重構。

10、本發明在一較佳示例中可以進一步配置為:所述輸入輸出映射表的數據結構為數組形式或鏈表形式。

11、本發明在一較佳示例中可以進一步配置為:根據所述多個待重構條帶組,對加入所述磁盤后的獨立磁盤冗余陣列組進行數據重構,包括:將目標待重構條帶組和所述磁盤的對應的條帶組進行一致性校驗,其中,所述目標待重構條帶組是所述多個待重構條帶組中的任一條帶組;若驗證通過,則不進行目標待重構條帶組的數據重構;若驗證未通過,則根據目標待重構條帶組對加入所述磁盤后的獨立磁盤冗余陣列組進行數據重構。

12、本發明在一較佳示例中可以進一步配置為:讀取當前的獨立磁盤冗余陣列組的輸入輸出映射表之前,還包括:獲取所述磁盤的獨立磁盤冗余陣列組對應的容量、輸入輸出映射粒度和內存容量,所述輸入輸出映射粒度表征每個條帶組的體積;根據所述獨立磁盤冗余陣列組對應的容量、輸入輸出映射粒度,確定輸入輸出映射表體積;若所述輸入輸出映射表體積大于所述內存容量,則調整所述磁盤的獨立磁盤冗余陣列組對應的容量、輸入輸出映射粒度,得到新的獨立磁盤冗余陣列組對應的容量、新的輸入輸出映射粒度,并確認新的輸入輸出映射表體積,直至所述輸入輸出映射表體積不大于所述內存容量;若所述輸入輸出映射表體積不大于所述內存容量,則根據所述輸入輸出映射表大小設置輸入輸出映射表的第二數量。

13、本發明在一較佳示例中可以進一步配置為:調整所述磁盤的獨立磁盤冗余陣列組對應的容量、輸入輸出映射粒度,得到新的獨立磁盤冗余陣列組對應的容量、新的輸入輸出映射粒度,包括:根據用戶選擇的模式,確定容量調整參數和粒度調整參數;根據所述容量調整參數調整所述磁盤的獨立磁盤冗余陣列組對應的容量得到新的獨立磁盤冗余陣列組對應的容量;根據粒度調整參數調整輸入輸出映射粒度,得到新的輸入輸出映射粒度。

14、本發明在一較佳示例中可以進一步配置為:根據所述輸入輸出映射表,確定需要進行數據重構的多個待重構條帶組之前,還包括:確定所述輸入輸出映射表對應的多個待重構條帶組的條帶組總量;若所述條帶組總量大于預設總量閾值,則執行全盤數據重構;若所述條帶組總量不大于預設總量閾值,則執行根據所述輸入輸出映射表,確定需要進行數據重構的多個待重構條帶組的步驟。

15、本發明在一較佳示例中可以進一步配置為:根據所述多個待重構條帶組,對加入所述磁盤后的獨立磁盤冗余陣列組進行數據重構之后,還包括:將所述磁盤進行重構后的數據和冗余空間的數據進行一致性驗證;若通過一致性驗證,則確認數據重構成功;若未通過一致性驗證,則生成提示信息。

16、本發明在一較佳示例中可以進一步配置為:還包括:當異常磁盤下線后,從異常磁盤所在的獨立磁盤冗余陣列組中確定存在冗余空間的目標磁盤;根據目標磁盤的條帶組對所述異常磁盤的數據進行重構,并存儲在所述冗余空間中,并利用所述冗余空間進行接收到的新輸入輸出信息的處理。

17、本發明在一較佳示例中可以進一步配置為:還包括:獲取歷史的數據重構信息,所述數據重構信息包括:歷史條帶組總量、重構時間;根據所述歷史條帶組總量和所述重構時間,構建總量時間的關系模型;基于所述總量時間的關系模型,確定預設總量閾值。

18、第二方面,提供了一種數據重構裝置,包括:第一確定模塊,用于當監測到有磁盤上線后,根據所述磁盤的獨立磁盤冗余陣列原信息確定所述磁盤的獨立磁盤冗余陣列組;判斷模塊,用于確定所述磁盤的獨立磁盤冗余陣列組是否為當前的獨立磁盤冗余陣列組;讀取模塊,用于若是當前的獨立磁盤冗余陣列組,則讀取當前的獨立磁盤冗余陣列組的輸入輸出映射表,其中,所述輸入輸出映射表中記錄有所述磁盤下線后的輸入輸出信息,所述輸入輸出映射表由第一數量的映射值構成,每個映射值由第二數量的位值構成,當位值為1時,表示有輸入輸出信息寫入位值對應的條帶組;第二確定模塊,用于根據所述輸入輸出映射表,確定需要進行數據重構的多個待重構條帶組;數據重構模塊,用于根據所述多個待重構條帶組,對加入所述磁盤后的獨立磁盤冗余陣列組進行數據重構。

19、第三方面,提供了一種電子設備,包括:存儲器,用于存儲計算機程序;處理器,用于執行所述計算機程序以實現如第一方面任一項所述的方法。

20、第四方面,提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質上存儲有計算機程序,所述計算機程序被處理器執行時實現如第一方面任一所述的方法。

21、第五方面,提供了一種計算機程序產品,包括計算機程序或指令,所述計算機程序或指令被處理器執行時實現如第一方面任一所述的方法。

22、綜上所述,本發明提供的數據重構方法包括以下有益技術效果:當某個成員盤故障下線后,可以通過輸入輸出映射表記錄后續的輸入輸出信息;當監測到磁盤上線后,如果該磁盤的獨立磁盤冗余陣列原信息確定的獨立磁盤冗余陣列組有效,則表示為該成員盤故障修復后上線,此時,不需要進行全盤數據重構,僅僅需要通過輸入輸出映射表記錄的輸入輸出信息確定需要進行數據重構的多個待重構條帶組,以便于基于該部分數據進行重構,使得重構數據量減少,進而提高了重構效率,能讓獨立磁盤冗余陣列快速度進入有保護狀態,也能減少重構對盤的寫入數據量提高盤的使用壽命。

23、此外,本發明還提供了一種數據重構裝置、設備、介質和產品,均具有上述有益技術效果。

當前第1頁1 2 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
主站蜘蛛池模板: 蓬安县| 西青区| 叙永县| 东源县| 彭泽县| 滦南县| 怀集县| 西贡区| 大城县| 奉化市| 灵山县| 财经| 淄博市| 乌兰浩特市| 宣威市| 土默特左旗| 左贡县| 凤山县| 蚌埠市| 蒙山县| 右玉县| 左权县| 烟台市| 元阳县| 洪雅县| 陈巴尔虎旗| 弋阳县| 海兴县| 民勤县| 诸暨市| 辽源市| 萝北县| 沛县| 夏津县| 肥城市| 鄢陵县| 湘乡市| 封开县| 垦利县| 呼伦贝尔市| 枞阳县|