專利名稱：高可靠性的實時/歷史數據庫數據保護方法
技術領域：
本發明涉及一種數據庫數據的處理方法，具體來說涉及一種高可靠性的實時/歷史數據庫數據保護方法。
背景技術：
實時/歷史數據庫系統在國內很多基礎行業有著十分廣泛的應用，比如電力、典型、化工、鋼鐵和高鐵等對流程狀態數據要求較高的行業內，實時/歷史數據庫都擔負著十分重要的角色。受傳統數據庫管理系統的影響，目前大多數實時/歷史數據庫系統遵循傳統的數據管理模式為大量的最終數據建立索引系統并將數據壓縮存儲到數據文件中；而數據查詢和回取時都按照如下一系列過程客戶端提交查詢請求、服務軟件從索引系統中找到對應數據的位置(數據文件、偏移、數據類型和數據大小)、從對應的位置中讀取壓縮數據、解壓讀取到的壓縮數據、篩選并將滿足請求的數據記錄發送給提交請求的客戶端。因此，目前大多數實時/歷史數據庫的數據寫入和查詢都是先修改或者查詢索引信息系統，然后一次性訪問目標數據。這其中就存在一個問題，如果一個存儲了大量數據的索引系統由于某種原因被損壞，一種可能是存儲了很久的在線數據變成了孤立的數據文件，無法訪問；另外，即便現行的一些實時/歷史數據庫產品能夠找回孤立的數據文件中的數據，但是操作的過程十分冗長緩慢，有的甚至需要原軟件開發人員進行耗時的測試嘗試。可以看到，在實時/歷史數據庫系統應用越來越廣泛的今天，如何提升規模量龐大的實時/歷史數據庫的數據安全問題變得十分迫切。本實用新型的重點就是涉及和提供一種高可靠性的實時/歷史數據庫數據保護技術。

發明內容
本發明的目的在于提供一種高可靠性的實時/歷史數據庫數據保護方法，本方法能夠保護實時/歷史數據庫系統中數據的安全，降低由于數據丟失或者索引系統損壞帶來的損失，提升了實時/歷史數據庫系統中管理的常年在線數據的安全性、可靠性和完整性。本發明的目的可通過以下的技術措施來實現一種高可靠性的實時/歷史數據庫數據保護方法，包括如下內容A、寫數據請求處理過程Al)、根據數據庫配置指定的點標簽容量總數，初始化數據庫子索引系統、數據庫受限訪問子索引系統，為這兩個子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；A2)、由數據提交客戶端對數據庫發起提交實時數據的請求；A3)、數據庫接收到提交實時數據請求的請求包后，首先對請求包進行解析，分離出實時數據記錄數組，然后對該記錄數組進行數據壓縮并得到壓縮數據，另外同時從請求包中解析出數據關聯的點標簽ID，根據點標簽ID獲取該ID最新的記錄在子索引系統中寫入索引信息，所述索引信息的內容包括該點標簽ID最新記錄存儲所在的目標壓縮文件的文件ID ；A4)、在壓縮文件中分別進行三個操作首先，第一個操作是在壓縮文件內建立壓縮文件內部索引信息；第二個操作是將步驟A3)得到的壓縮數據寫入到壓縮數據段空間的最新寫入位置；第三個操作是在元文件信息空間建立提供給數據庫子索引系統進行反向構建的元文件信息，所述元文件信息的信息項包括寫入點標簽，寫入壓縮文件ID，寫入文件偏移，寫入文件數據大?。蝗齻€步驟全部被成功后進入下一步，否則宣告失敗，退出本方法的處理過程；A5)、根據步驟A4)產生的內部元文件信息來構造數據庫系統受限訪問子索引系統中需要的索引項；如果數據庫中配置了不需要數據庫提供應用受限訪問功能，則結束本方法處理過程；否則，進入下一步；A6)、判斷當前寫入的數據時間范圍是否在受限訪問的允許訪問時間范圍列表內， 如果是，則將當前寫入數據的索引信息加入到受限訪問子索引系統中，并結束本方法處理過程；否則，直接結束本方法處理過程；B、從一個或者多個實時/歷史數據庫在壓縮文件中建立子索引系統的處理過程Bi)、備份現有數據庫子索引系統相應的物理索引文件；B2)、根據數據庫配置指定的點標簽容量總數，初始化數據庫子索引系統，為子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；B3)、枚舉檢索歸檔的壓縮文件所在的文件夾，按照壓縮文件的序號從小到大，枚舉出全部的壓縮文件的列表，依次讀取每個壓縮文件的內部信息進行反向建立索引處理；B4)、對步驟B3)枚舉出來的每個壓縮文件，首先裝載壓縮文件的內部索引信息和元文件信息到內存，根據內部索引信息中的壓縮數據塊文件偏移和壓縮數據塊大小，遍歷當前壓縮文件中所有的壓縮數據塊；B5)、解壓縮每個壓縮塊，得到壓縮塊中的時間范圍信息，同時讀取相應元文件信息，構造出相應的索引項，把索引項加入到子索引系統中進行重建索引；B6)、以此類推，直到所有壓縮文件中所有的壓縮數據塊被處理完畢；B7)、以此類推，直到歸檔壓縮文件列表中所有壓縮文件被處理完畢；C、從一個或者多個實時/歷史數據庫在壓縮文件中建立受限訪問子索引系統的處理過程Cl)、備份現有數據庫受限訪問子索引系統相應的物理索引文件，所述備份的方式為重命名方式；C2)、根據數據庫配置指定的點標簽容量總數，初始化數據庫受限訪問子索引系統，為受限訪問子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；C3)、枚舉檢索歸檔的壓縮文件所在的文件夾，按照壓縮文件的序號從小到大枚舉出現有的壓縮歸檔文件列表，依次讀取每個壓縮文件的內部信息進行反向建立索引處理；C4)、對步驟C3)枚舉出來的每個壓縮文件，首先裝載壓縮文件的內部索引信息和元文件信息到內存，根據內部索引信息中的壓縮數據塊文件偏移和壓縮數據塊大小，遍歷當前壓縮文件中所有的壓縮數據塊；C5)、解壓縮每個壓縮塊，得到壓縮塊的時間范圍信息，根據時間范圍信息，判斷該時間范圍是否在受限訪問允許列表中，如果是，則根據元文件信息把詳細數據塊信息加入到子索引系統中進行重建索引，如果不是，則跳過該壓縮數據塊的處理；C6)、以此類推，直到所有壓縮文件中所有的壓縮數據塊被處理完畢；C7)、以此類推，直到歸檔的壓縮文件列表中所有壓縮文件被處理完畢。所述步驟Bi)和Cl)的備份的方式為重命名方式。所述步驟A4)中，當遇到其中某些步驟執行成功而后續的步驟執行失敗的情況下，實時/歷史數據庫系統的事務管理系統會進行必要的回滾操作，以確保實時/歷史數據庫系統事務的原子性。本發明對比現有技術，有如下優點1、本方法實現能夠適用于任何對數據安全性要求較高的領域內，強化了目前實時 /歷史數據庫系統中海量數據的可靠性；2、本方法使的數據庫的索引系統被損壞的情況下，依然可以提供對壓縮數據的正常訪問；3、本方法使的數據庫的索引系統被損壞的情況下，可以通過存在的壓縮數據文件反向建立索引系統，最終實現在線恢復；4、本方法可以將特殊時間段的生產數據信息更安全地保護起來，提供離線訪問或者在線的局部數據訪問；5、本方法可以將特殊壓縮文件的生產數據信息更安全地保護起來，提供離線訪問或者在線的局部數據訪問。


圖1是本方法的系統組成模塊示意圖；圖2是本方法寫數據請求處理過程的流程圖；圖3是本方法的數據庫的壓縮文件的內部邏輯結構組成示意圖。
具體實施例方式下面結合附圖對本發明做進一步的詳細說明，以令本領域技術人員參照說明書文字能夠進行實施。一種高可靠性的實時/歷史數據庫數據保護方法，包括如下內容如圖1所示，該實時/歷史數據庫系統邏輯組成模塊為正常情況下的數據讀寫客戶端(100)；故障恢復情況下的讀寫客戶端(200)；受限訪問條件下的讀寫客戶端(300)； 實時/歷史數據庫系統全局索引系統(400)；實時/歷史數據庫系統壓縮文件(500)，其中包含該壓縮文件的原始數據段(510)、該壓縮文件的內部索引信息(520)和該壓縮文件的介于內部索引和全局索引的元文件信息(530)；局部或者特定數據段的子索引系統(600)。A、寫數據請求處理過程，處理流程如圖2所示Al)、根據數據庫配置指定的點標簽容量總數，初始化數據庫子索引系統(600)、數據庫受限訪問子索引系統(610)，為這兩個子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；(610)與(600)都是索引系統，結構，功能相似，只是用用途不一樣，(610)是專用于數據安全性比較高的數據，只能提供給一些具有高級權限的用戶訪問，這時候，這些高權限的用戶，才通過(610)索引系統， 最終才能訪問到安全性比較高的數據。A2)、由數據提交客戶端(100)對數據庫發起提交實時數據的請求；所述的實時數據可以是電力行業的實時數據。A3)、數據庫接收到提交實時數據請求的請求包后，首先對請求包進行解析，分離出實時數據記錄數組，然后對該記錄數組進行數據壓縮并得到壓縮數據，另外同時從請求包中解析出數據關聯的點標簽ID，根據點標簽ID獲取該ID最新的記錄在子索引系統 (600)中寫入索引信息，所述索引信息的內容包括該點標簽ID最新記錄存儲所在的目標壓縮文件(500)的文件ID;根據文件ID和默認的文件名構造規則，可以得到最新目標壓縮文件全名，如文件ID是18，則對應的目標壓縮文件名為TSD00000018. tsd)，和目標壓縮文件 (500)中的目前文件大小，數據記錄總數，具體最新寫數位置；A4)、如圖3所示，壓縮文件(500)的結構分三部分，第一部分是最前面部分空間預留給壓縮文件內部索引信息(520)，根據單個壓縮文件所能存儲的總記錄數(如400萬條)，計算出其索引所需要的最大空間，第二部分是壓縮文件內部索引信息(520)提供給數據庫子索引系統(600)進行反向構建的元文件信息空間(530)，第三部分是壓縮數據段空間(510)。在壓縮文件(500)中分別進行三個操作首先，為了壓縮文件(500)能夠提供離線訪問功能，第一個操作是在壓縮文件內建立壓縮文件內部索引信息(520)，以后根據每次寫壓縮文件的記錄數組進行構造相應的內部索引，這樣可以確保在進行數據離線訪問的時候也能得到比較高效的查詢速度；第二個操作是將步驟3)得到的壓縮數據寫入到壓縮數據段空間(510)的最新寫入位置，這是一個常規的寫文件操作；第三個操作是在元文件信息空間(530)建立提供給數據庫子索引系統(600)進行反向構建的元文件信息，所述元文件信息的信息項包括寫入點標簽，寫入壓縮文件ID，寫入文件偏移，寫入文件數據大??； 元文件信息的作用是壓縮文件內部索引和子索引系統(600)之間的橋梁，當子索引系統 (600)被損壞時，可以通過壓縮文件的內部索引信息(520)和內部元文件信息(530)反向建立新的子索引系統(600)。當然內部元文件信息(530)還有一個作用就是在接下來的步驟中，如果實時/歷史數據庫系統在運行配置中有設置需要建立受限訪問子索引系統(610)， 則元文件信息是建立受限訪問子索引系統(610)的必要數據；三個步驟全部被成功后進入下一步，否則宣告失敗，退出本方法的處理過程。其中，當遇到其中某些步驟執行成功而后續的步驟執行失敗的情況下，實時/歷史數據庫系統的事務管理系統會進行必要的回滾操作，以確保實時/歷史數據庫系統事務的原子性。A5)、根據步驟A4)產生的內部元文件信息來構造數據庫系統受限訪問子索引系統(610)中需要的索引項；如果數據庫中配置了不需要數據庫提供應用受限訪問功能，則結束本方法處理過程；否則，進入下一步；A6)、判斷當前寫入的數據時間范圍是否在受限訪問的允許訪問時間范圍列表內， 如果是，則將當前寫入數據的索引信息加入到受限訪問子索引系統(610)中，并結束本方法處理過程；否則，直接結束本方法處理過程。B、從一個或者多個實時/歷史數據庫在壓縮文件(500)中建立子索引系統(610)的處理過程Bi)、備份現有數據庫子索引系統(600)相應的物理索引文件；所述備份的方式為重命名方式；一般情況下，需要反向建立索引時，都是因為索引受損壞了，可能是部分損壞， 所以反向建立索引前，需要備份舊的索引系統，因為建立的過程覆蓋式的，反向建立索引后，就直接替換了先前的索引，使用數據庫恢復正常。B2)、根據數據庫配置指定的點標簽容量總數，初始化數據庫子索引系統(600)，為子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；B3)、枚舉檢索歸檔的壓縮文件所在的文件夾，按照壓縮文件的序號從小到大，枚舉出全部的壓縮文件的列表(例如TSD********. tsd)，依次讀取每個壓縮文件的內部信息進行反向建立索引處理；B4)、對步驟B3)枚舉出來的每個壓縮文件，首先裝載壓縮文件的內部索引信息和元文件信息到內存，根據內部索引信息中的壓縮數據塊文件偏移和壓縮數據塊大小，遍歷當前壓縮文件(500)中所有的壓縮數據塊；枚舉舉例假設歸檔壓縮文件夾為data/，里面有三個壓縮文件，如 TSD00000001. tsd,TSD00000002. tsd, TSD00000003. tsd，枚舉該三個壓縮文件名后，分別處理這三個文件打開并裝載到內存。B5)、解壓縮每個壓縮塊，得到壓縮塊中的時間范圍信息，同時讀取相應元文件信息，構造出相應的索引項，把索引項加入到子索引系統(600)中進行重建索引；B6)、以此類推，直到所有壓縮文件中所有的壓縮數據塊被處理完畢；B7)、以此類推，直到歸檔壓縮文件列表中所有壓縮文件被處理完畢；C、從一個或者多個實時/歷史數據庫在壓縮文件(500)中建立受限訪問子索引系統(610)的處理過程Cl)、備份現有數據庫受限訪問子索引系統(610)相應的物理索引文件，所述備份的方式為重命名方式；C2)、根據數據庫配置指定的點標簽容量總數，初始化數據庫受限訪問子索引系統 (610)，為受限訪問子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹， 為每個點標簽的時間記錄建立檢索索引；C3)、枚舉檢索歸檔的壓縮文件所在的文件夾，按照壓縮文件的序號從小到大枚舉出現有的壓縮歸檔文件列表(例如TSD********. tsd)，依次讀取每個壓縮文件的內部信息進行反向建立索引處理；C4)、對步驟C3)枚舉出來的每個壓縮文件，首先裝載壓縮文件的內部索引信息和元文件信息到內存，根據內部索引信息中的壓縮數據塊文件偏移和壓縮數據塊大小，遍歷當前壓縮文件(500)中所有的壓縮數據塊；C5)、解壓縮每個壓縮塊，得到壓縮塊的時間范圍信息，根據時間范圍信息，判斷該時間范圍是否在受限訪問允許列表中，如果是，則根據元文件信息把詳細數據塊信息加入到子索引系統(600)中進行重建索引，如果不是，則跳過該壓縮數據塊的處理；C6)、以此類推，直到所有壓縮文件中所有的壓縮數據塊被處理完畢。C7)、以此類推，直到歸檔的壓縮文件列表中所有壓縮文件被處理完畢。本發明的實施方式不限于此，在本發明上述基本技術思想前提下，按照本領域的普通技術知識和慣用手段對本發明內容所做出其它多種形式的修改、替換或變更，均落在本發明權利保護范圍之內。
權利要求
1. 一種高可靠性的實時/歷史數據庫數據保護方法，其特征在于包括如下內容A、寫數據請求處理過程Al)、根據數據庫配置指定的點標簽容量總數，初始化數據庫子索引系統、數據庫受限訪問子索引系統，為這兩個子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；A2)、由數據提交客戶端對數據庫發起提交實時數據的請求；A3)、數據庫接收到提交實時數據請求的請求包后，首先對請求包進行解析，分離出實時數據記錄數組，然后對該記錄數組進行數據壓縮并得到壓縮數據，另外同時從請求包中解析出數據關聯的點標簽ID，根據點標簽ID獲取該ID最新的記錄在子索引系統中寫入索引信息，所述索引信息的內容包括該點標簽ID最新記錄存儲所在的目標壓縮文件的文件 ID ；A4)、在壓縮文件中分別進行三個操作首先，第一個操作是在壓縮文件內建立壓縮文件內部索引信息；第二個操作是將步驟A3)得到的壓縮數據寫入到壓縮數據段空間的最新寫入位置；第三個操作是在元文件信息空間建立提供給數據庫子索引系統進行反向構建的元文件信息，所述元文件信息的信息項包括寫入點標簽，寫入壓縮文件ID，寫入文件偏移，寫入文件數據大小；三個步驟全部被成功后進入下一步，否則宣告失敗，退出本方法的處理過程；A5)、根據步驟A4)產生的內部元文件信息來構造數據庫系統受限訪問子索引系統中需要的索引項；如果數據庫中配置了不需要數據庫提供應用受限訪問功能，則結束本方法處理過程；否則，進入下一步；A6)、判斷當前寫入的數據時間范圍是否在受限訪問的允許訪問時間范圍列表內，如果是，則將當前寫入數據的索引信息加入到受限訪問子索引系統中，并結束本方法處理過程; 否則，直接結束本方法處理過程；B、從一個或者多個實時/歷史數據庫在壓縮文件中建立子索引系統的處理過程 Bi)、備份現有數據庫子索引系統相應的物理索引文件；B2)、根據數據庫配置指定的點標簽容量總數，初始化數據庫子索引系統，為子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；B3)、枚舉檢索歸檔的壓縮文件所在的文件夾，按照壓縮文件的序號從小到大，枚舉出全部的壓縮文件的列表，依次讀取每個壓縮文件的內部信息進行反向建立索引處理；B4)、對步驟B3)枚舉出來的每個壓縮文件，首先裝載壓縮文件的內部索引信息和元文件信息到內存，根據內部索引信息中的壓縮數據塊文件偏移和壓縮數據塊大小，遍歷當前壓縮文件中所有的壓縮數據塊；B5)、解壓縮每個壓縮塊，得到壓縮塊中的時間范圍信息，同時讀取相應元文件信息，構造出相應的索引項，把索引項加入到子索引系統中進行重建索引；B6)、以此類推，直到所有壓縮文件中所有的壓縮數據塊被處理完畢； B7)、以此類推，直到歸檔壓縮文件列表中所有壓縮文件被處理完畢；C、從一個或者多個實時/歷史數據庫在壓縮文件中建立受限訪問子索引系統的處理過程Cl)、備份現有數據庫受限訪問子索引系統相應的物理索引文件； C2)、根據數據庫配置指定的點標簽容量總數，初始化數據庫受限訪問子索引系統，為受限訪問子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；C3)、枚舉檢索歸檔的壓縮文件所在的文件夾，按照壓縮文件的序號從小到大枚舉出現有的壓縮歸檔文件列表，依次讀取每個壓縮文件的內部信息進行反向建立索引處理；C4)、對步驟C3)枚舉出來的每個壓縮文件，首先裝載壓縮文件的內部索引信息和元文件信息到內存，根據內部索引信息中的壓縮數據塊文件偏移和壓縮數據塊大小，遍歷當前壓縮文件中所有的壓縮數據塊；C5)、解壓縮每個壓縮塊，得到壓縮塊的時間范圍信息，根據時間范圍信息，判斷該時間范圍是否在受限訪問允許列表中，如果是，則根據元文件信息把詳細數據塊信息加入到子索引系統中進行重建索引，如果不是，則跳過該壓縮數據塊的處理；C6)、以此類推，直到所有壓縮文件中所有的壓縮數據塊被處理完畢； C7)、以此類推，直到歸檔的壓縮文件列表中所有壓縮文件被處理完畢。
2.根據權利要求1所述的高可靠性的實時/歷史數據庫數據保護方法，其特征在于 所述步驟Bi)和Cl)的備份的方式為重命名方式。
3.根據權利要求1所述的高可靠性的實時/歷史數據庫數據保護方法，其特征在于 所述步驟A4)中，當遇到其中某些步驟執行成功而后續的步驟執行失敗的情況下，實時/歷史數據庫系統的事務管理系統會進行必要的回滾操作，以確保實時/歷史數據庫系統事務的原子性。
全文摘要
本發明公開了一種高可靠性的實時/歷史數據庫數據保護方法，包括如下內容A、寫數據請求處理過程；B、從一個或者多個實時/歷史數據庫在壓縮文件中建立子索引系統的處理過程；C、從一個或者多個實時/歷史數據庫在壓縮文件中建立受限訪問子索引系統的處理過程。本方法能夠保護實時/歷史數據庫系統中數據的安全，降低由于數據丟失或者所以系統損壞帶來的損失，提升了實時/歷史數據庫系統中管理的常年在線數據的安全性、可靠性和完整性。
文檔編號G06F17/30GK102521256SQ20111036721
公開日2012年6月27日 申請日期2011年11月17日 優先權日2011年11月17日
發明者周伊琳, 孫建偉, 簡懷兵, 胡亞平, 陳揚, 陳炯聰, 黃縉華 申請人:廣東電網公司電力科學研究院, 廣州執舟軟件有限公司