專利名稱：一種維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于歸集思想，維護(hù)數(shù)據(jù)庫差異性復(fù)本間數(shù)據(jù)一致性的異步方法，屬于電力系統(tǒng)數(shù)據(jù)庫管理技術(shù)領(lǐng)域。
背景技術(shù)：
在地理上分散的大型監(jiān)控系統(tǒng)中，模型數(shù)據(jù)多分布在不同數(shù)據(jù)庫。常見的分布策略有集中式數(shù)據(jù)集中存放；分區(qū)式數(shù)據(jù)分散存放，但數(shù)據(jù)間不能重復(fù)；冗余式每個(gè)結(jié)點(diǎn)都存放完整的數(shù)據(jù)復(fù)本；混合式上述三種的混合，這是最復(fù)雜、最靈活的方式，即本發(fā)明適用的數(shù)據(jù)庫差異性復(fù)本。對(duì)于這類差異性復(fù)本一致性維護(hù)方法可以分為兩類離線同步和聯(lián)機(jī)同步。簡單的離線同步方法通常是將源數(shù)據(jù)庫的所有對(duì)象導(dǎo)出成轉(zhuǎn)儲(chǔ)文件，再將轉(zhuǎn)儲(chǔ)文件導(dǎo)入目標(biāo)數(shù)據(jù)庫以保持和源數(shù)據(jù)庫的一致性。這種同步方法將差異性復(fù)本按照其外延擴(kuò)展成無差異性復(fù)本，簡單可靠，但是不適用于多個(gè)數(shù)據(jù)庫并發(fā)修改的應(yīng)用。改進(jìn)的離線同步方法將源數(shù)據(jù)庫中的所有元組按需要分割成裂片，將源數(shù)據(jù)庫中需要維護(hù)一致性的元組所在裂片導(dǎo)出成轉(zhuǎn)儲(chǔ)文件，再將轉(zhuǎn)儲(chǔ)文件導(dǎo)入到目標(biāo)數(shù)據(jù)庫中覆蓋原先的相應(yīng)裂片。這種方法彌補(bǔ)了簡單離線同步不支持多數(shù)據(jù)庫并發(fā)修改的缺陷，但是庫間一致性的維護(hù)需要借助于操作系統(tǒng)層面多個(gè)文件的拷貝、傳送和合并，增加了維護(hù)難度。 如果不能對(duì)文件加以有效的管理，極易引起文件的版本錯(cuò)誤，增加數(shù)據(jù)不一致的風(fēng)險(xiǎn)。聯(lián)機(jī)同步即應(yīng)用軟件向本地?cái)?shù)據(jù)庫執(zhí)行寫操作成功后，再通過網(wǎng)絡(luò)方式直接修改其他數(shù)據(jù)庫；或向其他數(shù)據(jù)庫服務(wù)器發(fā)送包含同步信息的消息報(bào)文。聯(lián)機(jī)同步很好的解決了離線同步方法存在的問題，數(shù)據(jù)一致性維護(hù)通過應(yīng)用軟件系統(tǒng)來實(shí)現(xiàn)，這樣可以靈活的滿足應(yīng)用對(duì)數(shù)據(jù)的需求。但是聯(lián)機(jī)同步方法對(duì)網(wǎng)絡(luò)環(huán)境要求較為苛刻，一旦在網(wǎng)絡(luò)阻塞時(shí)發(fā)生了多數(shù)據(jù)庫并發(fā)修改，很容易造成數(shù)據(jù)不一致，之后即使網(wǎng)絡(luò)恢復(fù)，也可能無法恢復(fù)到一致的狀態(tài)，從而造成永久性的數(shù)據(jù)錯(cuò)誤。在已經(jīng)不一致的數(shù)據(jù)庫中接著進(jìn)行數(shù)據(jù)修改，牽涉到表中關(guān)鍵字、索引，以及表間觸發(fā)關(guān)系等諸多約束條件，還可能造成數(shù)據(jù)不一致范圍擴(kuò)大。這種災(zāi)難性的后果是系統(tǒng)開發(fā)者和工程實(shí)施者最不希望看見的。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是，實(shí)現(xiàn)維護(hù)數(shù)據(jù)元組在差異性復(fù)本間的一致性，處理好多數(shù)據(jù)庫并發(fā)修改的問題，以及減輕維護(hù)工作對(duì)網(wǎng)絡(luò)質(zhì)量的依賴程度。為解決上述技術(shù)問題，本發(fā)明提供一種維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法， 其特征在于，包括以下步驟
1)將數(shù)據(jù)庫差異性復(fù)本分為完全復(fù)本和局部復(fù)本兩類，按照應(yīng)用的要求將數(shù)據(jù)分割成裂片存放在兩類數(shù)據(jù)復(fù)本中；
2)通過數(shù)據(jù)庫內(nèi)容比較找出完全復(fù)本和局部復(fù)本中的差異數(shù)據(jù)，在修改本地?cái)?shù)據(jù)前執(zhí)行更新操作，從完全復(fù)本到局部復(fù)本同步數(shù)據(jù)；3)在修改本地?cái)?shù)據(jù)完成后執(zhí)行提交操作，從局部復(fù)本向完全復(fù)本同步數(shù)據(jù)。所述完全復(fù)本包括全局所有集中式、冗余式數(shù)據(jù)和本結(jié)點(diǎn)的分區(qū)式數(shù)據(jù)；局部復(fù)本包括冗余式數(shù)據(jù)和本結(jié)點(diǎn)的分區(qū)式數(shù)據(jù)；
所述提交操作是指將本地局部復(fù)本的數(shù)據(jù)修改在完全復(fù)本上執(zhí)行； 所述更新操是指將完全復(fù)本的數(shù)據(jù)修改在本地局部復(fù)本上執(zhí)行。前述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟；3)中， 局部復(fù)本只在本地結(jié)點(diǎn)修改，修改完成后將局部復(fù)本提交至完全復(fù)本。前述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟2、中， 完全復(fù)本只在本地結(jié)點(diǎn)修改，修改完成后不需提交。前述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在向完全復(fù)本提交和從完全復(fù)本更新時(shí)，進(jìn)行數(shù)據(jù)校驗(yàn)，如果發(fā)現(xiàn)存在沖突的數(shù)據(jù)將終止并回滾當(dāng)前提交操作或更新操作，同時(shí)彈出窗口通知操作員。前述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟2、和步驟3)中，優(yōu)化數(shù)據(jù)庫中的觸發(fā)邏輯關(guān)系，使insert、Update、delete的觸發(fā)邏輯等價(jià)統(tǒng)一。前述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟2、和步驟3)中，在由應(yīng)用產(chǎn)生的關(guān)系中增加用于描述數(shù)據(jù)版本變更的屬性，包括元組創(chuàng)建時(shí)間、 元組創(chuàng)建結(jié)點(diǎn)、元組修改時(shí)間、元組修改結(jié)點(diǎn)、元組刪除標(biāo)志、元組刪除時(shí)間和元組刪除結(jié)點(diǎn)ο前述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于元組刪除標(biāo)志屬性非0表示此條元組已經(jīng)刪除，元組刪除標(biāo)志作為關(guān)系的聯(lián)合主鍵，如果主鍵約束中其他列的值相同，則刪除標(biāo)記從1開始累加。前述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于更新操作和提交操作時(shí)比較完全副本和局部復(fù)本的數(shù)據(jù)差異性，結(jié)合元組操作時(shí)間進(jìn)行沖突處理。前述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟幻中， 局部復(fù)本在修改本地?cái)?shù)據(jù)之前先更新到與完全復(fù)本一樣的數(shù)據(jù)版本，局部復(fù)本完成修改以后及時(shí)地向完全復(fù)本進(jìn)行提交。本發(fā)明提出了數(shù)據(jù)復(fù)本等級(jí)的概念根據(jù)數(shù)據(jù)復(fù)本對(duì)全部數(shù)據(jù)的覆蓋范圍，將數(shù)據(jù)復(fù)本分為完全復(fù)本和局部復(fù)本兩種。完全復(fù)本包含了全局所有集中式、冗余式數(shù)據(jù)和本結(jié)點(diǎn)的分區(qū)式數(shù)據(jù)；局部復(fù)本包含冗余式數(shù)據(jù)和本結(jié)點(diǎn)的分區(qū)式數(shù)據(jù)。局部復(fù)本只在本地結(jié)點(diǎn)修改，修改完成后將局部復(fù)本提交至完全復(fù)本，其他結(jié)點(diǎn)可以從完全復(fù)本更新已提交的數(shù)據(jù)。從局部復(fù)本提交的冗余式數(shù)據(jù)和完全復(fù)本中的冗余式數(shù)據(jù)合并；分區(qū)式數(shù)據(jù)不提交。完全復(fù)本只在本地結(jié)點(diǎn)修改，修改完成后不需提交，其中的冗余式數(shù)據(jù)可以在需要時(shí)直接更新到局部復(fù)本，局部復(fù)本應(yīng)該在一次修改開始前從完全復(fù)本更新數(shù)據(jù)，并在完成修改后及時(shí)提交至完全復(fù)本。在向完全復(fù)本提交和從完全復(fù)本更新時(shí)，做數(shù)據(jù)校驗(yàn)，一旦發(fā)現(xiàn)存在沖突的數(shù)據(jù)就終止并回滾當(dāng)前提交或更新操作，同時(shí)彈出窗口通知操作員。本發(fā)明所達(dá)到的有益效果
相比于離線同步方法，本發(fā)明提出的異步歸集方法能夠支持多數(shù)據(jù)庫并發(fā)修改，同時(shí)克服了其對(duì)轉(zhuǎn)儲(chǔ)文件的依賴。相比于通過應(yīng)用軟件實(shí)現(xiàn)的聯(lián)機(jī)同步方法，本發(fā)明提出的異步歸集方法大大降低了對(duì)網(wǎng)絡(luò)穩(wěn)定性的依賴，從要求網(wǎng)絡(luò)每時(shí)每刻都穩(wěn)定，降低到只要求在修改開始前更新和修改完成后提交時(shí)穩(wěn)定，而且能夠及時(shí)檢測到已經(jīng)存在的數(shù)據(jù)不一致情況并及時(shí)報(bào)告給操作員，有效防止數(shù)據(jù)不一致范圍繼續(xù)擴(kuò)大。


圖1為本發(fā)明的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法的流程圖。
具體實(shí)施例方式本發(fā)明提出的異步歸集方法的實(shí)現(xiàn)主要包括6個(gè)步驟
步驟一對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行分割，根據(jù)應(yīng)用的需求，將模型數(shù)據(jù)按以下4種類別進(jìn)行關(guān)系級(jí)/元組級(jí)，或者水平/垂直/復(fù)合分割
1.僅存儲(chǔ)于完全復(fù)本中的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)稱之為集中式數(shù)據(jù)；
2.僅存儲(chǔ)于某一局部復(fù)本中，這部分?jǐn)?shù)據(jù)在全局只保存一份，這部分?jǐn)?shù)據(jù)稱之為分區(qū)式數(shù)據(jù)；
3.存儲(chǔ)于完全復(fù)本和每一份局部復(fù)本中，并且在所有上述復(fù)本中都要求保持一致的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)稱之為冗余式數(shù)據(jù)；
4.存儲(chǔ)于本地局部復(fù)本和完全復(fù)本中的數(shù)據(jù)。第一種數(shù)據(jù)只在完全復(fù)本所在結(jié)點(diǎn)有訪問需求，第二種數(shù)據(jù)只在該局部復(fù)本所在結(jié)點(diǎn)有訪問需求，故這兩種數(shù)據(jù)不需要進(jìn)行一致性維護(hù)，第三種數(shù)據(jù)在完全復(fù)本和所有局部復(fù)本所在結(jié)點(diǎn)都可能有訪問需求，即可能是某種常用的公共數(shù)據(jù)，這是對(duì)一致性要求最高的部分，第四種數(shù)據(jù)常見于具有星型結(jié)構(gòu)(即中心-分站型結(jié)構(gòu))的工程應(yīng)用中，數(shù)據(jù)在本地局部復(fù)本和完全復(fù)本中有訪問需求，在其他局部復(fù)本所在結(jié)點(diǎn)不需要訪問，但是將這部分?jǐn)?shù)據(jù)轉(zhuǎn)復(fù)制其他局部結(jié)點(diǎn)也不會(huì)對(duì)數(shù)據(jù)一致性產(chǎn)生任何影響，故可以歸納到冗余式數(shù)據(jù)中，采用相同的處理方法。步驟二 定義提交操作和更新操作
提交操作將本地局部復(fù)本的數(shù)據(jù)修改在完全復(fù)本上執(zhí)行； 更新操作將完全復(fù)本的數(shù)據(jù)修改在本地局部復(fù)本上執(zhí)行。步驟三比較本地局部復(fù)本和遠(yuǎn)端完全復(fù)本的內(nèi)容差異
由于提交和更新操作都在局部復(fù)本所在結(jié)點(diǎn)上執(zhí)行，所以局部復(fù)本是本地，完全復(fù)本是遠(yuǎn)端。依次對(duì)本地局部復(fù)本和遠(yuǎn)端完全復(fù)本中的相同關(guān)系進(jìn)行對(duì)比，可能出現(xiàn)4種結(jié)果 “匹配”，“缺失”，“超出”，“差異”，如表1
表1 數(shù)據(jù)庫內(nèi)容比較可能出現(xiàn)的結(jié)果表
權(quán)利要求
1.一種維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于，包括以下步驟1)將數(shù)據(jù)庫差異性復(fù)本分為完全復(fù)本和局部復(fù)本兩類，按照應(yīng)用的要求將數(shù)據(jù)分割成裂片存放在兩類數(shù)據(jù)復(fù)本中；2)通過數(shù)據(jù)庫內(nèi)容比較找出完全復(fù)本和局部復(fù)本中的差異數(shù)據(jù)，在修改本地?cái)?shù)據(jù)前執(zhí)行更新操作，從完全復(fù)本到局部復(fù)本同步數(shù)據(jù)；3)在修改本地?cái)?shù)據(jù)完成后執(zhí)行提交操作，從局部復(fù)本向完全復(fù)本同步數(shù)據(jù)；所述完全復(fù)本包括全局所有集中式、冗余式數(shù)據(jù)和本結(jié)點(diǎn)的分區(qū)式數(shù)據(jù)；局部復(fù)本包括冗余式數(shù)據(jù)和本結(jié)點(diǎn)的分區(qū)式數(shù)據(jù)；所述提交操作是指將本地局部復(fù)本的數(shù)據(jù)修改在完全復(fù)本上執(zhí)行；所述更新操是指將完全復(fù)本的數(shù)據(jù)修改在本地局部復(fù)本上執(zhí)行。
2.根據(jù)權(quán)利要求1所述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟幻中，局部復(fù)本只在本地結(jié)點(diǎn)修改，修改完成后將局部復(fù)本提交至完全復(fù)本。
3.根據(jù)權(quán)利要求1所述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟幻中，完全復(fù)本只在本地結(jié)點(diǎn)修改，修改完成后不需提交。
4.根據(jù)權(quán)利要求1所述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在向完全復(fù)本提交和從完全復(fù)本更新時(shí)，進(jìn)行數(shù)據(jù)校驗(yàn)，如果發(fā)現(xiàn)存在沖突的數(shù)據(jù)將終止并回滾當(dāng)前提交操作或更新操作，同時(shí)彈出窗口通知操作員。
5.根據(jù)權(quán)利要求1所述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟2)和步驟3)中，優(yōu)化數(shù)據(jù)庫中的觸發(fā)邏輯關(guān)系，使insert、Update、delete的觸發(fā)邏輯等價(jià)統(tǒng)一。
6.根據(jù)權(quán)利要求1所述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟幻和步驟幻中，在由應(yīng)用產(chǎn)生的關(guān)系中增加用于描述數(shù)據(jù)版本變更的屬性，包括 元組創(chuàng)建時(shí)間、元組創(chuàng)建結(jié)點(diǎn)、元組修改時(shí)間、元組修改結(jié)點(diǎn)、元組刪除標(biāo)志、元組刪除時(shí)間和元組刪除結(jié)點(diǎn)。
7.根據(jù)權(quán)利要求6所述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于元組刪除標(biāo)志屬性非0表示此條元組已經(jīng)刪除，元組刪除標(biāo)志作為關(guān)系的聯(lián)合主鍵，如果主鍵約束中其他列的值相同，則刪除標(biāo)記從1開始累加。
8.根據(jù)權(quán)利要求1所述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于更新操作和提交操作時(shí)比較完全副本和局部復(fù)本的數(shù)據(jù)差異性，結(jié)合元組操作時(shí)間進(jìn)行沖突處理。
9.根據(jù)權(quán)利要求1所述的維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于在所述步驟幻中，局部復(fù)本在修改本地?cái)?shù)據(jù)之前先更新到與完全復(fù)本一樣的數(shù)據(jù)版本，局部復(fù)本完成修改以后及時(shí)地向完全復(fù)本進(jìn)行提交。
全文摘要
本發(fā)明公開了一種維護(hù)數(shù)據(jù)庫復(fù)本一致性的異步歸集方法，其特征在于，包括以下步驟1)將數(shù)據(jù)庫差異性復(fù)本分為完全復(fù)本和局部復(fù)本兩類，按照應(yīng)用的要求將數(shù)據(jù)分割成裂片存放在兩類數(shù)據(jù)復(fù)本中;2)通過數(shù)據(jù)庫內(nèi)容比較找出完全復(fù)本和局部復(fù)本中的差異數(shù)據(jù)，在修改本地?cái)?shù)據(jù)前執(zhí)行更新操作，從完全復(fù)本到局部復(fù)本同步數(shù)據(jù)；3)在修改本地?cái)?shù)據(jù)完成后執(zhí)行提交操作，從局部復(fù)本向完全復(fù)本同步數(shù)據(jù)。本發(fā)明提出的異步歸集方法能夠支持多數(shù)據(jù)庫并發(fā)修改，同時(shí)克服了其對(duì)轉(zhuǎn)儲(chǔ)文件的依賴。相比于通過應(yīng)用軟件實(shí)現(xiàn)的聯(lián)機(jī)同步方法，本發(fā)明大大降低了對(duì)網(wǎng)絡(luò)穩(wěn)定性的依賴。
文檔編號(hào)G06F17/30GK102402600SQ20111036710
公開日2012年4月4日 申請日期2011年11月18日 優(yōu)先權(quán)日2011年11月18日
發(fā)明者劉佳寶, 張賽橋, 方俊, 梁奕, 石琦, 陳天皓 申請人:國電南瑞科技股份有限公司