專利名稱：一種任務(wù)中斷恢復(fù)方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本申請涉及通信技術(shù)領(lǐng)域，尤其涉及一種應(yīng)用于分布式數(shù)據(jù)處理系統(tǒng)的任務(wù)中斷恢復(fù)方法和設(shè)備。
背景技術(shù)：
隨著計算機網(wǎng)絡(luò)技術(shù)的發(fā)展，以及數(shù)據(jù)處理量的增長，分布式數(shù)據(jù)處理系統(tǒng)得到廣泛應(yīng)用。分布式數(shù)據(jù)處理系統(tǒng)包括多個任務(wù)節(jié)點，多個任務(wù)節(jié)點可以同時進行數(shù)據(jù)處理，大幅度提高了系統(tǒng)的數(shù)據(jù)處理效率。但是，在分布式數(shù)據(jù)處理系統(tǒng)運行過程中，各任務(wù)節(jié)點在任務(wù)處理過程中有可能出現(xiàn)異常中斷的情形，而對于分布式系統(tǒng)來說，針對異常中斷，目前還未出現(xiàn)有效的異常恢復(fù)機制，既能有效的方法確保分布式網(wǎng)絡(luò)系統(tǒng)的穩(wěn)定性，又能夠在數(shù)據(jù)傳輸或數(shù)據(jù)處理過程中意外中斷后，使得系統(tǒng)能夠自我恢復(fù)。

發(fā)明內(nèi)容
本申請實施例提供了 一種任務(wù)中斷恢復(fù)方法及設(shè)備，用以實現(xiàn)分布式數(shù)據(jù)處理系統(tǒng)中任務(wù)節(jié)點上任務(wù)異常后的自動恢復(fù)。為此，本申請采用以下技術(shù)手段:本申請實施例提供一種任務(wù)中斷恢復(fù)方法，應(yīng)用于包含有中心服務(wù)器和多個任務(wù)節(jié)點的分布式數(shù)據(jù)處理系統(tǒng)，該方法包括:任務(wù)節(jié)點接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負載均衡策略為任務(wù)節(jié)點分配數(shù)據(jù)處理任務(wù)；所述任務(wù)節(jié)點根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對應(yīng)的待處理數(shù)據(jù)塊，對獲取到的待處理數(shù)據(jù)塊進行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息；當任務(wù)節(jié)點的數(shù)據(jù)處理任務(wù)異常中斷時，所述任務(wù)節(jié)點獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理。本申請實施例還提供一種任務(wù)節(jié)點設(shè)備，應(yīng)用于分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，包括:接收模塊，用于接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負載均衡策略為任務(wù)節(jié)點分配數(shù)據(jù)處理任務(wù)；任務(wù)處理模塊，用于根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對應(yīng)的待處理數(shù)據(jù)塊，對獲取到的待處理數(shù)據(jù)塊進行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息；恢復(fù)處理模塊，用于當數(shù)據(jù)處理任務(wù)異常中斷時，獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理。與現(xiàn)有技術(shù)相比，本申請的上述實施例具有以下有益技術(shù)效果:本申請實施例通過任務(wù)節(jié)點對接收到的數(shù)據(jù)處理任務(wù)進行處理，并保存處理狀態(tài)信息，當數(shù)據(jù)處理任務(wù)異常中斷時，任務(wù)節(jié)點獲取所述數(shù)據(jù)處理狀態(tài)信息，并根據(jù)所述記錄的數(shù)據(jù)處理狀態(tài)信息進行中斷恢復(fù)處理，從而在系統(tǒng)出問題時能夠自動識別并及時處理余下未處理的數(shù)據(jù)，實現(xiàn)了系統(tǒng)的自我修復(fù)，使系統(tǒng)具有較高可靠性。


圖1為本申請實施例的系統(tǒng)架構(gòu)示意圖；圖2為本申請實施例提供的數(shù)據(jù)分區(qū)流程示意圖；圖3為本申請實施例提供的數(shù)據(jù)處理流程示意圖；圖4為本申請實施例檢測進程運行情況并進行相應(yīng)處理的流程示意圖；圖5為本申請實施例提供的任務(wù)節(jié)點設(shè)備的結(jié)構(gòu)示意圖。
具體實施例方式下面結(jié)合附圖對本申請的技術(shù)方案進行清楚、完整的描述，顯然，所描述的實施例是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請的保護范圍。參見圖1所示，為本申請實施例的分布式數(shù)據(jù)處理系統(tǒng)架構(gòu)示意圖，該系統(tǒng)包括:數(shù)據(jù)分區(qū)生成器11、中心服務(wù)器12、數(shù)個任務(wù)節(jié)點13。其中，各組成部分的基本功能包括:數(shù)據(jù)分區(qū)生成器11，用于對源數(shù)據(jù)進行初始化分區(qū)，得到數(shù)個分區(qū)數(shù)據(jù)(即數(shù)據(jù)塊)，各分區(qū)數(shù)據(jù)存儲在數(shù)據(jù)存儲設(shè)備上，數(shù)據(jù)分區(qū)生成器11將數(shù)據(jù)分區(qū)的信息發(fā)送給中心服務(wù)器12 ;所述數(shù)據(jù)分區(qū)的信息即為數(shù)據(jù)塊的索引信息，可包括:數(shù)據(jù)分區(qū)的標識、數(shù)據(jù)分區(qū)的大小、存儲位置等。中心服務(wù)器12，用于為各任務(wù)節(jié)點13分配數(shù)據(jù)處理任務(wù)。通常，中心服務(wù)器一次只向一個任務(wù)節(jié)點分配一個數(shù)據(jù)處理任務(wù)，也可以一次向多個任務(wù)節(jié)點分配數(shù)據(jù)處理任務(wù)，并可基于某種負載均衡機制分配數(shù)據(jù)處理任務(wù)給任務(wù)節(jié)點。任務(wù)節(jié)點13，用于根據(jù)中心服務(wù)器12分配的數(shù)據(jù)處理任務(wù)進行數(shù)據(jù)處理，并記錄數(shù)據(jù)處理狀態(tài)信息。當任務(wù)節(jié)點的數(shù)據(jù)處理任務(wù)異常中斷時，可根據(jù)其所記錄的數(shù)據(jù)處理狀態(tài)信息，進行任務(wù)異常中斷的恢復(fù)。本申請實施例中的數(shù)據(jù)處理狀態(tài)信息可包括數(shù)據(jù)塊標識、該數(shù)據(jù)塊的處理狀態(tài)(如未處理，已分發(fā)，處理中，完成處理)或數(shù)據(jù)塊存儲位置等。基于上述系統(tǒng)架構(gòu)，下面對本申請實施例的分布式數(shù)據(jù)處理流程進行詳細描述。參見圖2，為本申請實施例提供的數(shù)據(jù)分區(qū)流程示意圖，如圖所示，數(shù)據(jù)分區(qū)生成器對源數(shù)據(jù)進行數(shù)據(jù)分區(qū)的流程可包括:步驟201，數(shù)據(jù)分區(qū)生成器對系統(tǒng)需要處理的數(shù)據(jù)(源數(shù)據(jù))進行初始化分區(qū)，將源數(shù)據(jù)劃分為數(shù)個分區(qū)數(shù)據(jù)。該分區(qū)過程可以通過建立任務(wù)數(shù)據(jù)分區(qū)模型實現(xiàn)，如表I所示:表I
權(quán)利要求
1.一種任務(wù)中斷恢復(fù)方法，應(yīng)用于包含有中心服務(wù)器和多個任務(wù)節(jié)點的分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，該方法包括: 任務(wù)節(jié)點接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負載均衡策略為任務(wù)節(jié)點分配數(shù)據(jù)處理任務(wù)； 所述任務(wù)節(jié)點根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對應(yīng)的待處理數(shù)據(jù)塊，對獲取到的待處理數(shù)據(jù)塊進行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息； 當任務(wù)節(jié)點的數(shù)據(jù)處理任務(wù)異常中斷時，所述任務(wù)節(jié)點獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理。
2.按權(quán)利要求1所述的方法，其特征在于，所述任務(wù)節(jié)點將所述處理狀態(tài)信息保存于該任務(wù)節(jié)點的緩存中； 當任務(wù)節(jié)點的數(shù)據(jù)處理任務(wù)異常中斷時，所述任務(wù)節(jié)點查詢其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理，包括: 當任務(wù)節(jié)點中進行數(shù)據(jù)處理的進程運行異常時，所述任務(wù)節(jié)點重啟該進程，并從緩存中獲取所述數(shù)據(jù)處理狀態(tài)信息，根據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理。
3.按權(quán)利要求1所述的方法，其特征在于，所述任務(wù)節(jié)點維護有執(zhí)行數(shù)據(jù)處理任務(wù)的進程的列表，所述列表中記錄有進程句柄以及該進程對應(yīng)的版本號，各進程的版本號初始值相同；該方法還包括: 在設(shè)定的檢測周期到達時，當前正常運行的進程將所述列表中自己的版本號遞增，各進程所遞增的增量值相同； 檢測線程在所述列表中查找是否存在版本號與列表中的最大版本號之間的差值大于設(shè)定閾值的進程，并在查找 到進程時通過所述進程句柄將所述進程殺死，創(chuàng)建與所殺死的進程相同數(shù)量的進程，將各進程的版本號設(shè)置相同的初始值。
4.按權(quán)利要求1所述的方法，其特征在于，所述任務(wù)節(jié)點將所述處理狀態(tài)信息保存于該任務(wù)節(jié)點的緩存中，并根據(jù)設(shè)定周期將其緩存中保存的處理狀態(tài)信息寫入文件并將該文件保存于本地文件系統(tǒng)； 當任務(wù)節(jié)點的數(shù)據(jù)處理任務(wù)異常中斷時，所述任務(wù)節(jié)點查詢其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理，包括: 當任務(wù)節(jié)點異常重啟時，所述任務(wù)節(jié)點從本地文件系統(tǒng)中記錄有處理狀態(tài)信息的文件中讀取數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)讀取到的數(shù)據(jù)塊的處理狀態(tài)信息進行中斷恢復(fù)處理。
5.按權(quán)利要求1-4之一所述的方法，其特征在于，該方法還包括: 中心服務(wù)器周期向任務(wù)節(jié)點發(fā)送請求消息，若在設(shè)定長時間內(nèi)接收到任務(wù)節(jié)點返回的攜帶有該任務(wù)節(jié)點的負載信息的響應(yīng)消息，則更新該中心服務(wù)器上保存的任務(wù)節(jié)點列表，所述任務(wù)節(jié)點列表中記錄有任務(wù)節(jié)點的標識、可用狀態(tài)和負載信息；若未在設(shè)定時間內(nèi)接收到任務(wù)節(jié)點返回的響應(yīng)消息，則將所述任務(wù)節(jié)點列表中該任務(wù)節(jié)點的可用狀態(tài)設(shè)置為不可用； 當中心服務(wù)器為任務(wù)節(jié)點分配數(shù)據(jù)處理任務(wù)時，根據(jù)所述任務(wù)節(jié)點列表進行分配。
6.一種任務(wù)節(jié)點設(shè)備，應(yīng)用于分布式數(shù)據(jù)處理系統(tǒng)，其特征在于，包括: 接收模塊，用于接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負載均衡策略為任務(wù)節(jié)點分配數(shù)據(jù)處理任務(wù)； 任務(wù)處理模塊，用于根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對應(yīng)的待處理數(shù)據(jù)塊，對獲取到的待處理數(shù)據(jù)塊進行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息； 恢復(fù)處理模塊，用于當數(shù)據(jù)處理任務(wù)異常中斷時，獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理。
7.按權(quán)利要求6所述的任務(wù)節(jié)點設(shè)備，其特征在于，所述任務(wù)處理模塊將所述處理狀態(tài)信息保存于該任務(wù)節(jié)點的緩存中； 所述恢復(fù)處理模塊具體用于，當執(zhí)行數(shù)據(jù)處理的進程運行異常時，重啟該進程，并從緩存中獲取所述數(shù)據(jù)處理狀態(tài)信息，據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理。
8.按權(quán)利要求6所述的任務(wù)節(jié)點設(shè)備，其特征在于，所述任務(wù)處理模塊將所述處理狀態(tài)信息保存于該任務(wù)節(jié)點的緩存中，并根據(jù)設(shè)定周期將其緩存中保存的處理狀態(tài)信息寫入文件并將該文件保存于本地文件系統(tǒng)； 所述恢復(fù)處理模塊具體用于，當任務(wù)節(jié)點異常重啟時，從本地文件系統(tǒng)中記錄有處理狀態(tài)信息的文件中讀取數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)讀取到的數(shù)據(jù)塊的處理狀態(tài)信息進行中斷恢復(fù)處理。
9.按權(quán)利要求6所述的任務(wù)節(jié)點設(shè)備，其特征在于，所述任務(wù)節(jié)點設(shè)備維護有執(zhí)行數(shù)據(jù)處理任務(wù)的進程的列表，所述列表中記錄有進程句柄以及該進程對應(yīng)的版本號，各進程的版本號初始值相同；所述任務(wù)節(jié)點設(shè)備還包括: 檢測模塊，用于在設(shè)定的檢測周期到達時，當前正常運行的進程將所述列表中自己的版本號遞增，各進程所遞增的增量值相同；在所述列表中查找是否存在版本號與列表中的最大版本號之間的差值大于設(shè)定閾值的進程，并在查找到進程時通過所述進程句柄將所述進程殺死，創(chuàng)建與所殺死的進程相同數(shù)量的進程，將各進程的版本號設(shè)置相同的初始值。
10.按權(quán)利要求6-9之一所述的任務(wù)節(jié)點設(shè)備，其特征在于，所述接收模塊還用于，接收中心服務(wù)器周期發(fā)送的請求消息； 所述任務(wù)節(jié)點設(shè)備還包括: 發(fā)送模塊，用于在接收到中心服務(wù)器發(fā)送的所述請求消息后，向中心服務(wù)器返回響應(yīng)消息，其中攜帶有本設(shè)備的負載信息，以使中心服務(wù)器更新其上的用于數(shù)據(jù)處理任務(wù)分配的任務(wù)節(jié)點列表，所述任務(wù)節(jié)點列表中記錄有任務(wù)節(jié)點的標識、 可用狀態(tài)和負載信息。
全文摘要
一種任務(wù)中斷恢復(fù)方法和設(shè)備，應(yīng)用于包含有中心服務(wù)器和多個任務(wù)節(jié)點的分布式數(shù)據(jù)處理系統(tǒng)，該方法包括任務(wù)節(jié)點接收中心服務(wù)器分配的數(shù)據(jù)處理任務(wù)；其中，所述中心服務(wù)器根據(jù)負載均衡策略為任務(wù)節(jié)點分配數(shù)據(jù)處理任務(wù)；所述任務(wù)節(jié)點根據(jù)分配到的數(shù)據(jù)處理任務(wù)，獲取對應(yīng)的待處理數(shù)據(jù)塊，對獲取到的待處理數(shù)據(jù)塊進行處理，并保存數(shù)據(jù)塊的處理狀態(tài)信息；當任務(wù)節(jié)點的數(shù)據(jù)處理任務(wù)異常中斷時，所述任務(wù)節(jié)點獲取其所保存的數(shù)據(jù)塊的處理狀態(tài)信息，并根據(jù)所述處理狀態(tài)信息進行中斷恢復(fù)處理。本發(fā)明在系統(tǒng)出問題時能夠自動識別并及時處理余下未處理的數(shù)據(jù)，實現(xiàn)了系統(tǒng)的自我修復(fù)，使系統(tǒng)具有較高可靠性。
文檔編號G06F11/07GK103092712SQ201110345030
公開日2013年5月8日 申請日期2011年11月4日 優(yōu)先權(quán)日2011年11月4日
發(fā)明者范屹 申請人:阿里巴巴集團控股有限公司