專利名稱：基于torque的并行檢查點執行方法
技術領域：
本發明屬于計算機領域，具體涉及一種基于TORQUE的并行檢查點執行方法。
背景技術：
作業調度系統是高性能計算機系統基礎的應用管理軟件，其功能與性能直接關系到整個計算機系統的效率以及可靠性。但是在并行平臺上對檢查點技術并沒能做到廣泛的支持，而檢查點的一個典型應用就是容錯。檢查點現有技術=Libckpt :集成在Condor操作系統中的檢查點系統。由于缺乏內核的支持，它只能對有限的用戶進程進行設置檢查點，使得它在機群/作業管理系統中的應用變得困難。
SGI的Irix :內核級實現,提供了豐富的用戶接口和實際應用。但是Irix不是一款開放源代碼的系統。Epckpt :基于Linux的檢查點系統,未作存儲優化，效率低下。現有的TORQUE雖然已經實現了檢查點技術，但是只能對單進程的任務進行檢查點設置，且無法支持對多進程進行檢查點和進程的遷移。存在這些問題的原因如下=TORQUE只是結合了 BLCR(Berkeley Lab’ s Linux Checkpoint/Restart伯克利實驗室實現的檢查點與恢復技術)進行進程檢查點。而BLCR自身無法支持分布式多進程任務；而且只在任務運行節點上存有檢查點映像文件，其他節點無法利用該文件，也就無法做到進程遷移。

發明內容
為克服上述缺陷，本發明提供了一種基于TORQUE的并行檢查點執行方法，運用改進的基于TORQUE的改進檢查點技術，使得原來只支持單進程檢查點的T0RQUE，現在也能夠支持多進程檢查點，并能夠對節點故障自動處理，對進程進行遷移。為實現上述目的，本發明提供一種基于TORQUE的并行檢查點執行方法，基于TORQUE的并行檢查點執行方法，在NFS文件共享存儲系統中對計算節點進行檢查點操作，其改進之處在于，所述方法包括如下步驟(I).用戶向TORQUE服務器守護進程pbs_server提交作業；(2). TORQUE服務器守護進程發送任務消息給TORQUE調度器pbs_sched，TORQUE調度器pbs_sched根據作業中指定的參數要求尋找計算節點；(3).對計算節點進行檢查點操作。本發明提供的優選技術方案中，在所述步驟I中，用戶通過TORQUE提交作業命令qsub提交作業腳本,作業腳本使用MPI進程啟動命令chkp_mpirun啟動MPI,在提交作業命令中加入作業檢查點請求。本發明提供的第二優選技術方案中，在所述步驟2中，TORQUE調度器pbS_SChed通過計算節點守護進程Pbsjnom輪詢各計算節點的狀態，將結果返回給TORQUE服務器守護進程 pbs_server。
本發明提供的第三優選技術方案中，在所述步驟3中，TORQUE服務器守護進程pbs_server將用戶的檢查點操作請求傳送到相應的計算節點上并周期運行；其中,各個計算節點分別設置有獨立檢查點鏡像。本發明提供的第四優選技術方案中，周期進行檢查點操作的各個計算節點將獨立檢查點鏡像合并成全局檢查點文件。本發明提供的第五優選技術方案中，全局檢查點文件存儲在NFS文件共享存儲系統中。本發明提供的第六優選技術方案中，在所述步驟3后，存在以下步驟a:(a).在輪詢各個計算節點時,如果發現某個計算節點故障,則將該計算節點上分配的所有未執行完的和未執行的任務根據全局檢查點文件全部進行卷回恢復。 本發明提供的第七優選技術方案中，在所述步驟a中，TORQUE調度器pbS_SChed將故障計算節點的所有任務號發回給TORQUE服務器守護進程pbs_serVer，TORQUE服務器守護進程pbs_server將讀取NFS文件共享存儲系統上離當前時間最近的全局進程映像文件，以卷回的方式重新提交任務。與現有技術比，本發明提供的一種基于TORQUE的并行檢查點執行方法，基于TORQUE的改進檢查點技術，可以使得TORQUE對運行于其上的，無論是單進程還是多進程的任務進行檢查點，并在節點故障時自動進行卷回恢復，避免了由用戶發現節點失效并重新提交作業的不便，以及重啟作業不及時導致的系統利用率低下，從而提高了調度系統的可靠性；而且，經實驗測試，運用改進的基于TORQUE的改進檢查點技術，使得原來只支持單進程檢查點的T0RQUE，現在也能夠支持多進程檢查點，并能夠對節點故障自動處理，對進程進行遷移，從而減少了因節點故障造成的計算資源浪費。


圖I為基于TORQUE的并行檢查點執行方法的流程示意圖。
具體實施例方式涉及的關鍵技術術語的說明I TORQUE Tera-scale Open-source Resource and Queue manager 開源的萬億級計算資源與隊列管理器2檢查點在一個事務結束而另一個事務即將開始的時候，對系統狀態的一次快照。3映像文件檢查點文件，保存了進程執行的所有信息。4進程遷移在不同的處理器上移動一個正在執行進程的能力，這些處理器通過網絡互相連接而不是局部共享內存。5NFS Network File System 網絡文件系統如圖I所示，一種基于TORQUE的并行檢查點執行方法，基于TORQUE的并行檢查點執行方法，在NFS文件共享存儲系統中對計算節點進行檢查點操作，所述方法包括如下步驟(I).用戶向TORQUE服務器守護進程pbs_server提交作業；(2). TORQUE服務器守護進程發送任務消息給TORQUE調度器pbs_sched，TORQUE調度器pbs_sched根據作業中指定的參數要求尋找計算節點；(3).對計算節點進行檢查點操作。在所述步驟I中，用戶通過TORQUE提交作業命令qsub提交作業腳本，提交命令中需要加入作業檢查點請求，作業腳本中使用MPI進程啟動命令chkp_mpirun啟動MPI,或者可以直接在客戶端以命令行形式提交MPI作業，方法為在命令行執行MPI啟動命令chkp_mpirun0在所述步驟2中，TORQUE調度器pbs_sched通過計算節點守護進程pbs_mom輪詢各計算節點的狀態，將結果返回給TORQUE服務器守護進程pbs_server。在所述步驟3中，TORQUE服務器守護進程pbsjerver將用戶的檢查點操作請求傳送到相應的計算節點上并周期運行；其中，各個計算節點分別設置有獨立檢查點鏡像。周期進行檢查點操作的各個計算節點將獨立檢查點鏡像合并成全局檢查點文件。全局檢查點文件存儲在NFS文件共享存儲系統中。 在所述步驟3后，存在以下步驟a (a).在輪詢各個計算節點時,如果發現某個計算節點故障,則將該計算節點上分配的所有未執行完的和未執行的任務根據全局檢查點文件全部進行卷回恢復。在所述步驟a中，TORQUE調度器pbS_SChed將故障計算節點的所有任務號發回給TORQUE服務器守護進程pbs_server, TORQUE服務器守護進程pbs_server將讀取NFS文件共享存儲系統上離當前時間最近的全局進程映像文件，以卷回的方式重新提交任務。通過以下實施例對基于TORQUE的并行檢查點執行方法做進一步描述。基于TORQUE的并行檢查點執行方法，包括一、NFS文件系統(Network File System網絡文件系統)本方法采用了 NFS共享存儲來存儲映像文件，各進程在為自己設置檢查點時，其檢查點文件實際上是被NFS發送到掛載在管理結點上的穩定存儲陣列中，存儲陣列的可靠性一般由其自身來保證(RAID-Redundant Arrays of InexpensiveDisks磁盤陣列機制)。用NFS共享文件系統提供的服務，可以使得所有的計算節點都能訪問到該存儲空間，為進程的遷移以及節點故障后在其他節點恢復提供了有利條件。二、并行檢查點執行流程I.通常并行任務的實現都是基于MPI (Message Passing Interface消息傳遞接口)而實現的，本方法在執行作業命令時不再使用MPI自身的mpirun(MPI啟動命令)，而是使用本方法提供的chkp_mpirun命令(本方法提供的MPI進程啟動命令),具體實現流程如下2.用戶可以直接使用chkp_mpirun命令在命令行啟動MPI可執行程序,用戶也可以通過qsub命令(TORQUE的提交作業命令)提交作業腳本，作業腳本中使用chkp_mpirun命令啟動MPI可執行程序，并在提交命令中加入作業檢查點請求；pbs_serVer (TORQUE在管理節點上的守護進程)接收到用戶腳本之后，發送任務消息給pbs_sched調度器(TORQUE在管理節點上的調度器)，調度器根據腳本文件中指定的參數要求尋找合適的節點。調度器通過pbS_mom(T0RQUE在計算節點上的守護進程)輪詢各計算節點的狀態，將結果返回給pbs_server, pbs_server再將用戶的任務程序由網絡傳送到相應的計算節點，并在該節點上運行，同時在該節點上周期進行檢查點，啟動任務的節點會將個計算節點上的獨立檢查點鏡像合并成全局一致的檢查點鏡像，從而達到單一系統映像效果。并將這個周期性產生的檢查點文件存放在NFS共享存儲上。3.實現自動卷回恢復也就是實現進程遷移，需要管理節點定時輪詢各計算節點是狀態。如果發現節點故障，則將該節點上分配的所有未執行完的和未執行的任務全部進行卷回恢復。這是通過修改pbs_sched調度器的定時執行函數來實現的。pbs_sched調度器會將故障節點的所有任務號發回給pbs_server, pbs_server將讀取共享存儲上的離當前時間最近的全局進程映像文件，以卷回的方式重新提交任務。
需要聲明的是，本發明內容及具體實施方式
意在證明本發明所提供技術方案的實際應用，不應解釋為對本發明保護范圍的限定。本領域技術人員在本發明的精神和原理啟發下，可作各種修改、等同替換、或改進。但這些變更或修改均在申請待批的保護范圍內。
權利要求
1.一種基于TORQUE的并行檢查點執行方法，在NFS文件共享存儲系統中對計算節點進行檢查點操作，其特征在于，所述方法包括如下步驟 (1).用戶向TORQUE服務器守護進程pbs_server提交作業； (2).TORQUE服務器守護進程發送任務消息給TORQUE調度器pbS_SChed，TORQUE調度器pbs_sched根據作業中指定的參數要求尋找計算節點； (3).對計算節點進行檢查點操作。
2.根據權利要求I所述的方法，其特征在于，在所述步驟I中，用戶通過TORQUE提交作業命令qsub提交作業腳本,作業腳本使用MPI進程啟動命令chkp_mpirun啟動MPI,在提交作業命令中加入作業檢查點請求。
3.根據權利要求I所述的方法，其特征在于，在所述步驟2中，TORQUE調度器pbs_sched通過計算節點守護進程pbs_mom輪詢各計算節點的狀態,將結果返回給TORQUE服務器守護進程pbs_server。
4.根據權利要求I所述的方法，其特征在于，在所述步驟3中，TORQUE服務器守護進程pbs_server將用戶的檢查點操作請求傳送到相應的計算節點上并周期運行；其中,各個計算節點分別設置有獨立檢查點鏡像。
5.根據權利要求4所述的方法，其特征在于，周期進行檢查點操作的各個計算節點將獨立檢查點鏡像合并成全局檢查點文件。
6.根據權利要求5所述的方法，其特征在于，全局檢查點文件存儲在NFS文件共享存儲系統中。
7.根據權利要求I或者4所述的方法，其特征在于，在所述步驟3后，存在以下步驟a (a).在輪詢各個計算節點時，如果發現某個計算節點故障，則將該計算節點上分配的所有未執行完的和未執行的任務根據全局檢查點文件全部進行卷回恢復。
8.根據權利要求7所述的方法，其特征在于，在所述步驟a中，TORQUE調度器pbs_sched將故障計算節點的所有任務號發回給TORQUE服務器守護進程pbs_server, TORQUE服務器守護進程pbs_server將讀取NFS文件共享存儲系統上離當前時間最近的全局進程映像文件，以卷回的方式重新提交任務。
全文摘要
本發明提供了一種基于TORQUE的并行檢查點執行方法，在NFS文件共享存儲系統中對計算節點進行檢查點操作，所述方法包括如下步驟(1).用戶向TORQUE服務器守護進程pbs_server提交作業，提交命令加入檢查點請求，作業腳本中使用作業啟動命令chkp_mpirun啟動任務；(2).TORQUE服務器守護進程發送任務消息給TORQUE調度器pbs_sched，TORQUE調度器pbs_sched根據作業中指定的參數要求尋找計算節點；(3).對計算節點進行檢查點操作。本發明提供的基于TORQUE的并行檢查點執行方法，運用改進的基于TORQUE的改進檢查點技術，使得原來只支持單進程檢查點的TORQUE，現在也能夠支持多進程檢查點，并能夠對節點故障自動處理，對進程進行遷移。
文檔編號G06F11/00GK102915257SQ20121036765
公開日2013年2月6日 申請日期2012年9月28日 優先權日2012年9月28日
發明者林霞 申請人:曙光信息產業(北京)有限公司