專利名稱：一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法
技術(shù)領(lǐng)域：
本發(fā)明設(shè)計(jì)一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，具體設(shè)計(jì)一種云計(jì)算 環(huán)境下中間數(shù)據(jù)采用選擇存儲(chǔ)的數(shù)據(jù)管理方法，進(jìn)行后臺(tái)復(fù)制和開銷比較等，降低存儲(chǔ)復(fù) 制開銷，提升系統(tǒng)性能，屬于計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域。
背景技術(shù)：
隨著云計(jì)算的流行，云計(jì)算編程模型的重要性也日漸凸顯，其中數(shù)據(jù)流編程 模型是一種主導(dǎo)編程模型。數(shù)據(jù)流編程模型在大規(guī)模數(shù)據(jù)處理中越來越流行，例如 MapReduce, Dryad和Pig。數(shù)據(jù)流程序是包括多個(gè)階段的計(jì)算和將各個(gè)階段連接在一起的 通信方式。中間數(shù)據(jù)是任務(wù)開始到結(jié)束之間，在各個(gè)階段計(jì)算產(chǎn)生的數(shù)據(jù)，它是上個(gè)階段的 輸出數(shù)據(jù)和下個(gè)階段的輸入數(shù)據(jù)。在云計(jì)算規(guī)模日益增大的情況下，節(jié)點(diǎn)失效問題越發(fā)頻 繁，并成為大家關(guān)注的焦點(diǎn)。而節(jié)點(diǎn)失效帶來中間數(shù)據(jù)丟失，直接影響任務(wù)的執(zhí)行，如何有 效管理中間數(shù)據(jù)，提高中間數(shù)據(jù)的容錯(cuò)性以保證任務(wù)的順利完成成為當(dāng)前云計(jì)算領(lǐng)域研究 白勺^^ ； ^^ ο除了從提高硬件穩(wěn)定性等方面的考慮外，通過修改現(xiàn)有的存儲(chǔ)系統(tǒng)對(duì)中間數(shù)據(jù)進(jìn) 行存儲(chǔ)是常用的方法之一，即利用現(xiàn)有存儲(chǔ)系統(tǒng)通過增加備份數(shù)量以此來提高中間數(shù)據(jù)的 容錯(cuò)性。這種方式下存儲(chǔ)中間數(shù)據(jù)不能根據(jù)系統(tǒng)中的任務(wù)運(yùn)行情況，進(jìn)行低開銷、低干擾的 數(shù)據(jù)復(fù)制。這種方式實(shí)現(xiàn)簡(jiǎn)單，但未考慮到系統(tǒng)中負(fù)載、任務(wù)執(zhí)行、所在位置等情況。此方 法在提高中間數(shù)據(jù)容錯(cuò)性的同時(shí)，會(huì)占用網(wǎng)絡(luò)資源，影響任務(wù)完成時(shí)間，從而降低系統(tǒng)的整 體性能。如果采用選擇存儲(chǔ)技術(shù)，通過在線收集任務(wù)進(jìn)度及所在位置，進(jìn)行后臺(tái)復(fù)制、任務(wù) 臨近節(jié)點(diǎn)存儲(chǔ)等方法，可以避免上述方法所帶來的缺點(diǎn)，并且可以是使系統(tǒng)性能不下降的 情況下完成中間數(shù)據(jù)容錯(cuò)性優(yōu)化的目的，在云計(jì)算中間數(shù)據(jù)領(lǐng)域具有很重要的意義。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，它首先考慮 網(wǎng)絡(luò)的負(fù)載情況，在滿足低干擾的情況下選擇性的對(duì)中間數(shù)據(jù)進(jìn)行備份，從而提高其容錯(cuò) 性、提高系統(tǒng)性能。如圖1所示，本發(fā)明是一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，該方 法包括以下步驟。步驟101.計(jì)算節(jié)點(diǎn)動(dòng)態(tài)統(tǒng)計(jì)網(wǎng)絡(luò)負(fù)載，任務(wù)執(zhí)行進(jìn)度、位置等信息，以心跳信息 的形式報(bào)告給主控節(jié)點(diǎn)，以確定備份策略。步驟102.計(jì)算節(jié)點(diǎn)對(duì)任務(wù)輸入數(shù)據(jù)進(jìn)行判斷和劃分，以確定數(shù)據(jù)是否需要復(fù)制， 并向主控節(jié)點(diǎn)提出復(fù)制申請(qǐng)。步驟103.根據(jù)主控節(jié)點(diǎn)的復(fù)制命令的反饋，計(jì)算機(jī)節(jié)點(diǎn)利用空閑帶寬，考慮比較 開銷、復(fù)制時(shí)間等因素，進(jìn)行數(shù)據(jù)復(fù)制。
步驟104.向主控節(jié)點(diǎn)反饋備份情況，更新數(shù)據(jù)備份信息。其中，步驟101所述的信息統(tǒng)計(jì)需滿足快速、數(shù)據(jù)充足及實(shí)時(shí)的要求。網(wǎng)絡(luò)負(fù)載信 息是主控節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)判斷復(fù)制的重要數(shù)據(jù)依據(jù)。網(wǎng)絡(luò)負(fù)載信息主要包括往返延遲和丟 包率，即在當(dāng)前時(shí)段網(wǎng)絡(luò)中以往返延遲增加和丟包率增加衡量網(wǎng)絡(luò)負(fù)載情況，以避免因復(fù) 制占用網(wǎng)絡(luò)資源過多而導(dǎo)致整體性能下降。所述的任務(wù)執(zhí)行進(jìn)度、位置，是根據(jù)當(dāng)前正在執(zhí) 行任務(wù)，收集任務(wù)的TaskID、任務(wù)執(zhí)行節(jié)點(diǎn)位置、任務(wù)已執(zhí)行時(shí)間、任務(wù)進(jìn)度評(píng)分(在云計(jì) 算框架里，將任務(wù)評(píng)分分為0至1分，每個(gè)階段為1/ 等信息，以預(yù)測(cè)任務(wù)完整執(zhí)行所需的 最長時(shí)間和備份存儲(chǔ)位置。信息統(tǒng)計(jì)周期以0. 5秒 1. 0秒之間為最佳，并封裝為心跳信息 發(fā)送給主控節(jié)點(diǎn)。其中，步驟102所述的是任務(wù)輸入數(shù)據(jù)，產(chǎn)生于本地節(jié)點(diǎn)或遠(yuǎn)程節(jié)點(diǎn)。該階段需要 對(duì)輸入數(shù)據(jù)的來源位置進(jìn)行快速、準(zhǔn)確的判斷。在任務(wù)等待輸入數(shù)據(jù)期間，本地節(jié)點(diǎn)以心跳 信息的方法發(fā)送給主控節(jié)點(diǎn)查詢?cè)撊蝿?wù)輸入數(shù)據(jù)的產(chǎn)生位置或本地節(jié)點(diǎn)通過執(zhí)行線程查 詢輸入數(shù)據(jù)的產(chǎn)生位置，進(jìn)而判斷輸入數(shù)據(jù)產(chǎn)生于本地節(jié)點(diǎn)或遠(yuǎn)程節(jié)點(diǎn)，如輸入數(shù)據(jù)是本 地節(jié)點(diǎn)產(chǎn)生則需要進(jìn)行備份，反之則不需要。在云計(jì)算環(huán)境下，本地產(chǎn)生的數(shù)據(jù)在任務(wù)使用 完后會(huì)自動(dòng)刪除，而遠(yuǎn)程節(jié)點(diǎn)產(chǎn)生數(shù)據(jù)在不同節(jié)點(diǎn)使用完后會(huì)自動(dòng)保存。因此在任務(wù)開始 前判斷數(shù)據(jù)情況以確定復(fù)制，能提高資源使用率，避免因重復(fù)復(fù)制而造成時(shí)間耗費(fèi)、占用額 外資源而導(dǎo)致的性能下降。其中，步驟103所述的數(shù)據(jù)復(fù)制主要涉及利用空閑帶寬復(fù)制，考慮開銷比較和復(fù) 制時(shí)間比較等因素。根據(jù)步驟101收集到的網(wǎng)絡(luò)負(fù)載信息，分析其歷史網(wǎng)絡(luò)負(fù)載規(guī)律，考慮 節(jié)點(diǎn)位置、資源使用狀況，進(jìn)一步計(jì)算出未來1800秒內(nèi)網(wǎng)絡(luò)空閑情況，并在此段時(shí)間進(jìn)行 數(shù)據(jù)復(fù)制。復(fù)制時(shí)間比較是指數(shù)據(jù)備份復(fù)制時(shí)間需比任務(wù)執(zhí)行時(shí)間短，即主控節(jié)點(diǎn)收到本 地節(jié)點(diǎn)的反饋信息來控制數(shù)據(jù)復(fù)制速率和計(jì)算節(jié)點(diǎn)監(jiān)控任務(wù)執(zhí)行進(jìn)度兩方面保證數(shù)據(jù)復(fù) 制時(shí)間，如果復(fù)制時(shí)間超過任務(wù)完成時(shí)間，則放棄復(fù)制。開銷比較主要通過主控節(jié)點(diǎn)記錄任 務(wù)實(shí)際執(zhí)行的歷史時(shí)間作為任務(wù)執(zhí)行開銷和以Map、Reduce數(shù)量相同的參數(shù)的中間數(shù)據(jù)的 復(fù)制時(shí)間作為復(fù)制開銷進(jìn)行比較，如執(zhí)行開銷大于復(fù)制開銷，則放棄復(fù)制。其中，步驟104所述備份情況是指通過網(wǎng)絡(luò)負(fù)載預(yù)測(cè)及備份策略成功備份后的信 息。計(jì)算節(jié)點(diǎn)在中間數(shù)據(jù)復(fù)制成功后，以心跳信息的形式發(fā)送給主控節(jié)點(diǎn)，通知主控節(jié)點(diǎn)該 數(shù)據(jù)備份成功和存儲(chǔ)位置，以供節(jié)點(diǎn)失效后使用和判斷輸入數(shù)據(jù)位置節(jié)點(diǎn)的情況。主控節(jié) 點(diǎn)接收到計(jì)算節(jié)點(diǎn)的備份信息后，更新數(shù)據(jù)位置等信息。本發(fā)明一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，它與現(xiàn)有技術(shù)比，其主要 優(yōu)點(diǎn)是(1)實(shí)現(xiàn)中間數(shù)據(jù)的備份，提高系統(tǒng)性能。原有的中間數(shù)據(jù)備份是利用已有的文件 系統(tǒng)和存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ)備份，備份開銷大，造成任務(wù)完成時(shí)間的延長。本方法根據(jù)云計(jì)算 環(huán)境網(wǎng)絡(luò)負(fù)載及任務(wù)執(zhí)行情況，通過控制復(fù)制速度等方法保證了中間數(shù)據(jù)的復(fù)制，確保了 對(duì)任務(wù)的低干擾；(2)將統(tǒng)計(jì)方法和進(jìn)度控制應(yīng)用到中間數(shù)據(jù)復(fù)制過程中，構(gòu)建新的架構(gòu) 和方法以解決備份中網(wǎng)絡(luò)資源爭(zhēng)用、復(fù)制效率等問題。


圖1中間數(shù)據(jù)復(fù)制控制流程示意圖。圖2根據(jù)統(tǒng)計(jì)網(wǎng)絡(luò)負(fù)載、任務(wù)進(jìn)度等狀態(tài)的流程示意圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)表達(dá)得更加清楚明白，下面結(jié)合附圖及具體 實(shí)施例對(duì)本發(fā)明再作進(jìn)一步詳細(xì)的說明。本發(fā)明的主要思想是根據(jù)云計(jì)算環(huán)境下任務(wù)執(zhí)行時(shí)網(wǎng)絡(luò)負(fù)載、任務(wù)執(zhí)行進(jìn)度及資 源使用狀況對(duì)中間數(shù)據(jù)的復(fù)制進(jìn)行動(dòng)態(tài)調(diào)整，通過結(jié)合統(tǒng)計(jì)網(wǎng)絡(luò)負(fù)載及任務(wù)執(zhí)行情況對(duì)中 間數(shù)據(jù)復(fù)制進(jìn)行實(shí)時(shí)控制，以保證在不干擾前臺(tái)任務(wù)執(zhí)行的情況下實(shí)現(xiàn)中間數(shù)據(jù)的復(fù)制。首先對(duì)數(shù)據(jù)進(jìn)行分類，減少復(fù)制開銷。因本地產(chǎn)生的數(shù)據(jù)在下一階段使用完后會(huì) 自動(dòng)刪除，而其他節(jié)點(diǎn)產(chǎn)生數(shù)據(jù)在不同節(jié)點(diǎn)使用完后會(huì)自動(dòng)保存。收集到的信息包括網(wǎng)絡(luò) 負(fù)載信息，以1800秒為周期，分析各個(gè)時(shí)間段(200秒)的負(fù)載情況；收集任務(wù)執(zhí)行情況，如 執(zhí)行完整時(shí)間，以此作為中間數(shù)據(jù)復(fù)制的衡量標(biāo)準(zhǔn)之一；收集中間數(shù)據(jù)備份復(fù)制時(shí)間，作為 參數(shù)相同數(shù)據(jù)的復(fù)制時(shí)間的參考。需要實(shí)時(shí)收集上述信息，及時(shí)更新數(shù)據(jù)，保證中間數(shù)據(jù)復(fù) 制的低干擾和效率。 下面以一實(shí)例進(jìn)行說明，如圖2所示，包括以下步驟。步驟201 實(shí)時(shí)統(tǒng)計(jì)網(wǎng)絡(luò)負(fù)載信息，觀察每個(gè)時(shí)間段QOO秒)網(wǎng)絡(luò)的往返延遲和 丟包情況，以此為依據(jù)預(yù)測(cè)將來網(wǎng)絡(luò)的情況。并實(shí)時(shí)監(jiān)控任務(wù)執(zhí)行進(jìn)度，收集任務(wù)的集任務(wù) 的TaskID、任務(wù)執(zhí)行節(jié)點(diǎn)位置、任務(wù)已執(zhí)行時(shí)間、任務(wù)進(jìn)度評(píng)分，并根據(jù)任務(wù)進(jìn)度評(píng)分預(yù)測(cè) 任務(wù)完成時(shí)間，預(yù)測(cè)算法如下
Pr ogr essRat e= ； ProgressScore, /Ti, /h
ο
Time 二 I - Pro gr e ssSc ο re ι --‘' P rog ressR ate步驟202 :在等待輸入數(shù)據(jù)傳輸過程中，實(shí)時(shí)統(tǒng)計(jì)任務(wù)的輸入數(shù)據(jù)位置。計(jì)算節(jié)點(diǎn) 以心跳信息的方式發(fā)送給主控節(jié)點(diǎn)查詢命令，查詢?cè)撦斎霐?shù)據(jù)的產(chǎn)生位置或計(jì)算節(jié)點(diǎn)通過 當(dāng)前執(zhí)行線程查詢輸入數(shù)據(jù)的產(chǎn)生位置，得知信息后以此判斷數(shù)據(jù)的來源，如輸入數(shù)據(jù)來 自本地節(jié)點(diǎn)，任務(wù)執(zhí)行完后會(huì)自動(dòng)刪除數(shù)據(jù)，因此該數(shù)據(jù)需要進(jìn)行備份；而來自其他節(jié)點(diǎn)的 數(shù)據(jù)，數(shù)據(jù)將會(huì)保存。步驟203 當(dāng)數(shù)據(jù)準(zhǔn)備進(jìn)行復(fù)制時(shí)，首先根據(jù)當(dāng)時(shí)網(wǎng)絡(luò)負(fù)載信息情況進(jìn)行判斷，如 網(wǎng)絡(luò)負(fù)載高，則暫停復(fù)制等待網(wǎng)絡(luò)空閑時(shí)刻；如網(wǎng)絡(luò)負(fù)載低，則進(jìn)入準(zhǔn)備復(fù)制階段。而在復(fù) 制過程中，仍在監(jiān)控網(wǎng)絡(luò)負(fù)載，當(dāng)感知網(wǎng)絡(luò)負(fù)載增加的時(shí)，降低復(fù)制速度或暫停復(fù)制并監(jiān)測(cè) 網(wǎng)絡(luò)負(fù)載情況，如網(wǎng)絡(luò)負(fù)載降低則提高復(fù)制速度或恢復(fù)復(fù)制。復(fù)制開始前，先判斷復(fù)制開 銷，以收集到的任務(wù)完成時(shí)間和參數(shù)相同的中間數(shù)據(jù)備份時(shí)間為參考，對(duì)比任務(wù)重新執(zhí)行 和數(shù)據(jù)復(fù)制的開銷，如復(fù)制開銷大，則放棄復(fù)制；如復(fù)制開銷小，則根據(jù)監(jiān)控任務(wù)執(zhí)行情況 和預(yù)測(cè)公式進(jìn)行時(shí)間判斷，如復(fù)制時(shí)間小于任務(wù)完成時(shí)間，則開始復(fù)制，否則放棄復(fù)制。即 預(yù)測(cè)復(fù)制狀況，節(jié)省系統(tǒng)資源開銷，提高復(fù)制效率。步驟204:復(fù)制完成后，計(jì)算節(jié)點(diǎn)將數(shù)據(jù)存儲(chǔ)位置、大小等信息反饋給主控節(jié)點(diǎn)。 主控節(jié)點(diǎn)接收到信息后更新存儲(chǔ)數(shù)據(jù)信息。本實(shí)例中查看網(wǎng)絡(luò)負(fù)載及任務(wù)執(zhí)行進(jìn)度等參數(shù)并進(jìn)行相應(yīng)的參數(shù)更新時(shí)在數(shù)據(jù)復(fù)制過程中依據(jù)任務(wù)執(zhí)行周期循環(huán)執(zhí)行的。采用上述中間數(shù)據(jù)復(fù)制方法可以做到盡量在對(duì) 前臺(tái)任務(wù)低干擾的情況達(dá)到復(fù)制的高效，以滿足容錯(cuò)的需求。 最后所應(yīng)說明的是以上實(shí)施例僅用以說明而非限制本發(fā)明的技術(shù)方案，盡管參 照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解依然可以對(duì)本 發(fā)明進(jìn)行修改或者等同替換，而不脫離本發(fā)明的精神和范圍的任何修改或局部替換，其均 應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1.一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，其特征在于該方法包括以下步驟步驟101.計(jì)算節(jié)點(diǎn)動(dòng)態(tài)統(tǒng)計(jì)網(wǎng)絡(luò)負(fù)載，任務(wù)執(zhí)行進(jìn)度、位置信息，以心跳信息的形式 報(bào)告給主控節(jié)點(diǎn)，以確定備份策略；步驟102.計(jì)算節(jié)點(diǎn)對(duì)任務(wù)輸入數(shù)據(jù)進(jìn)行判斷和劃分，以確定數(shù)據(jù)是否需要復(fù)制，并向 主控節(jié)點(diǎn)提出復(fù)制申請(qǐng)；步驟103.根據(jù)主控節(jié)點(diǎn)的復(fù)制命令的反饋，計(jì)算機(jī)節(jié)點(diǎn)利用空閑帶寬，考慮比較開 銷、復(fù)制時(shí)間等因素，進(jìn)行數(shù)據(jù)復(fù)制；步驟104.向主控節(jié)點(diǎn)反饋備份情況，更新數(shù)據(jù)備份信息；其中，步驟101所述的網(wǎng)絡(luò)負(fù)載信息主要包括往返延遲和丟包率，即在當(dāng)前時(shí)段網(wǎng) 絡(luò)中以往返延遲增加和丟包率增加衡量網(wǎng)絡(luò)負(fù)載情況，以避免因復(fù)制占用網(wǎng)絡(luò)資源過多 而導(dǎo)致整體性能下降；所述的任務(wù)執(zhí)行進(jìn)度、位置是根據(jù)當(dāng)前正在執(zhí)行任務(wù)，收集任務(wù)的 TaskID、任務(wù)執(zhí)行節(jié)點(diǎn)位置、任務(wù)已執(zhí)行時(shí)間、任務(wù)進(jìn)度評(píng)分信息，以預(yù)測(cè)任務(wù)完整執(zhí)行所 需的最長時(shí)間和備份存儲(chǔ)位置；其中，步驟102所述的是任務(wù)輸入數(shù)據(jù)，產(chǎn)生于本地節(jié)點(diǎn)或遠(yuǎn)程節(jié)點(diǎn)；在任務(wù)等待輸入 數(shù)據(jù)期間，本地節(jié)點(diǎn)以心跳信息的方法發(fā)送給主控節(jié)點(diǎn)查詢?cè)撊蝿?wù)輸入數(shù)據(jù)的產(chǎn)生位置或 本地節(jié)點(diǎn)通過執(zhí)行線程查詢輸入數(shù)據(jù)的產(chǎn)生位置，進(jìn)而判斷輸入數(shù)據(jù)產(chǎn)生于本地節(jié)點(diǎn)或遠(yuǎn) 程節(jié)點(diǎn)，如輸入數(shù)據(jù)是本地節(jié)點(diǎn)產(chǎn)生則需要進(jìn)行備份，反之則不需要；其中，步驟103所述的數(shù)據(jù)復(fù)制主要涉及利用空閑帶寬復(fù)制，考慮開銷比較和復(fù)制時(shí) 間比較因素；根據(jù)步驟101收集到的網(wǎng)絡(luò)負(fù)載信息，分析其歷史網(wǎng)絡(luò)負(fù)載規(guī)律，考慮節(jié)點(diǎn)位 置、資源使用狀況，進(jìn)一步計(jì)算出未來1800秒內(nèi)網(wǎng)絡(luò)空閑情況，并在此段時(shí)間進(jìn)行數(shù)據(jù)復(fù) 制；其中，步驟104所述備份情況是指通過網(wǎng)絡(luò)負(fù)載預(yù)測(cè)及備份策略成功備份后的信息 計(jì)算節(jié)點(diǎn)在中間數(shù)據(jù)復(fù)制成功后，以心跳信息的形式發(fā)送給主控節(jié)點(diǎn)，通知主控節(jié)點(diǎn)該數(shù) 據(jù)備份成功和存儲(chǔ)位置，以供節(jié)點(diǎn)失效后使用和判斷輸入數(shù)據(jù)位置節(jié)點(diǎn)的情況；主控節(jié)點(diǎn) 接收到計(jì)算節(jié)點(diǎn)的備份信息后，更新數(shù)據(jù)位置信息。
2.根據(jù)權(quán)利要求1所述的一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，其特征在 于所述步驟101中任務(wù)進(jìn)度評(píng)分分為0至1分，每個(gè)階段為1/3。
3.根據(jù)權(quán)利要求1所述的一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，其特征在 于所述步驟101計(jì)算節(jié)點(diǎn)動(dòng)態(tài)統(tǒng)計(jì)網(wǎng)絡(luò)負(fù)載，任務(wù)執(zhí)行進(jìn)度、位置信息，其統(tǒng)計(jì)周期以 0. 5秒 1. 0秒之間為最佳。
4.根據(jù)權(quán)利要求1所述的一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，其特征在 于所述步驟103中，復(fù)制時(shí)間比較是指數(shù)據(jù)備份復(fù)制時(shí)間需比任務(wù)執(zhí)行時(shí)間短，即主控節(jié) 點(diǎn)收到本地節(jié)點(diǎn)的反饋信息來控制數(shù)據(jù)復(fù)制速率和計(jì)算節(jié)點(diǎn)監(jiān)控任務(wù)執(zhí)行進(jìn)度兩方面保 證數(shù)據(jù)復(fù)制時(shí)間，如果復(fù)制時(shí)間超過任務(wù)完成時(shí)間，則放棄復(fù)制；開銷比較主要通過主控節(jié) 點(diǎn)記錄任務(wù)實(shí)際執(zhí)行的歷史時(shí)間作為任務(wù)執(zhí)行開銷和以Map、Reduce數(shù)量相同的參數(shù)的中 間數(shù)據(jù)的復(fù)制時(shí)間作為復(fù)制開銷進(jìn)行比較，如執(zhí)行開銷大于復(fù)制開銷，則放棄復(fù)制。
全文摘要
本發(fā)明一種云計(jì)算環(huán)境下中間數(shù)據(jù)的容錯(cuò)性優(yōu)化方法，該方法有四大步驟步驟一收集網(wǎng)絡(luò)負(fù)載、任務(wù)執(zhí)行進(jìn)度及位置信息；步驟二判斷、分析任務(wù)輸入數(shù)據(jù)，主要判斷數(shù)據(jù)產(chǎn)生位置；步驟三根據(jù)當(dāng)前環(huán)境對(duì)工作模式進(jìn)行分類，根據(jù)控制參數(shù)對(duì)資源分配進(jìn)行調(diào)整；步驟四反饋備份情況，更新數(shù)據(jù)備份信息。本發(fā)明首先考慮云計(jì)算環(huán)境下節(jié)點(diǎn)失效的頻率，根據(jù)任務(wù)完成時(shí)間要求及資源使用情況對(duì)中間數(shù)據(jù)進(jìn)行復(fù)制，對(duì)網(wǎng)絡(luò)負(fù)載及任務(wù)執(zhí)行進(jìn)度進(jìn)行實(shí)時(shí)監(jiān)控及彈性管理，以保證系統(tǒng)在性能不受影響的情況下實(shí)現(xiàn)中間數(shù)據(jù)的復(fù)制。它在云計(jì)算數(shù)據(jù)管理領(lǐng)域具有廣泛地實(shí)用價(jià)值和應(yīng)用前景。
文檔編號(hào)H04L29/08GK102104496SQ20101060225
公開日2011年6月22日 申請(qǐng)日期2010年12月23日 優(yōu)先權(quán)日2010年12月23日
發(fā)明者毛宏, 祝明發(fā), 肖利民, 胡聲秋, 阮利 申請(qǐng)人:北京航空航天大學(xué)