麻豆精品无码国产在线播放,国产亚洲精品成人AA片新蒲金,国模无码大尺度一区二区三区,神马免费午夜福利剧场

基于多目標(biāo)優(yōu)化的大規(guī)模Hadoop集群虛擬機(jī)放置方法

文檔序號(hào):41766934發(fā)布日期:2025-04-29 18:36閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:所述放置方法用于組建hadoop集群,其hadoop集群的系統(tǒng)模型包含多個(gè)機(jī)架,每個(gè)機(jī)架內(nèi)配置多個(gè)物理機(jī)pms,每個(gè)物理機(jī)運(yùn)行多個(gè)虛擬機(jī)vms;各機(jī)架之間通過核心交換機(jī)互連,機(jī)架內(nèi)部的pms通過交換機(jī)互連;hadoop集群通過交換機(jī)進(jìn)行數(shù)據(jù)塊傳輸與文件副本復(fù)制,從而實(shí)現(xiàn)跨機(jī)架的數(shù)據(jù)同步與負(fù)載均衡;hadoop集群的系統(tǒng)模型的優(yōu)化目標(biāo)為最小化hadoop集群的能耗、資源浪費(fèi)和文件訪問延遲的加權(quán)之和,優(yōu)化目標(biāo)采用的方法使用由虛擬機(jī)染色體和塊染色體組成的可變長(zhǎng)度的染色體結(jié)構(gòu),該染色體結(jié)構(gòu)用于表述放置虛擬機(jī)和數(shù)據(jù)塊副本的位置,染色體結(jié)構(gòu)使用交叉與變異操作,以增強(qiáng)hadoop集群虛擬機(jī)放置過程資源配置的解空間探索的多樣性。

2.根據(jù)權(quán)利要求1所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:hadoop集群的系統(tǒng)模型中,設(shè)在hadoop集群中有m臺(tái)物理機(jī),記為pmi(i=1,2,...m),其資源配置記為四元組分別表示該pm的cpu、內(nèi)存、磁盤i/o和網(wǎng)絡(luò)帶寬;每個(gè)pmi運(yùn)行不同數(shù)量的vms,其共享pmi的資源;每個(gè)vmj(j=1,2,...n)的資源使用情況記為四元組虛擬機(jī)所分配到的資源受限于物理機(jī)的資源配置,其表示為所述hadoop集群的系統(tǒng)模型中,虛擬機(jī)所分配資源和虛擬化軟件開銷之和不得超過物理機(jī)的資源配置,以避免物理機(jī)的資源過度消耗,以公式定義為

3.根據(jù)權(quán)利要求2所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:在hadoop集群的系統(tǒng)模型中,存儲(chǔ)資源模型具體為:設(shè)文件被切分為多個(gè)數(shù)據(jù)塊bk(k=1,2,...,k),以使其副本被存儲(chǔ)在不同虛擬機(jī)上,即文件表示為塊的連接,以公式定義為

4.根據(jù)權(quán)利要求3所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:在hadoop集群的系統(tǒng)模型中,能耗模型具體為:

5.根據(jù)權(quán)利要求4所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:在hadoop集群的系統(tǒng)模型中,物理機(jī)為多個(gè)虛擬機(jī)提供計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源;hadoop集群運(yùn)行過程中,低效或不合理的資源利用造成的資源浪費(fèi),以資源利用模型中的資源浪費(fèi)相關(guān)公式表述為

6.根據(jù)權(quán)利要求5所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:設(shè)在hadoop集群的系統(tǒng)模型中,文件數(shù)據(jù)在物理機(jī)之間的傳輸需要經(jīng)過多個(gè)交換機(jī)和物理鏈路,系統(tǒng)模型利用交換機(jī)延遲與物理鏈路延遲來(lái)評(píng)估虛擬機(jī)之間的文件訪問延遲,則系統(tǒng)模型的文件訪問延遲模型具體為:設(shè)交換機(jī)延遲tswitch為數(shù)據(jù)塊通過交換機(jī)所需的處理時(shí)間,則文件訪問延遲為虛擬機(jī)所在物理機(jī)pmdn到目標(biāo)虛擬機(jī)所在物理機(jī)pmvm之間所有交換機(jī)延遲和物理鏈路延遲之和,其以公式表其定義為

7.根據(jù)權(quán)利要求6所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:對(duì)hadoop集群的系統(tǒng)模型的優(yōu)化目標(biāo)為np難的多目標(biāo)優(yōu)化問題,對(duì)多目標(biāo)優(yōu)化問題求解時(shí),該優(yōu)化問題的形式化定義為min(w1z1+w2z2+w3z3)s.t.(1),(2),(6)?????(17)

8.根據(jù)權(quán)利要求7所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:對(duì)多目標(biāo)優(yōu)化問題進(jìn)行求解時(shí),將目標(biāo)空間劃分為多個(gè)區(qū)域,每個(gè)區(qū)域?qū)?yīng)一個(gè)參考點(diǎn),進(jìn)行參考點(diǎn)關(guān)聯(lián)與歸一化,參考點(diǎn)為預(yù)定義的目標(biāo)向量,表示不同目標(biāo)權(quán)重下的潛在解;具體為:在每一代種群的進(jìn)化過程中,當(dāng)前解集將被投影到預(yù)先生成的參考點(diǎn)上,并根據(jù)二者之間的距離進(jìn)行關(guān)聯(lián),然后,最近參考點(diǎn)將吸引解向其方向移動(dòng),進(jìn)而優(yōu)先選擇與稀疏參考點(diǎn)相關(guān)聯(lián)的解;以基于參考點(diǎn)的選擇算子維持種群的多樣性,并保證解的均勻分布,從而避免解集中在某些目標(biāo)區(qū)域而忽略其他維度的優(yōu)化;

9.根據(jù)權(quán)利要求8所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:mo-vld方法包括以下步驟;

10.根據(jù)權(quán)利要求9所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:所述虛擬機(jī)放置方法的使用方法包括以下步驟;


技術(shù)總結(jié)
本發(fā)明提出基于多目標(biāo)優(yōu)化的大規(guī)模Hadoop集群虛擬機(jī)放置方法,Hadoop集群的系統(tǒng)模型包含多個(gè)機(jī)架,每個(gè)機(jī)架內(nèi)配置多個(gè)物理機(jī)PMs,每個(gè)物理機(jī)上運(yùn)行著多個(gè)虛擬機(jī)VMs;Hadoop集群通過交換機(jī)進(jìn)行數(shù)據(jù)塊傳輸與文件副本復(fù)制,從而實(shí)現(xiàn)跨機(jī)架的數(shù)據(jù)同步與負(fù)載均衡;Hadoop集群的系統(tǒng)模型的優(yōu)化目標(biāo)為最小化Hadoop集群的能耗、資源浪費(fèi)和文件訪問延遲的加權(quán)之和,優(yōu)化目標(biāo)采用的方法使用由虛擬機(jī)染色體和塊染色體組成的可變長(zhǎng)度的染色體結(jié)構(gòu),該染色體結(jié)構(gòu)用于表述放置虛擬機(jī)和數(shù)據(jù)塊副本的位置,染色體結(jié)構(gòu)使用交叉與變異操作,以增強(qiáng)虛擬機(jī)放置過程資源配置的解空間探索的多樣性;本發(fā)明充分考慮Hadoop集群運(yùn)行過程資源需求的動(dòng)態(tài)變化,能確保Hadoop集群在高負(fù)載情況下保持良好性能。

技術(shù)研發(fā)人員:陳哲毅,文佳,池夢(mèng)莉,吳舒霞,張俊杰
受保護(hù)的技術(shù)使用者:福州大學(xué)
技術(shù)研發(fā)日:
技術(shù)公布日:2025/4/28
當(dāng)前第2頁(yè)1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
主站蜘蛛池模板: 北票市| 沂源县| 康保县| 六安市| 沾益县| 庆云县| 随州市| 陇川县| 通化市| 漳浦县| 尉氏县| 固始县| 老河口市| 石城县| 建湖县| 九寨沟县| 韶关市| 兰州市| 舞钢市| 庄河市| 衡阳县| 新巴尔虎左旗| 泸西县| 巢湖市| 祁阳县| 鄂托克前旗| 恭城| 平凉市| 平江县| 隆化县| 临武县| 泽库县| 武邑县| 汕头市| 垫江县| 手机| 察雅县| 改则县| 黔江区| 邢台市| 金山区|