1.基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:所述放置方法用于組建hadoop集群,其hadoop集群的系統(tǒng)模型包含多個(gè)機(jī)架,每個(gè)機(jī)架內(nèi)配置多個(gè)物理機(jī)pms,每個(gè)物理機(jī)運(yùn)行多個(gè)虛擬機(jī)vms;各機(jī)架之間通過核心交換機(jī)互連,機(jī)架內(nèi)部的pms通過交換機(jī)互連;hadoop集群通過交換機(jī)進(jìn)行數(shù)據(jù)塊傳輸與文件副本復(fù)制,從而實(shí)現(xiàn)跨機(jī)架的數(shù)據(jù)同步與負(fù)載均衡;hadoop集群的系統(tǒng)模型的優(yōu)化目標(biāo)為最小化hadoop集群的能耗、資源浪費(fèi)和文件訪問延遲的加權(quán)之和,優(yōu)化目標(biāo)采用的方法使用由虛擬機(jī)染色體和塊染色體組成的可變長(zhǎng)度的染色體結(jié)構(gòu),該染色體結(jié)構(gòu)用于表述放置虛擬機(jī)和數(shù)據(jù)塊副本的位置,染色體結(jié)構(gòu)使用交叉與變異操作,以增強(qiáng)hadoop集群虛擬機(jī)放置過程資源配置的解空間探索的多樣性。
2.根據(jù)權(quán)利要求1所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:hadoop集群的系統(tǒng)模型中,設(shè)在hadoop集群中有m臺(tái)物理機(jī),記為pmi(i=1,2,...m),其資源配置記為四元組分別表示該pm的cpu、內(nèi)存、磁盤i/o和網(wǎng)絡(luò)帶寬;每個(gè)pmi運(yùn)行不同數(shù)量的vms,其共享pmi的資源;每個(gè)vmj(j=1,2,...n)的資源使用情況記為四元組虛擬機(jī)所分配到的資源受限于物理機(jī)的資源配置,其表示為所述hadoop集群的系統(tǒng)模型中,虛擬機(jī)所分配資源和虛擬化軟件開銷之和不得超過物理機(jī)的資源配置,以避免物理機(jī)的資源過度消耗,以公式定義為
3.根據(jù)權(quán)利要求2所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:在hadoop集群的系統(tǒng)模型中,存儲(chǔ)資源模型具體為:設(shè)文件被切分為多個(gè)數(shù)據(jù)塊bk(k=1,2,...,k),以使其副本被存儲(chǔ)在不同虛擬機(jī)上,即文件表示為塊的連接,以公式定義為
4.根據(jù)權(quán)利要求3所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:在hadoop集群的系統(tǒng)模型中,能耗模型具體為:
5.根據(jù)權(quán)利要求4所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:在hadoop集群的系統(tǒng)模型中,物理機(jī)為多個(gè)虛擬機(jī)提供計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源;hadoop集群運(yùn)行過程中,低效或不合理的資源利用造成的資源浪費(fèi),以資源利用模型中的資源浪費(fèi)相關(guān)公式表述為
6.根據(jù)權(quán)利要求5所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:設(shè)在hadoop集群的系統(tǒng)模型中,文件數(shù)據(jù)在物理機(jī)之間的傳輸需要經(jīng)過多個(gè)交換機(jī)和物理鏈路,系統(tǒng)模型利用交換機(jī)延遲與物理鏈路延遲來(lái)評(píng)估虛擬機(jī)之間的文件訪問延遲,則系統(tǒng)模型的文件訪問延遲模型具體為:設(shè)交換機(jī)延遲tswitch為數(shù)據(jù)塊通過交換機(jī)所需的處理時(shí)間,則文件訪問延遲為虛擬機(jī)所在物理機(jī)pmdn到目標(biāo)虛擬機(jī)所在物理機(jī)pmvm之間所有交換機(jī)延遲和物理鏈路延遲之和,其以公式表其定義為
7.根據(jù)權(quán)利要求6所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:對(duì)hadoop集群的系統(tǒng)模型的優(yōu)化目標(biāo)為np難的多目標(biāo)優(yōu)化問題,對(duì)多目標(biāo)優(yōu)化問題求解時(shí),該優(yōu)化問題的形式化定義為min(w1z1+w2z2+w3z3)s.t.(1),(2),(6)?????(17)
8.根據(jù)權(quán)利要求7所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:對(duì)多目標(biāo)優(yōu)化問題進(jìn)行求解時(shí),將目標(biāo)空間劃分為多個(gè)區(qū)域,每個(gè)區(qū)域?qū)?yīng)一個(gè)參考點(diǎn),進(jìn)行參考點(diǎn)關(guān)聯(lián)與歸一化,參考點(diǎn)為預(yù)定義的目標(biāo)向量,表示不同目標(biāo)權(quán)重下的潛在解;具體為:在每一代種群的進(jìn)化過程中,當(dāng)前解集將被投影到預(yù)先生成的參考點(diǎn)上,并根據(jù)二者之間的距離進(jìn)行關(guān)聯(lián),然后,最近參考點(diǎn)將吸引解向其方向移動(dòng),進(jìn)而優(yōu)先選擇與稀疏參考點(diǎn)相關(guān)聯(lián)的解;以基于參考點(diǎn)的選擇算子維持種群的多樣性,并保證解的均勻分布,從而避免解集中在某些目標(biāo)區(qū)域而忽略其他維度的優(yōu)化;
9.根據(jù)權(quán)利要求8所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:mo-vld方法包括以下步驟;
10.根據(jù)權(quán)利要求9所述的基于多目標(biāo)優(yōu)化的大規(guī)模hadoop集群虛擬機(jī)放置方法,其特征在于:所述虛擬機(jī)放置方法的使用方法包括以下步驟;