麻豆精品无码国产在线播放,国产亚洲精品成人AA片新蒲金,国模无码大尺度一区二区三区,神马免费午夜福利剧场

基于MapReduce模型的任務(wù)執(zhí)行方法和裝置與流程

文檔序號:11154639閱讀:來源:國知局

技術(shù)特征:

1.一種基于MapReduce模型的任務(wù)執(zhí)行方法,其特征在于,包括:

提取待執(zhí)行任務(wù)的每個輸入文件的鍵值對;

采用最大差異直方圖將所述鍵值對劃分為多個分割集合;

采用哈希一致性算法計算多個分割集合中的鍵值對中的鍵值與reduce節(jié)點的映射關(guān)系;

根據(jù)所述映射關(guān)系執(zhí)行待執(zhí)行任務(wù)。

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述提取待執(zhí)行任務(wù)的每個輸入文件的鍵值對之前,還包括:

將所述待執(zhí)行任務(wù)劃分為多個的輸入文件;

讀取所述輸入文件。

3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述采用哈希一致性算法計算多個分割集合中的鍵值對中的鍵值與reduce節(jié)點的映射關(guān)系具體包括:

對所述多個分割集合中的每個鍵值對進行哈希運算,生成每個鍵值對的鍵值對應(yīng)的一個或多個哈希值;

對每個reduce節(jié)點的地址進行哈希運算,生成每個reduce節(jié)點對應(yīng)的哈希值;

根據(jù)每個鍵值對的鍵值對應(yīng)的每個哈希值和reduce節(jié)點對應(yīng)的哈希值,建立每個鍵值對的鍵值和reduce節(jié)點的映射關(guān)系。

4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述根據(jù)每個鍵值對的鍵值對應(yīng)的每個哈希值和reduce節(jié)點對應(yīng)的哈希值,建立每個鍵值對的鍵值和reduce節(jié)點的映射關(guān)系,具體包括:

獲取哈希值大于鍵值的哈希值的reduce節(jié)點;

查找與所述鍵值的哈希值的差值最小的第一reduce節(jié)點;

將所述鍵值映射到所述第一reduce節(jié)點上。

5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述每個reduce節(jié)點的地址為所述每個reduce節(jié)點的IP地址或MAC地址。

6.一種基于MapReduce模型的任務(wù)執(zhí)行裝置,其特征在于,包括:

提取模塊,用于提取待執(zhí)行任務(wù)的每個輸入文件的鍵值對;

第一劃分模塊,用于采用最大差異直方圖將所述鍵值對劃分為多個分割集合;

計算模塊,用于采用哈希一致性算法計算多個分割集合中的鍵值對中的鍵值與reduce節(jié)點的映射關(guān)系;

執(zhí)行模塊,用于根據(jù)所述映射關(guān)系執(zhí)行待執(zhí)行任務(wù)。

7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,還包括:

第二劃分模塊,用于將所述待執(zhí)行任務(wù)劃分為多個的輸入文件;

讀取模塊,用于讀取所述輸入文件。

8.根據(jù)權(quán)利要求6或7所述的裝置,其特征在于,所述計算模塊,具體包括:

哈希運算子模塊,用于對所述多個分割集合中的每個鍵值對進行哈希運算,生成每個鍵值對的鍵值對應(yīng)的一個或多個哈希值;對每個reduce節(jié)點的地址進行哈希運算,生成每個reduce節(jié)點對應(yīng)的哈希值;

建立子模塊,用于根據(jù)每個鍵值對的鍵值對應(yīng)的每個哈希值和reduce節(jié)點對應(yīng)的哈希值,建立每個鍵值對的鍵值和reduce節(jié)點的映射關(guān)系。

9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述建立子模塊,具體用于:

獲取哈希值大于鍵值的哈希值的reduce節(jié)點;查找與所述鍵值的哈希值的差值最小的第一reduce節(jié)點;將所述鍵值映射到所述第一reduce節(jié)點上。

10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述每個reduce節(jié)點的地址為所述每個reduce節(jié)點的IP地址或MAC地址。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
主站蜘蛛池模板: 台湾省| 渭南市| 温泉县| 霍城县| 合山市| 宁海县| 尖扎县| 喀什市| 若尔盖县| 威信县| 浪卡子县| 柳江县| 昌平区| 株洲市| 亳州市| 肇东市| 巨鹿县| 宁陕县| 阿鲁科尔沁旗| 张家川| 交城县| 吴江市| 海南省| 济源市| 陈巴尔虎旗| 耿马| 中卫市| 葫芦岛市| 阳高县| 磐安县| 高清| 沁水县| 鲜城| 大名县| 新竹县| 屯留县| 芦山县| 凉城县| 澎湖县| 宣恩县| 浮梁县|