1.一種基于MapReduce模型的任務(wù)執(zhí)行方法,其特征在于,包括:
提取待執(zhí)行任務(wù)的每個輸入文件的鍵值對;
采用最大差異直方圖將所述鍵值對劃分為多個分割集合;
采用哈希一致性算法計算多個分割集合中的鍵值對中的鍵值與reduce節(jié)點的映射關(guān)系;
根據(jù)所述映射關(guān)系執(zhí)行待執(zhí)行任務(wù)。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述提取待執(zhí)行任務(wù)的每個輸入文件的鍵值對之前,還包括:
將所述待執(zhí)行任務(wù)劃分為多個的輸入文件;
讀取所述輸入文件。
3.根據(jù)權(quán)利要求1或2所述的方法,其特征在于,所述采用哈希一致性算法計算多個分割集合中的鍵值對中的鍵值與reduce節(jié)點的映射關(guān)系具體包括:
對所述多個分割集合中的每個鍵值對進行哈希運算,生成每個鍵值對的鍵值對應(yīng)的一個或多個哈希值;
對每個reduce節(jié)點的地址進行哈希運算,生成每個reduce節(jié)點對應(yīng)的哈希值;
根據(jù)每個鍵值對的鍵值對應(yīng)的每個哈希值和reduce節(jié)點對應(yīng)的哈希值,建立每個鍵值對的鍵值和reduce節(jié)點的映射關(guān)系。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述根據(jù)每個鍵值對的鍵值對應(yīng)的每個哈希值和reduce節(jié)點對應(yīng)的哈希值,建立每個鍵值對的鍵值和reduce節(jié)點的映射關(guān)系,具體包括:
獲取哈希值大于鍵值的哈希值的reduce節(jié)點;
查找與所述鍵值的哈希值的差值最小的第一reduce節(jié)點;
將所述鍵值映射到所述第一reduce節(jié)點上。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述每個reduce節(jié)點的地址為所述每個reduce節(jié)點的IP地址或MAC地址。
6.一種基于MapReduce模型的任務(wù)執(zhí)行裝置,其特征在于,包括:
提取模塊,用于提取待執(zhí)行任務(wù)的每個輸入文件的鍵值對;
第一劃分模塊,用于采用最大差異直方圖將所述鍵值對劃分為多個分割集合;
計算模塊,用于采用哈希一致性算法計算多個分割集合中的鍵值對中的鍵值與reduce節(jié)點的映射關(guān)系;
執(zhí)行模塊,用于根據(jù)所述映射關(guān)系執(zhí)行待執(zhí)行任務(wù)。
7.根據(jù)權(quán)利要求6所述的裝置,其特征在于,還包括:
第二劃分模塊,用于將所述待執(zhí)行任務(wù)劃分為多個的輸入文件;
讀取模塊,用于讀取所述輸入文件。
8.根據(jù)權(quán)利要求6或7所述的裝置,其特征在于,所述計算模塊,具體包括:
哈希運算子模塊,用于對所述多個分割集合中的每個鍵值對進行哈希運算,生成每個鍵值對的鍵值對應(yīng)的一個或多個哈希值;對每個reduce節(jié)點的地址進行哈希運算,生成每個reduce節(jié)點對應(yīng)的哈希值;
建立子模塊,用于根據(jù)每個鍵值對的鍵值對應(yīng)的每個哈希值和reduce節(jié)點對應(yīng)的哈希值,建立每個鍵值對的鍵值和reduce節(jié)點的映射關(guān)系。
9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述建立子模塊,具體用于:
獲取哈希值大于鍵值的哈希值的reduce節(jié)點;查找與所述鍵值的哈希值的差值最小的第一reduce節(jié)點;將所述鍵值映射到所述第一reduce節(jié)點上。
10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述每個reduce節(jié)點的地址為所述每個reduce節(jié)點的IP地址或MAC地址。