hive執(zhí)行作業(yè)時(shí)reduce任務(wù)個(gè)數(shù)設(shè)置為多少合適？設(shè)置減速器的數(shù)量會(huì)極大地影響執(zhí)行效率配置單元執(zhí)行減速機(jī). 字節(jié)/減速機(jī)（默認(rèn)值為1000^3）2配置單元執(zhí)行減速機(jī). max（默認(rèn)值為999）計(jì)算

hive執(zhí)行作業(yè)時(shí)reduce任務(wù)個(gè)數(shù)設(shè)置為多少合適？

設(shè)置減速器的數(shù)量會(huì)極大地影響執(zhí)行效率配置單元執(zhí)行減速機(jī). 字節(jié)/減速機(jī)（默認(rèn)值為1000^3）

2配置單元執(zhí)行減速機(jī). max（默認(rèn)值為999）計(jì)算減速器數(shù)量的公式非常簡(jiǎn)單：n=min（參數(shù)2，總輸入數(shù)據(jù)/參數(shù)1）。通常，需要手動(dòng)指定減速器的數(shù)量。考慮到map級(jí)的輸出數(shù)據(jù)量通常遠(yuǎn)小于輸入級(jí)的數(shù)據(jù)量，即使沒有設(shè)置減速器的數(shù)量，也有必要重置參數(shù)2。根據(jù)Hadoop的經(jīng)驗(yàn)，參數(shù)2可以設(shè)置為0.95*（集群中tasktracker的數(shù)量）。正確的reduce任務(wù)數(shù)應(yīng)為0.95或1.75×（節(jié)點(diǎn)數(shù)×）mapred.tasktracker.tasks任務(wù). 最大參數(shù)值）