用mapreduce怎么處理數(shù)據(jù)傾斜問(wèn)題？調(diào)整參數(shù)設(shè)置hive.map.aggr=真；設(shè)置hive.groupby.skewindata=真 hive.map.aggr=真：部分聚合操作將在map中完

用mapreduce怎么處理數(shù)據(jù)傾斜問(wèn)題？

調(diào)整參數(shù)

設(shè)置hive.map.aggr=真；

設(shè)置hive.groupby.skewindata=真

hive.map.aggr=真：部分聚合操作將在map中完成，這樣效率更高，但需要更多內(nèi)存。

hive.groupby.skewindata=真：數(shù)據(jù)傾斜時(shí)的負(fù)載平衡。當(dāng)該選項(xiàng)設(shè)置為true時(shí)，生成的查詢計(jì)劃將有兩個(gè)mrjob。在第一個(gè)mrjob中，map的輸出結(jié)果集被隨機(jī)分配到reduce中，每個(gè)reduce都進(jìn)行部分聚合操作并輸出結(jié)果，這樣處理的結(jié)果就是可以將相同的groupby密鑰分配給不同的reduce，從而達(dá)到負(fù)載均衡的目的；在第二個(gè)mrjob中，根據(jù)預(yù)處理后的數(shù)據(jù)結(jié)果，將相同的groupby密鑰分發(fā)給不同的reduce密鑰分發(fā)進(jìn)行reduce（這個(gè)過(guò)程可以保證將相同的groupby密鑰分發(fā)給相同的reduce），最后完成最終的聚合操作。