介绍
在做Shuffle阶段的优化进程中，遇到了数据倾斜的问题，造成了对一些情形下优化后果不显著。重要是由于在Job完成后的所得到的Counters是全部Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的缘由造成map处置数据量的差别过大，使得这些平均值能代表的价值下降。Hive的履行是分阶段的，map处置数据量的差别取决于上一个stage的reduce输出，所以如何将数据均匀的分配到各个reduce中，就是解决数据倾斜的基本所在。规避毛病来更好的运行比解决毛病更高效。在查看了一些资料后，总结以下。在
