Hadoop作为大数据处理的典型平台，在海量数据处理过程中，其主要限制因素是节点之间的数据传输速率。因为集群的带宽有限，而有限的带宽资源却承担着大量的刚性带宽需求，例如Shuffle阶段的数据传输不可避免，所以如何优化带宽资源的占用是一个值得思考的问题。仔细思考下，Hadoop数据传输的需求主要表现在几个方面： Hadoop作为大数据处理的典型平台，在海量数据处理过程中，其主要限制因素是节点之间的数据
阅读背景：
【原创】Hadoop机架感知对性能调优的理解
来源：互联网
分享到：
