阅读背景:

hive-调优笔记:JVM重用,并行执行、调整reducer个数的用处

来源:互联网 

解释:

1、JVM重用是hadoop调优参数的内容,对hive的性能具有非常大的影响,特别是对于很难避免小文件的场景或者task特别多的场景,这类场景大多数执行时间都很短。hadoop默认配置是使用派生JVM来执行map和reduce任务的,这是jvm的启动过程可能会造成相当大的开销,尤其是执行的job包含有成千上万个task任务的情况。1、JVM重用是hadoop调优参数的内容,对hive的性能具有非常大的影响,特别




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: