阅读背景:

hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io"

来源:互联网 

毛病原文剖析

文件操作超租期,实际上就是data stream操作进程中文件被删掉了。通常是由于Mapred多个task操作同一个文件,一个task完成后删掉文件致使。这个毛病跟dfs.datanode.max.transfer.threads参数达到上限有关。这个是datanode同时处置要求的义务上限,总默许值是 4096,该参数取值规模[1 to 8192]文件操作超租期,实际上就是data stream操作进程中文件被删掉了。通常是由于




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: