阅读背景:

关于mapreduce读取文件分片会不会断行

来源:互联网 

大家在接触mapreduce时,对于一个文件要分片,在分片末尾会不会有一条记录被拆开,从而导致map端在输入的时候,会不会有一行记录是不完整的疑惑,其实这肯定是不可能,如果这样的问题没有解决,那在生产生活中肯定是经常遇到,所以hadoop源码中肯定有这方面的处理,今天就带大家看看mapreduce中的源码,我们这次看的是hadoop2.8版本的,其他版本差距不大。大家在接触mapreduce时,对于一个文件要分片,在分片末尾会不会有一条记录被拆开,从而导致map




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: