hadoop mapreduce 如何处理跨行的文本数据

首先我们需要明确一个问题就是，hdfs中blocksize是物理概念是真的把数据进行了按块切分，而mapreduce 中的切片概念是逻辑层面的并没有真正按照切片大小对数据进行切分，只是按照预先规划好的切片数据根据偏移量读取数据，实现逻辑层面的分片。首先我们需要明确一个问题就是，hdfs中blocksize是物理概念是真的把数据进行了按块切分