在hadoop和hbase文件传输可以在压缩之后在进行传输，这样就可以在传输的时候减少传输数据，增大I/O和带宽效率。其中压缩阶段分为三种：包括input data压缩，middle result by map还有最后一种就是reduce之后的最终结果。在hadoop中主要提供了三种压缩方式Gzip、LZO、Snappy三种数据压缩。后面两种需要额外的配置和安装依赖。但是，在hadoop中默认都已经实现接口。但是如果你不进行相应的安装依赖，当你想使用某个压缩手段的时候还是会报出各种错误。在hadoop和hbase文件传输可以在压缩之后在进行传输，这样就可以在传输的时候减少传输数据
阅读背景：
【Hadoop/Hbase】centos上安装并设置Snappy/LZO压缩方式
来源：互联网
分享到：
