阅读背景:

Hadoop单节点中副本存放策略

来源:互联网 

       在实际的大数据生产环境中,每个数据节点也就是DataNode,会配置多个数据磁盘,每个磁盘对应一个数据目录,将这些数据目录配置到DataNode的hdfs-site.xml(dfs.datanode.data.dir),使用逗号分隔多个数据目录,这样做的好处可以使数据节点的增加读写效率,毕竟每个目录对应单独的磁盘IO,不互相占用或竞争,也可以增加数据节点的高可用性,通过配置dfs.datanode.failed.volumes.tolerated参数,默认不配置的值为0,即不能容忍出现错误磁盘,如果出现则整个数据节点启动不了。此时如果数据节点有10块磁盘则可以配置容忍2-3块磁盘出现错误,如果大面积的同时出现磁盘错误则需要检查导致出错原因(同时出现的几率很小,如果同时出现则可能是由于外界原因导致,需要排查)。       在实际的大数据生产环境中,每个数据节点也就是DataNode,会配置多个数据磁盘




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: