项目说明
首先需要说明的是hadoop集群的情况。一共有5台服务器,其中一台作为namenode,另四台是datenode节点。项目具体什么内容不便透露,但是用hadoop集群跑了12个小时,跑完的结果文件有280G,共几亿条数据,也算和大数据沾点边吧。写这篇博客的目的也是为了记录下期间遇到的问题及解决办法,不至于以后再用的时候仍是一片茫然。首先需要说明的是hadoop集群的情况。一共有5台服务器,其中一台作为namenode,另四
首先需要说明的是hadoop集群的情况。一共有5台服务器,其中一台作为namenode,另四台是datenode节点。项目具体什么内容不便透露,但是用hadoop集群跑了12个小时,跑完的结果文件有280G,共几亿条数据,也算和大数据沾点边吧。写这篇博客的目的也是为了记录下期间遇到的问题及解决办法,不至于以后再用的时候仍是一片茫然。首先需要说明的是hadoop集群的情况。一共有5台服务器,其中一台作为namenode,另四