错误经过
在使用spark跑任务时,会报出如下的错误:
如图上所描述,是block出现了丢失的情况,联想到之前配置hadoop时,在webUI的50070端口查看live node时,5个节点的集群只显示3个live node,怀疑有可能是datanode出现了问题.如图上所描述,是block出现了丢失的情况,
在使用spark跑任务时,会报出如下的错误:
如图上所描述,是block出现了丢失的情况,联想到之前配置hadoop时,在webUI的50070端口查看live node时,5个节点的集群只显示3个live node,怀疑有可能是datanode出现了问题.如图上所描述,是block出现了丢失的情况,