Windows下Spark-mlib保存模型到本地报空指针解决方案
来源:互联网
一、问题描述
三、原因
在上述引用的文章中,大致讲了一个意思:在Windows操作系统中,Hadoop中初始发行版本中的bug,导致Hadoop中用于评估文件权限的功能不能正常运行。在执行作业的时候,存储到HDFS的路径依旧是可达的,(上述错误虽然存在,但依旧在相应路径下保存了spark mlib跑出来的模型,只不过是没有数据),但是map/reduce作业会执行失败。在上述引用的文章中,大致讲了一个意思:在Windows操作系统中,Hadoo