spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable
来源:互联网
出现“task not serializable"这个错误,一般是因为在map、filter等的参数使用了外部的变量,但是这个变量不能序列化。特别是当引用了某个类(经常是当前类)的成员函数或变量时,会导致这个类的所有成员(整个类)都需要支持序列化。解决这个问题最常用的方法有: 出现“task not serializable"这个错误,一般是因为在map、filter等的参