代码目的是在datafram filter算子内进行数据的检测，需要在算子内部根据数据的不同调用不同hdfs不同路径的模型，在初始化hdfs fileSystem时需要用到hadoopConfiguration对象，问题来了，在算子内部引用sparkSession的属性时，只有sparkSession有值，saprkSession.sparkContext, sparkSession.sparkContext.hadoopConfiguration则为null，算子外部则都正常，试过在算子外部定义号hdfs fileSystem，在内部引用，则会出现hdfs fileSystem未序列化异常。测试代码和log如下，为方便理解log经过剪切。百度，谷歌相关问题几乎没有。。。麻烦各位大神了。
代码目的是在datafram filter算子内进行数据的检测，需要在算子内部根据数据的不同调
阅读背景：
spark scala算子内部引用sparkSession属性为空
来源：互联网
分享到：
