阅读背景:

Spark2.x(五十五):在spark structured streaming下sink file(parquet,csv等),正常运行一段时间后:清理掉checkpoint,重新启动app,无法sink记录(file)到hdfs。

来源:互联网 

场景:

在spark structured streaming读取kafka上的topic,然后将统计结果写入到hdfs,hdfs保存目录按照month,day,hour进行分区:在spark structured streaming读取kafka上的topic




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: