当Spark Streaming的代码修改后启动时(directStream的高级api,信息保存在ck中)，反序列化Checkpoint目录中的数据失败，所以Kafka offset会丢失，此时不知道从哪里消费Kafka的数据，所以我们要将Kafka offset保存到ZooKeeper中一份，当Spark Streaming优雅停止后，删除Checkpoint目录然后从ZooKeeper中读取Kafka offset再启动SparkSteaming。 当Spark Streaming的代码修改后启动时(dire
阅读背景：
关于sparkstream代码更改，造成从ck里面启动不了了
来源：互联网
分享到：
