由于目前每天须要从kafka中花费20亿条左右的资讯，集群压力有点大，会致使job不同水平的异常退出。本来应用spark1.1.0版本中的createStream函数，但是在数据处置速度跟不上数据花费速度且job异常退出的情形下，可能造成大批的数据丧失。幸亏，spark后续版本对这一情形有了很大的改良，1.2版本参加WAL特征，但是性状应当会遭到一些影响（本人未测试），1.3版本可以直接通太低阶API从kafka的topic花费资讯，并且不再向zookeeper中更新consumer offsets，使得基于zookeeper的consumer offsets的监控工具都会失效。 由于目前每天须要从kafka中花费20亿条左右的资讯，集群压力有点大，会致使job不同
阅读背景：
spark streaming kafka1.4.1中的低阶api createDirectStream使用总结
来源：互联网
分享到：
