阅读背景:

比reduceByWindow更高效的reduceByKeyAndWindow()的实现版本

来源:互联网 
总的来说:SparkStreaming提供这个方法主要是出于效率考虑。 比如说我要每10秒计算一下前15秒的内容,(每个batch 5秒), 可以想象每十秒计算出来的结果和前一次计算的结果其实中间有5秒的时间值是重复的。 SparkStreaming提供这个方法主要是出于效率考虑。 比如说我要每10秒计算一下前


你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: