阅读背景:

Flink事件时间和水印详解_长臂人猿的博客_flink 水印

来源:互联网 

前言

Flink使用版本:1.12.1。

  水印是一个标记的时间戳,是一个标记:意味着水印代表时间前的数据均已到达(人为的设定——开发人员可以控制延迟和完整性之间的权衡),这一点水印保障了乱序问题的解决(这很重要,特别是多分区kafka消费)。因为在流处理中,面对乱序问题,你不可能一直等待数据的到达而不去对数据进行操作(尤其像是聚合操作这类操作)。故此面对超时到达的数据你必须进行处理,如何判断超时数据——水印,你也可以设置一定的延迟时间。这两点(解决乱序;允许延迟)也是水印的主要功能。第二点通常与窗口一起使用:水印能拒绝过期数据,但是不能将流式数据进行“短暂”的“批处理”,所以用到窗口。  水印是一个标记的时间戳,是




你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: