想要使用多个 logstash 端协同消费同一个 topic 的话，那么需要把两个或是多个 logstash 消费端配置成相同的 group_id 和 topic_id ， 但是前提是要把 相应的 topic 分多个 partitions (区) ，多个消费者消费是无法保证消息的消费顺序性的。这里解释下，为什么要分多个 partitions(区) ， kafka 的消息模型是对 topic 分区以达到分布式效果。每个 topic 下的不同的 partitions (区) 只能有一个 Owner 去消费。所以只有多个分区后才能启动多个消费者，对应不同的区去消费。其中协调消费部分是由 server 端协调而成。不必使用者考虑太多。只是 消息的消费则是无序的 。 想要使用多个 logstash 端协同消费同一个 topic 的话，那么需要把两个或是
阅读背景：
logstash读取kafka数据插件
来源：互联网
想要使用多个 logstash 端协同消费同一个 topic 的话，那么需要把两个或是多个 logstash 消费端配置成相同的 group_id 和 topic_id ， 但是前提是要把 相应的 topic 分多个 partitions (区) ，多个消费者消费是无法保证消息的消费顺序性的。这里解释下，为什么要分多个 partitions(区) ， kafka 的消息模型是对 topic 分区以达到分布式效果。每个 topic 下的不同的 partitions (区) 只能有一个 Owner 去消费。所以只有多个分区后才能启动多个消费者，对应不同的区去消费。其中协调消费部分是由 server 端协调而成。不必使用者考虑太多。只是 消息的消费则是无序的 。 想要使用多个 logstash 端协同消费同一个 topic 的话，那么需要把两个或是
分享到：
