1. 概念
1. Kafka是一个分布式的基于发布/订阅的消息队列,应用于大数据实时处理。
1.1 消息队列就是为了让消费者跟生产者解耦,实现高效,但是安全性肯定降低,需要额外处理。
1.2 大数据一般处理流程:日志收集者(flume) ---> Kafka ---> 消息消费者(spark、flink)。
1.3 消息队列分两种:
1.3.1 点对点(一对一)
1.3.2 发布/订阅(一对多)
2. 架构
1. 概念
1. Kafka是一个分布式的基于发布/订阅的消息队列,应用于大数据实时处理。
1.1