阅读背景:

day007flume

来源:互联网 

1.Flume介绍

flume:是一个分布式的数据采集系统。

flume的主要作用:最主要的就是收集日志文件。

现在采用的是ng版本,是cloudera公司作为自身一款产品开发的。



flume的运行机制

最核心的角色:agent(代理),由我们设定一个数据收的方式,一个代理代表一个服务

agent的组成:

    source:指定从什么地方进行数据数据,指定数据源

    channel:管道(信道),用于source和sink之间数据的传递。

                event:传递的数据,传递的都是一个个的event

    sink:(水槽),数据的下沉点,就是数据最终保存到什么位置 。flume:是一个分布式的数据采集系统。

flume的主要作用:最主要



你的当前访问异常,请进行认证后继续阅读剩余内容。

分享到: