flume复习(一)

　关于flume官方文档介绍可以去：http://flume.apache.org/看看。接下来就介绍一下关于我个人对flume的理解

---

　　一、flume介绍：

　　1.flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统并且可以进行在线分析。

　　2.支持在日志系统中定制各类数据发送方，用于收集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

　　3.flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

　　4.flume名词解释。

　　Client：Client生产数据，运行在一个独立的线程。

　　Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。）

　　Flow： Event从源点到达目的点的迁移的抽象。

　　Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。）

　　Source： 数据收集组件。（source从Client收集数据，传递给Channel）

　　Channel： 中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接 sources 和 sinks ，这个有点像一个队列。）

　　Sink： 从Channel中读取并移除Event， 将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）

---

二、flume核心结构

　　1.Agent：flume运行的核心是agent，运行的最小单位也是agent，一个flume就是一个JVM，他是一个完整的数据收集工具，包含有3个核心组件，source,channel和sink。一个时间Event可以从一个方向流向另一个方向。如下图所示：

2.source:数据的收集端。负责将数据捕获后进行特殊的格式化。source将数据封装到事件(Event)里，然后推入到Channel中，Flume提供了很多内置的Source， 支持 Avro， log4j， syslog 和 http post(body为json格式)。可以让应用程序同已有的Source直接打交道，如AvroSource，SyslogTcpSource。 如果内置的Source无法满足需要， Flume还支持自定义Source。

　　　　

3.channel:接Source和Sink的组件。数据流的临时存放地，对source中的数据进行缓冲，直到sink将其消费掉。

4.sink:从channel提取数据存放到中央化存储(hadoop/hbase)

---

三、flume命令和配置

1.flume安装

　　1.下载
　　2.tar
　　3.环境变量
　　4.验证flume是否成功
　　　　$>flume-ng version //next generation.下一代.

2.配置flume   []

　　命名agent上的组件

　　a1.sources=r1;　　//所有的源

　　a1.sinks=k1;　　　//所有的sink

　　a1.channels=c1;　//所有的channel

　　描述源的配置

　　a1.sources.r1.type=netcat;　　//源的类型是瑞士军刀

　　a1.sources.r1.bind=localhost;　　//绑定本机

　　a1.sources.r1.port=44444;　　//绑定44444端口

　　描述sink

　　a1.sinks.k1.type=loggger;　　//将通道中提取的数据存储到日志中去

　　使用在内存中进行缓冲的通道

　　a1.channels.c1.type=memory;　　//

　　a1.channels.c1.capacity=1000;　　//内存中可以存储1000个事件　　

　　a1.channels.c1.transactionCapacity = 100;　　//

　　把源和通道以及sink和通道进行绑定

　　a1.sources.r1.channels=c1;　　//一个源可以有多个通道

　　a1.sinks.k1.channel=c1;　　　　//一个sink只能有一个通道

3.运行flume

　　1)启动flume agent

　　　　$> bin/flume-ng agent -f /soft/flume/conf/hello.conf  -n a1 -Dflume.root.logger=INFO,console

　　　　开启这个端口来接收来自8888端口的数据

　　2）打开netcat,nc localhost 8888

---

四、测试source

1.配置seq压力源(源测试)

　　a1.sources = r1
　　a1.channels = c1
　　a1.sinks = k1

　　a1.sources.r1.type=seq
　　a1.sources.r1.totalEvents=1000

　　a1.sinks.k1.type=logger

　　a1.channels.c1.type=memory

　　a1.sources.r1.channels=c1

2.批量收集文件

　　监控一个文件夹，静态文件。在收集完成之后会重命名为一个新的文件.compeleted

　　1.配置文件[spool-r.conf]　

　　a1.sources=r1
　　a1.channels=c1;
　　a1.sinks=k1

　　a1.sources.r1.type=spooldir
　　a1.sources.r1.spoolDir=/home/centos/spool
　　a1.sources.r1.fileHeader=true

　　a1.sinks.k1.type=loger
　　a1.channels.c1.type=memory

　　a1.sources.c1.channels=c1;
　　a1.sinks.c1.channel=c1;

　　2.创建目录

　　$>mkdir ~/spool

　　3.启动flume

　　$>bin/flume-ng agent -f /soft/flume/conf/spooldir-r.conf  -n a1 -Dflume.root.logger=INFO,console

3.实时日志收集exec（对文件进行实时监控）　　

　　1.配置文件[exec-r.conf]　

　　a1.sources=r1
　　a1.sinks=k1
　　a1.channels=c1

　　a1.sources.r1.type=exec
　　a1.sources.r1.command=tail -F /home/centos/test.txt

　　a1.sinks.k1.type=logger
　　a1.channels.c1.type=memory

　　a1.sources.r1.channels=c1
　　a1.sinks.k1.channel=c1

　　2.启动flume

　　$>flume-ng agent -f /soft/flume/conf/exec-r.conf -n a1 -Dflume.root.logger=INFO,console

　　3.在/home/centos下写文件

　　　　$>touch test.txt

　　　　$>echo hello world >> test.txt

---

五、.测试sink

　　1.hdfs

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 8888

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /user/centos/flume/%y-%m-%d/%H/%M/%S
a1.sinks.k1.hdfs.filePrefix = events-

#是否舍弃，每十分钟会产生一个新的目录
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = day
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=30
a1.sinks.k1.hdfs.rollCount=3

a1.channels.c1.type = memory

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

　　2.hbase

a1.sources=r1

a1.channels=c1

a1.sinks=k1

a1.sources.r1.type=netcat

a1.sources.r1.bind=localhost

a1.sources.r1.port=8888

a1.sinks.k1.type=hbase

a1.sinks.k1.table=ns1:t2

a1.sinks.k1.columnFamily=f1

a1.sinks.k1.serializer = org.apache.flume.sink.hbase.RegexHbaseEventSerializer

a1.channels.c1.types=memory

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

　　3.从source到channels的过程

　　

数据从外部进入到源source中来，

　　4.使用avroSource和avroSink实现越点(agent)代理

--------------------------------------------

　　1.创建配置文件　　　

#a1
a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=8888

a1.sinks.k1.type=avro
a1.sinks.k1.hostname=localhost
a1.sinks.k1.port=9999

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

#a2
a1.sources=r2
a1.sinks=k2
a1.channels=c2

a1.sources.r2.type=avro
a1.sources.r2.bind=localhost
a1.sources.r2.port=9999

a2.sinks.k2.type=logger

a2.channels.c2.type=memory

a2.sources.r2.channels=c2
a2.sinks.k2.channel=c2

　　2.启动a2:flume-ng agent -f /soft/flume/conf/avro_hop.conf -n a2 -Dflume.root.logger=INFO,console

　　3.验证a2是否开启

　　　　$>netstat -anop | grep 9999

　　4.开启a1.flume-ng agent -f /soft/flume/conf/avro_hop.conf -n a1

　　　　验证是否开启：$>netstat -anop | grep 8888

5.channels

--------------------------------------------------------

　　1.memory

　　　　

　　2.FileChannel

　　　　a1.sources=r1
　　　　a1.sinks=k1
　　　　a1.channels=c1

　　　　a1.channels=c1

　　　　a1.channels.c1.type=file

　　　　a1.channels.c1.checkpointDir=/home/centos/flume/fc_check

　　　　a1.channels.c1.dataDirs=/home/centos/flume/fc_data