flume简介

组件介绍：

代理 Flume Agent

 Flume内部有一个或者多个Agent
 每一个Agent是一个独立的守护进程（JVM）
 从客户端哪儿接收收集，或者从其他的Agent哪儿接收，然后迅速的将获取的数据传到下一个目的节点Agent
 Agent主要由source、channel、sink三个组件组成。

agent source

 一个flume源
 负责一个外部源（数据生成器），如一个web服务器传递给他的事件
 该外部源将它的事件以flume可以识别的格式（event）发送到flume中
 当一个flume源接收到一个事件时，其将通过一个或多个通道存储该事件

agent channel

 通道: 采用被动存储的形式，即通道会缓存该事件直到该事件被sink组件处理
 所以Channel是一种短暂的存储容器，它将从source处接收到的event格式的数据缓存起来，直到它们被sinks消费掉它在source和sink间起着一共桥梁的作用,
  channel是一个完整的事务，这一点保证了数据在收发的时候的一致性.并且它可以和任意数量的source和sink链接
 可以通过参数设置event的最大个数
 Flume通常选择FileChannel,而不使用Memory Channel。
   Memory Channel: 内存存储事务，吞吐率极高，但存在丢数据风险
   File Channel: 本地磁盘的事务实现模式，保证数据不会丢失(WAL实现)

监控网络端口使用

netcat

 # example.conf: A single-node Flume configuration

 # Name the components on this agent
 a1.sources = r1
 a1.sinks = k1
 a1.channels = c1

 # Describe/configure the source
 a1.sources.r1.type = netcat
 a1.sources.r1.bind = localhost
 a1.sources.r1.port = 44444

 # Describe the sink
 a1.sinks.k1.type = logger

 # Use a channel which buffers events in memory
 a1.channels.c1.type = memory
 a1.channels.c1.capacity = 1000
 a1.channels.c1.transactionCapacity = 100

 # Bind the source and sink to the channel
 a1.sources.r1.channels = c1
 a1.sinks.k1.channel = c1

启动命令：flume-ng agent -n a1 -c $FLUME_HOME/conf -f $FLUME_HOME/conf/example.conf -Dflume.root.logger=INFO,console

监控具体文件使用

exec

 # Name the components on this agent
 a1.sources = r1
 a1.sinks = k1
 a1.channels = c1

 # Describe/configure the source
 a1.sources.r1.type = exec
 a1.sources.r1.command = tail -F /home/log/data.log
 a1.sources.r1.shell = /bin/bash -c

 # Describe the sink
 a1.sinks.k1.type = logger

 # Use a channel which buffers events in memory
 a1.channels.c1.type = memory

 # Bind the source and sink to the channel
 a1.sources.r1.channels = c1
 a1.sinks.k1.channel = c1

启动命令：flume-ng agent -n a1 -c $FLUME_HOME/conf -f $FLUME_HOME/conf/exec-memory-logger.conf -Dflume.root.logger=INFO,console

flume监控日志文件并持久化到hdfs

 # Name the components on this agent
 a1.sources = r1
 a1.sinks = k1
 a1.channels = c1

 # Describe/configure the source
 a1.sources.r1.type = exec
 a1.sources.r1.command = tail -F /home/data/data.log
 a1.sources.r1.channels = c1

 # Describe the sink
 a1.sinks.k1.type = hdfs
 a1.sinks.k1.channel = c1
 a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/
 a1.sinks.k1.hdfs.filePrefix = events-
 a1.sinks.k1.hdfs.fileType=DataStream
 a1.sinks.k1.hdfs.useLocalTimeStamp = true  #必须得写 应为14行用到时间数据

 # Use a channel which buffers events in memory
 a1.channels.c1.type = memory

 # Bind the source and sink to the channel
 a1.sources.r1.channels = c1
 a1.sinks.k1.channel = c1

别人写的

 # Name the components on this agent
 a1.sources = r1
 a1.sinks = k1
 a1.channels = c1

 # Describe/configure the source
 ## exec表示flume回去调用给的命令，然后从给的命令的结果中去拿数据
 a1.sources.r1.type = exec
 ## 使用tail这个命令来读数据
 a1.sources.r1.command = tail -F /home/tuzq/software/flumedata/test.log
 a1.sources.r1.channels = c1

 # Describe the sink
 ## 表示下沉到hdfs，类型决定了下面的参数
 a1.sinks.k1.type = hdfs
 ## sinks.k1只能连接一个channel，source可以配置多个
 a1.sinks.k1.channel = c1
 ## 下面的配置告诉用hdfs去写文件的时候写到什么位置，下面的表示不是写死的，而是可以动态的变化的。表示输出的目录名称是可变的
 a1.sinks.k1.hdfs.path = /flume/tailout/%y-%m-%d/%H%M/
 ##表示最后的文件的前缀
 a1.sinks.k1.hdfs.filePrefix = events-
 ## 表示到了需要触发的时间时，是否要更新文件夹，true:表示要
 a1.sinks.k1.hdfs.round = true
 ## 表示每隔1分钟改变一次
 a1.sinks.k1.hdfs.roundValue = 1
 ## 切换文件的时候的时间单位是分钟
 a1.sinks.k1.hdfs.roundUnit = minute
 ## 表示只要过了3秒钟，就切换生成一个新的文件
 a1.sinks.k1.hdfs.rollInterval = 3
 ## 如果记录的文件大于20字节时切换一次
 a1.sinks.k1.hdfs.rollSize = 20
 ## 当写了5个事件时触发
 a1.sinks.k1.hdfs.rollCount = 5
 ## 收到了多少条消息往dfs中追加内容
 a1.sinks.k1.hdfs.batchSize = 10
 ## 使用本地时间戳
 a1.sinks.k1.hdfs.useLocalTimeStamp = true
 #生成的文件类型，默认是Sequencefile，可用DataStream：为普通文本
 a1.sinks.k1.hdfs.fileType = DataStream

 # Use a channel which buffers events in memory
 ##使用内存的方式
 a1.channels.c1.type = memory
 a1.channels.c1.capacity = 1000
 a1.channels.c1.transactionCapacity = 100

 # Bind the source and sink to the channel
 a1.sources.r1.channels = c1
 a1.sinks.k1.channel = c1