flume安装及使用

　　最近在学习hadoop大数据平台，但是却感觉无从下手，于是看了一些专业的书籍，觉得还是先从下往上为学习也就是从源数据——数据抽取——存储——计算——展示这个路线来学习比较容易一些，所以就先从非结构化数据传输工具flume开始。下面介绍flume 的安装及简单使用

　　Flume是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具，下面是官方给出的一个工作流程图：

流程图中很清楚的描述了fluem的工作流程，落盘数据被读取到  agent的Source ，Source进入到指定的Channel  ，然后发送到指定的Sink  ，Sink发送到目标端。其中Source 可以对应多个Channel，但是sink只能绑定一个Channel。下面开始安装和初步试验。

前提准备：安装java JDK并配置好环境变量

一、官网下载安装包 https://flume.apache.org/ （不得不说，flume的官网真是技术官网典范）

二、将安装包上传到服务器 /opt/software/ 下 （无software的话需自行创建）

三、在/usr/local/下创建flume 文件夹

cd  /usr/local/
mkdir flume

四、将压缩包解压到/usr/local/ flume 下(注意tar包名称和路径)

tar -xzvf xxx.tar.gz -C   ./

解压后的文件夹结构如下

五、进入conf目录修改flume启动文件

cd conf/

　　

重命名将 flume-env.sh.template 改为 flume-env.sh

编辑flume-env.sh 配置JAVA_HOME 为jdk的安装目录

vim flume-env.sh

　

完毕！但是为了进一步验证flume工作是否正常，还需要做一个小场景的测试，就是使fluem 监听一个指定的端口，把从该端口收到的TCP协议的文本数据按行转换为Event，它能识别的是带换行符的文本数据，同其他Source一样，解析成功的Event数据会发送到channel中，然后在控制台打印，用到的source是 NetCat TCP Source，用到sink是Logger Sink 。

 六、安装netcat （用于向指定端口发送数据）

yum install –y nc

七、创建flume agent 配置文件 

在flume文件夹下创建 job文件夹（位置自定义），并在job文件夹下创建配置文件

mkdir  /usr/local/flume/job
cd job
touch netcat-flume-logger.conf

编辑配置文件，添加如下配置

vim netcat-flume-logger.conf

# example.conf: 一个单节点的 Flume 实例配置

# 配置Agent a1各个组件的名称
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 配置Agent a1的source r1的属性
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 配置Agent a1的sink k1的属性
a1.sinks.k1.type = logger

# 配置Agent a1的channel c1的属性，channel是用来缓冲Event数据的
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 把source和sink绑定到channel上
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

八、Fluem安装目录下启动fluem  agent     指定conf ，指定配置文件名，指定agent名称

bin/flume-ng agent --conf conf/ --conf-file ../job/netcat-flume-logger.conf  --name a1 -Dflume.root.logger=INFO,console

　　控制台打印 本机监听在44444端口，启动成功

九、使用netcat像fluem发送消息

重新开启一个终端 执行命令连接到44444端口，并发送消息

nc localhost 44444　　

发送消息 holle flume

控制台成功接收并打印

下一章记录如和配合hadoop平台使用，读取文件内容并发送到hdfs