flume 搭建

Flume使用

1安装及修改初始环境

安装见：http://blog.csdn.net/qianshangding0708/article/details/48088611

配置在conf目录下配置如下

配置flume-env-sh.template文件修改JAVA_HOME的配置 export JAVA_HOME=java的根目录

2.2 新建agent配置文件

将日志文件写入到hadoop中去

vim  flume-conf.properties文见内容如下

本文是将/opt/webapp/sop/logs/catalina.out文件写入hdfs中

3 flume 日志文件案例

3.1 tomcat日志

例子场景描述：将tomcat的日志收集到指定的目录，tomcat 安装在/opt/webapp, 日志存放在/data/logs/flume 下面。

编辑文件tomcat.conf 如下：

配置agent 将tomcat日志

3.2 启动agent 命令

Flume-ng agent --conf conf --conf-file tomcat.conf --name agent1 -Dflume.root.logger=INFO,console

flume-ng agent -f conf/tomcat.conf -n agent1 -Dflume.root.logger=INFO,console

Flume-ng agent：内置命令

-f ：指定配置文件

-n : 配置文件中指定的agent名称

-Dflume.root.looger : 控制台显示的日志级别

查看 /data/logs/flume  文件目录下的文件

4 更多配置详解地址

http://www.jb51.net/article/53542.htm