Flume exec 测试
环境:ubuntu 1604
软件:①apache-flume-1.7.0-bin.tar.gz,解压后放到 /usr/local/ 下面。②sudo apt-get install apache2,然后sudo service apache2 start 启动服务。--第二步是为了安装httpd服务器,CentOS上直接yum install httpd即可。
配置:
larry@linux:~/opt/flume-conf$ cat demo.properties
# 示例: 一个单节点的Flume 配置 # 命名该agent(a1)的components。
a1.sources = r1
a1.sinks = k1
a1.channels = c1 # 描述/配置 source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /var/log/apache2/access.log # 描述 sink
a1.sinks.k1.type = logger # 使用一个内存型 channel -- 能够缓存 events
a1.channels.c1.type = memory
a1.channels.c1.capacity =
a1.channels.c1.transactionCapacity = # 将 source和 sink 绑定到 channel。
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
这个配置,就是将tail命令产生的数据流发送到logger ,所以启动flume-ng的时候需要指定logger(因为默认的logger肯定不是输出到控制台的,而且级别也太高)。
启动:flume-ng agent --conf /usr/local/apache-flume-1.7.0-bin/conf --conf-file demo.properties --name a1 -Dflume.root.logger=INFO,console
--conf 是用于指定conf文件的路径,该路径通常包含了一些环境设置,即通用配置。
--conf-file 则是指定当前agent任务需要加载的配置文件。
--name 是指定加载--conf-file配置文件中的某个agent,这是因为一个配置文件可以有多组agent。
-Dflume.root.logger,其实是指定Java的选项,该选项会传递给Java程序。在这里,就是设置该应用的整体日志的级别和输出。
另外,需要注意flume-ng 后面的agent,不要忘记输入~
实验:浏览器访问 127.0.0.1,然后刷新、刷新、刷新。。
结果:

Flume exec 测试的更多相关文章
- 一次flume exec source采集日志到kafka因为单条日志数据非常大同步失败的踩坑带来的思考
本次遇到的问题描述,日志采集同步时,当单条日志(日志文件中一行日志)超过2M大小,数据无法采集同步到kafka,分析后,共踩到如下几个坑.1.flume采集时,通过shell+EXEC(tail -F ...
- 大数据笔记(十九)——数据采集引擎Sqoop和Flume安装测试详解
一.Sqoop数据采集引擎 采集关系型数据库中的数据 用在离线计算的应用中 强调:批量 (1)数据交换引擎: RDBMS <---> Sqoop <---> HDFS.HBas ...
- Flume 测试 Kafka 案例
Flume Kafka 测试案例,Flume 的配置. a1.sources = s1 a1.channels = c1 a1.sinks = k1 a1.sources.s1.type = netc ...
- Apache Flume 简介
转自:http://blog.163.com/guaiguai_family/blog/static/20078414520138100562883/ Flume 是 Cloudera 公司开源出来的 ...
- Flume环境搭建_五种案例
Flume环境搭建_五种案例 http://flume.apache.org/FlumeUserGuide.html A simple example Here, we give an example ...
- Flume篇---Flume安装配置与相关使用
一.前述 Copy过来一段介绍Apache Flume 是一个从可以收集例如日志,事件等数据资源,并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务,或者数集中机制.flume具有高可用, ...
- nginx+ flume
nginx 作用: 做负载均衡 nginx和lvs的区别:nginx可以做反向代理 1.上传nginx安装包 tar -zxvf tengine-2.1.02.安装环境 依赖 gcc opens ...
- Hadoop生态圈-Flume的组件之自定义Sink
Hadoop生态圈-Flume的组件之自定义Sink 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要介绍sink相关的API使用两个小案例,想要了解更多关于API的小技 ...
- Flume环境搭建_五种案例(转)
Flume环境搭建_五种案例 http://flume.apache.org/FlumeUserGuide.html A simple example Here, we give an example ...
随机推荐
- Asp.Net计算程序执行速度
long t1 = DateTime.Now.Ticks; //执行程序,例如处理100个文件 long t2 = DateTime.Now.Ticks; Response.Write("执 ...
- CR, LF, CR/LF 回车 换行
[时间:2016-07] [状态:Open] 本文主要介绍"回车"(Carriage Return)和"换行"(Line Feed)这两个概念的来历和区别. C ...
- Python利用jieba获取中文词汇等
import jieba import os import jieba.analyse data = cleaned_comments # 数据来源于评论数据 seg = jieba.lcut(dat ...
- 如何在Oracle中一次执行多条sql语句 (.net C#)
关键是不能换行,要加上begin ...sql... end; 每个SQL用:隔开,end后面必须加: 以下是拷贝于:http://www.cnblogs.com/teamleader/arc ...
- 【机器学习】EM的算法
EM的算法流程: 初始化分布参数θ: 重复以下步骤直到收敛: E步骤:根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率,其实就是隐性变量的期望.作为隐藏变量的现估计值: ...
- weblogic域备份脚本
一直一来,由于空间问题,weblogic域很少备份,偶尔会手动备份一次,这运维做得不称职,今天有时间,写个小脚本来定时备份. 1.脚本备份文件目录结构 [weblogic@mylinux ~]$ tr ...
- css3 data-attribute属性打造漂亮的按钮
之前介绍了几款css3实现的按钮,今天为网友来款比较新鲜的,用css3的data-attribute属性开发按钮,当鼠标经过显示按钮的详细信息.而且实现过程很简单,几行代码就搞定.大家试一试吧.如下图 ...
- xorm的sql builder
最近在使用xorm,并使用了sql builder来构建sql查询没想到升级后原来可以使用的代码居然报错了. 0x00 代码 sql, args, _ := builder.Select(" ...
- 【微信小程序】scroll-view与Page下拉冲突
需求:主界面是个列表.列表可以纵向滑动,下拉添加新的条目Item.每个条目Item可以横向滑动. 发现做下拉时,用Page的enablePullDownRefresh和scroll-view条目的横向 ...
- PostgreSQL存储过程<转>
原创文章,转载请务必将下面这段话置于文章开头处(保留超链接).本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/27/SQL4_存储过程_St ...