Flume线上日志采集【模板】
Flume线上日志采集【模板】
预装软件
Java
HDFS
Lzo/Lzop
系统版本
Flume 1.5.0-cdh5.4.0
系统流程图
flume-env.sh配置文件
export JAVA_HOME=/usr/local/jdk1.7.0_55
export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"
单机版写HDFS配置文件
[root@bs038 conf]# more flume_directHDFS.conf
#Define agent
agent1.channels=ch1
agent1.sources=avro-source1
agent1.sinks=log-sink1
#Defineamemorychannelcalledch1onagent1
agent1.channels.ch1.type=memory
agent1.channels.ch1.capacity=100000
agent1.channels.ch1.transactionCapacity=100000
agent1.channels.ch1.keep-alive=30
agent1.sources.avro-source1.interceptors = i1
agent1.sources.avro-source1.interceptors.i1.type = timestamp
#definesourcemonitorafile
agent1.sources.avro-source1.type=exec
agent1.sources.avro-source1.shell=/bin/bash -c
#agent1.sources.avro-source1.command=tail-n+0-F/home/storm/tmp/id.txt
agent1.sources.avro-source1.command=tail -F test.log
agent1.sources.avro-source1.channels=ch1
agent1.sources.avro-source1.threads=5
#Definealoggersinkthatsimplylogsalleventsitreceives
#andconnectittotheotherendofthesamechannel.
agent1.sinks.log-sink1.channel=ch1
agent1.sinks.log-sink1.type=hdfs
agent1.sinks.log-sink1.hdfs.path=/user/hadoop/cndns/flume/%Y%m%d%M
agent1.sinks.log-sink1.hdfs.writeFormat=Text
agent1.sinks.log-sink1.hdfs.filePrefix=cdns
agent1.sinks.log-sink1.hdfs.inUseSuffix=.tmp
#agent1.sinks.log-sink1.hdfs.fileType=DataStream
agent1.sinks.log-sink1.hdfs.fileType=CompressedStream
agent1.sinks.log-sink1.hdfs.codeC=lzop
agent1.sinks.log-sink1.hdfs.rollInterval=0
agent1.sinks.log-sink1.hdfs.rollSize=67108864
agent1.sinks.log-sink1.hdfs.rollCount=0
agent1.sinks.log-sink1.hdfs.batchSize=1000
agent1.sinks.log-sink1.hdfs.txnEventMax=1000
agent1.sinks.log-sink1.hdfs.callTimeout=60000
agent1.sinks.log-sink1.hdfs.appendTimeout=60000
终端配置文件
[root@bs038 conf]# more agent038.conf
agent1.sources = avro-source1
agent1.sinks = k1
agent1.channels = c1
agent1.sinks.k1.type = avro
agent1.sinks.k1.hostname = bs022.zx.nicx.cn
agent1.sinks.k1.port = 44444
#Defineamemorychannelcalledch1onagent1
agent1.channels.ch1.type=memory
agent1.channels.ch1.capacity=100000
agent1.channels.ch1.transactionCapacity=100000
agent1.channels.ch1.keep-alive=30
agent1.sources.avro-source1.interceptors = i1
agent1.sources.avro-source1.interceptors.i1.type = timestamp
agent1.sources.avro-source1.type=exec
agent1.sources.avro-source1.shell=/bin/bash -c
agent1.sources.avro-source1.command=tail -F test.log
agent1.sources.avro-source1.channels=ch1
agent1.sources.avro-source1.threads=5
agent1.channels.c1.type = file
agent1.channels.c1.checkpointDir = flume.checkpoint
agent1.channels.c1.dataDirs = flume.data
agent1.channels.c1.capacity = 200000000
agent1.channels.c1.keep-alive = 30
agent1.channels.c1.write-timeout = 30
agent1.channels.c1.checkpoint-timeout=600
agent1.sources.avro-source1.channels = c1
agent1.sinks.k1.channel = c1
中间传输流配置文件
agent2.sources = r2
agent2.sinks = k2
agent2.channels = c2
agent2.sources.r2.type = avro
agent2.sources.r2.bind = bs022.zx.nicx.cn
agent2.sources.r2.port = 44444
agent2.sinks.k2.type = avro
agent2.sinks.k2.hostname = bs042.zx.nicx.cn
agent2.sinks.k2.port = 55555
agent2.channels.c2.type = file
agent2.channels.c2.checkpointDir = flume.checkpoint
agent2.channels.c2.dataDirs = flume.data
agent2.channels.c2.capacity = 200000000
agent2.channels.c2.keep-alive = 30
agent2.channels.c2.write-timeout = 30
agent2.channels.c2.checkpoint-timeout=600
agent2.sources.r2.channels = c2
agent2.sinks.k2.channel = c2
写HDFS配置文件
[root@bs042 flume-ng-1.5.0-cdh5.4.0]# more conf/agent042.conf
#Define agent
agent1.channels=ch1
agent1.sources=avro-source1
agent1.sinks=log-sink1
#definesourcemonitorafile
agent1.sources.avro-source1.type = avro
agent1.sources.avro-source1.bind = bs042.zx.nicx.cn
agent1.sources.avro-source1.port = 55555
agent1.sources.avro-source1.interceptors = i1
agent1.sources.avro-source1.interceptors.i1.type = timestamp
#Definealoggersinkthatsimplylogsalleventsitreceives
#andconnectittotheotherendofthesamechannel.
agent1.sinks.log-sink1.channel=ch1
agent1.sinks.log-sink1.type=hdfs
agent1.sinks.log-sink1.hdfs.path=/user/hadoop/cndns/flume/%Y%m%d
agent1.sinks.log-sink1.hdfs.writeFormat=Text
agent1.sinks.log-sink1.hdfs.filePrefix=cdns
agent1.sinks.log-sink1.hdfs.inUseSuffix=.tmp
#agent1.sinks.log-sink1.hdfs.fileType=DataStream
agent1.sinks.log-sink1.hdfs.fileType=CompressedStream
agent1.sinks.log-sink1.hdfs.codeC=lzop
agent1.sinks.log-sink1.hdfs.rollInterval=0
agent1.sinks.log-sink1.hdfs.rollSize=67108864
agent1.sinks.log-sink1.hdfs.rollCount=0
agent1.sinks.log-sink1.hdfs.batchSize=1000
agent1.sinks.log-sink1.hdfs.txnEventMax=1000
agent1.sinks.log-sink1.hdfs.callTimeout=60000
agent1.sinks.log-sink1.hdfs.appendTimeout=60000
#Defineamemorychannelcalledch1onagent1
agent1.channels.ch1.type = file
agent1.channels.ch1.checkpointDir = flume.checkpoint
agent1.channels.ch1.dataDirs = flume.data
agent1.channels.ch1.capacity = 200000000
agent1.channels.ch1.keep-alive = 30
agent1.channels.ch1.write-timeout = 30
agent1.channels.ch1.checkpoint-timeout=600
agent1.sources.avro-source1.channels = ch1
agent1.sinks.log-sink1.channel = ch1
tail -F断点续传问题
tail -n +$(tail -n1 num) -F test.log 2>&1 | awk 'ARGIND==1{i=$0;next}{i++;if($0~/^tail/){i=0};print $0;print i >> "num";fflush("")}' num –
【注】
Flume线上日志采集【模板】的更多相关文章
- 研发流程 接口定义&开发&前后端联调 线上日志观察 模型变动
阿里等大厂的研发流程,进去前先了解一下_我们一起进大厂 - SegmentFault 思否 https://segmentfault.com/a/1190000021831640 接口定义 测试用例评 ...
- Nodejs线上日志部署
Nodejs 被越来越多的使用到线上系统中,但线上系统没有日志怎么行呢. 一.forever记录日志 我的线上系统使用forever来启动服务,最开始就直接使用了forever来记录 forever ...
- 线上日志集中化可视化管理:ELK
本文来自网易云社区 作者:王贝 为什么推荐ELK: 当线上服务器出了问题,我们要做的最重要的事情是什么?当需要实时监控跟踪服务器的健康情况,我们又要拿什么去分析?大家一定会说,去看日志,去分析日志.是 ...
- 从线上日志统计接口访问量QPS
这一阵子在面试,连续遇到好几家(大小厂都有)问我的项目线上qps的情况了,说实话,我作为一个大头兵,本来没关注过这个数据,只能含混地给个"大概.也许"的回答. 回来之后,我决定对业 ...
- 查看线上日志利器less
less实用命令 搜索 很多关于命令的解释有点令人困惑,因为前字,forward是向前,before也是前面. 上表示backward 下表示forward 向下搜索 / - 使用一个模式进行搜索,并 ...
- 记一次ArrayList产生的线上OOM问题
前言:本以为(OutOfMemoryError)OOM问题会离我们很远,但在一次生产上线灰度的过程中就出现了Java.Lang.OutOfMemoryError:Java heap space异常,通 ...
- Java架构师线上问题排查,这些命令程序员一定用得到!
Java架构师线上问题排查,这些命令程序员一定用得到! 线上问题排查,以下场景,你遇到过吗? 一.了解机器连接数情况 问题:1.2.3.4的sshd的监听端口是22,如何统计1.2.3.4的sshd服 ...
- 原创 记录一次线上Mysql慢查询问题排查过程
背景 前段时间收到运维反馈,线上Mysql数据库凌晨时候出现慢查询的报警,并把原始sql发了过来: --去除了业务含义的sql update test_user set a=1 where id=1; ...
- 基于Flume+LOG4J+Kafka的日志采集架构方案
本文将会介绍如何使用 Flume.log4j.Kafka进行规范的日志采集. Flume 基本概念 Flume是一个完善.强大的日志采集工具,关于它的配置,在网上有很多现成的例子和资料,这里仅做简单说 ...
随机推荐
- android 模拟器无法ping通主机
很多时候我们通过adb 连接 android 模拟器调试网络程序,也许你能直接访问浏览器,浏览网站,但是却无法ping同局网的一个机器,比如: # ping www.sina.com ...
- C/C++调用java---JNI常用函数
DefineClass jclass DefineClass(JNIEnv *env, jobject loader, const jbyte *buf, jsize bufLen ...
- 获取jQuery版本号
今天在一个页面需要知道jquery版本号,来决定使用什么样的方法,有以下方式可以获取到 $.fn.jquery $.prototype.jquery 这两种方式都可以获取到jquery的版本号
- 【3】利用Word模板生成文档的总结
阅读目录 Word二次开发概况 使用DsoFramer进行开发 使用Interop进行开发 打开.关闭和写入操作 批量替换文本 遍历段落替换文本 查找后逐个替换文本 结论 在各类应用系统开发中,和Wo ...
- vb.net 鼠标控制
Public Class Form1 Public Declare Sub mouse_event Lib "user32" Alias "mouse_event&quo ...
- 你们对LinearLayout线性布局中Layout_weight的误解
帮人找个入门级别的书得负责任,自己先看一下有无缺陷,结果发现这个:(原文发在该书的论坛上,发现受众面太小了,无奈转到这个弃用很久的博客里,以后把心得慢慢发上来) Google Android开发入门与 ...
- GMM高斯混合模型 学习(2)
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHpxMjAwODExMjExMDc=/font/5a6L5L2T/fontsize/400/fill/I0 ...
- 算法笔记_156:算法提高 6-17复数四则运算(Java)
目录 1 问题描述 2 解决方案 1 问题描述 设计复数库,实现基本的复数加减乘除运算. 输入时只需分别键入实部和虚部,以空格分割,两个复数之间用运算符分隔:输出时按a+bi的格式在屏幕上打印结果 ...
- Python 创建特殊元组tuple
创建1个元素的tuple (1,) 创建单元素tupletuple和list一样,可以包含 0 个.1个和任意多个元素.包含多个元素的 tuple,前面我们已经创建过了.包含 0 个元素的 tupl ...
- Android Exception 6 (adapter is not modified from a background thread)
07-23 09:47:34.962: E/AndroidRuntime(7001): java.lang.IllegalStateException: The content of the adap ...