flume-ng 使用spool source 传输文件到hdfs
Flume 1.4.0 User Guide 地址:http://archive.cloudera.com/cdh4/cdh/4/flume-ng-1.4.0-cdh4.6.0/FlumeUserGuide.html
本文档主要用来记录如何在日志服务器和hdfs服务器端利用flume-ng将已经写好的日志传输到hdfs。
一 安装与环境配置
下载地址 http://archive.cloudera.com/cdh4/cdh/4/flume-ng-latest.tar.gz ,使用chd4版本。
解压到服务器目录。
配置JAVA_HOME和PATH (具体路径参考实际情况)
declare -x JAVA_HOME="/usr/java/default"
export PATH=$JAVA_HOME:$PATH
export PATH=/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/bin:$PATH
二 程序参数配置
flume-ng的程序参数主要通过修改各种配置文件实现。 (具体路径参考实际情况)
1 flume-ng默认程序最大内存为20m,打开解压文件路径下的/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf/flume-env.sh.template文件
修改如下一行
#JAVA_OPTS= "-Xms100m -Xmx200m -Dcom.sun.management.jmxremote" |
改为
JAVA_OPTS= "-Xms64m -Xmx300m -Dcom.sun.management.jmxremote" |
将flume-env.sh.template重命名为flume-env.sh使配置生效。
2 配置source channel sink。
服务器端的配置文件conf.properties
#define agent1 agent1.sources = source1 agent1.channels = channel1 agent1.sinks = sink1 #Describe the source agent1.sources.source1.type = spooldir # source 读取源日志的路径 agent1.sources.source1.spoolDir = /home/dongxiao.yang/flumespool #agent1.sources.source1.fileHeader = true #Describe the sink #agent1.sinks.sink1.type = logger agent1.sinks.sink1.type = avro #avro sink 发送数据的地址和端口 agent1.sinks.sink1.hostname= 218.241 . 157.74 agent1.sinks.sink1.port = 10000 # avro 数据发送前会进行压缩,共有 1 到 9 个级别的压缩 agent1.sinks.sink1.compression-type = deflate #Describe the channel agent1.channels.channel1.type = file #file channle checkpoint文件的路径 agent1.channels.channel1.checkpointDir = /home/dongxiao.yang/checkpoint # file channel data文件的路径 agent1.channels.channel1.dataDirs = /home/dongxiao.yang/data # file channel 每次传输事件的个数 agent1.channels.channel1.transactionCapacity = 10000 #file channel 最多储存事件的个数 agent1.channels.channel1.capacity= 10000000 #Bind the source and sink to the channel agent1.sources.source1.channels = channel1 agent1.sinks.sink1.channel = channel1 |
#define agent1.sources = source1 agent1.channels = channel1 agent1.sinks = sink1 #Describe the source agent1.sources.source1.type = avro # avro source 监听的地址和端口 agent1.sources.source1.bind = 0.0 . 0.0 agent1.sources.source1.port = 10000 # avro source 读取的数据是压缩过的,类型必须与 前一个 avro sink相同 agent1.sources.source1.compression-type =deflate #Describe the sink agent1.sinks.sink1.type = hdfs # 写入hdfs的路径 agent1.sinks.sink1.hdfs.path = /tmp/flume # 文件前缀 agent1.sinks.sink1.hdfs.filePrefix = test agent1.sinks.sink1.hdfs.rollCount = 0 agent1.sinks.sink1.hdfs.rollInterval= 0 agent1.sinks.sink1.hdfs.rollSize= 0 agent1.sinks.sink1.hdfs.batchSize= 5000 #文件在完全没有流写入后60s关闭 agent1.sinks.sink1.hdfs.idleTimeout= 60 #数据写入hdfs时进行压缩 agent1.sinks.sink1.hdfs.fileType = CompressedStream #数据写入hdfs时压缩的种类 agent1.sinks.sink1.hdfs.codeC = gzip # Use a channel which buffers events in memory agent1.channels.channel1.type = memory agent1.channels.channel1.capacity = 100000 agent1.channels.channel1.transactionCapacity = 5000 #Bind the source and sink to the channel agent1.sources.source1.channels = channel1 |
三 启动程序
运行程序位于解压文件/bin目录下。运行前需要先为flume-ng赋予可执行权限:chmod 777 flume-ng。
在bin目录下运行命令 ,程序即可执行。
flume-ng agent --conf /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf --conf-file /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf/conf.properties
--name agent1 -Dflume.root.logger=INFO,DAILY -Duser.timezone=UTC+8
其中 --conf 对应的是配置文件目录
--conf-file 对应配置文件
--name 对应配置文件内的angent的名字
-D对应日志以及运行时区
flume-ng 使用spool source 传输文件到hdfs的更多相关文章
- Flume NG Getting Started(Flume NG 新手入门指南)
Flume NG Getting Started(Flume NG 新手入门指南)翻译 新手入门 Flume NG是什么? 有什么改变? 获得Flume NG 从源码构建 配置 flume-ng全局选 ...
- 高可用Hadoop平台-Flume NG实战图解篇
1.概述 今天补充一篇关于Flume的博客,前面在讲解高可用的Hadoop平台的时候遗漏了这篇,本篇博客为大家讲述以下内容: Flume NG简述 单点Flume NG搭建.运行 高可用Flume N ...
- Flume NG高可用集群搭建详解
.Flume NG简述 Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持 Failover和负载均 ...
- Flume NG简介及配置
Flume下载地址:http://apache.fayea.com/flume/ 常用的分布式日志收集系统: Apache Flume. Facebook Scribe. Apache Chukwa ...
- Flume NG 简介及配置实战
Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 clo ...
- Flume NG初次使用
一.什么是Flume NG Flume是一个分布式.可靠.和高可用性的海量日志采集.聚合和传输的系统,支持在日志系统中定制各类数据发送方,用于收集数据:同时Flume提供对数据的简单处理,并写到各种数 ...
- 【转】Flume(NG)架构设计要点及配置实践
Flume(NG)架构设计要点及配置实践 Flume NG是一个分布式.可靠.可用的系统,它能够将不同数据源的海量日志数据进行高效收集.聚合.移动,最后存储到一个中心化数据存储系统中.由原来的Fl ...
- 【Flume NG用户指南】(1)设置
作者:周邦涛(Timen) Email:zhoubangtao@gmail.com 转载请注明出处: http://blog.csdn.net/zhoubangtao/article/details ...
- 【Flume NG用户指南】(2)构造
作者:周邦涛(Timen) Email:zhoubangtao@gmail.com 转载请注明出处: http://blog.csdn.net/zhoubangtao/article/details ...
随机推荐
- 330. Patching Array--Avota
问题描述: Given a sorted positive integer array nums and an integer n, add/patch elements to the array s ...
- 【BZOJ1036】【树链剖分】树的统计Count
Description 一 棵树上有n个节点,编号分别为1到n,每个节点都有一个权值w.我们将以下面的形式来要求你对这棵树完成一些操作: I. CHANGE u t : 把结点u的权值改为t II. ...
- centos 7 samba相关命令
1.安装相关包 yum install samba samba-client samba-common 2.启动smb的命令 systemctl enable smb.service systemct ...
- PHP框架_Smarty
目录 1.环境搭建 2.基本配置 3.Smarty变量调节器 4.Smarty条件判断 5.Smarty的循环 6.Smarty模板的引用 7.Smarty类与对象的赋值与引用 8.smarty函数插 ...
- js 表达式与运算符 详解(下)
比较运算符: > .>= .<. <=. ==. !=. ===. !==. 比较运算符的结果都为布尔值 ==只比较值是否相等 而 ===比较的是值和数据类型都要 ...
- Dedecms自定义sql 出现错误Safe Alert: Request Error step 2!
Dedecms自定义执行sql: SELECT body FROM dede_addonarticle WHERE aid = (select max(aid) fromdede_addonartic ...
- linux 和 ubuntu 修改主机名
原始主机名:jeepend-VirtualBox linux 修改方法: 1.使用secure CRT或其他方式 用root用户 登入系统.2.在终端输入: #hostname [修改后的主机名]3. ...
- Tag Helpers 介绍
Tag Helpers 介绍 原文:Introduction to Tag Helpers作者:Rick Anderson翻译:刘浩杨校对:高嵩(Jack) 什么是 Tag Helpers? Tag ...
- Mac电脑手动清理
Xcode的无用的文件如图找到DerivedData文件夹,删除里面文件就可以了(先找到隐藏的文件)
- 一个获取Android手机root权限的程序
PermRoot.bat可以获取root权限. IsRoot.bat可以测试是否拥有root权限. UnRoot.bat可以清除root权限. 下载地址: http://pan.baidu.com/s ...