04.flume+kafka环境搭建
1、flume下载 安装 测试
1.1 官网下载,通过xshell从winser2012传到cent0s的/opt/flume目录中,使用rz命令
1.2 解压安装 tar -zxvf apache-flume-1.8.0-bin.tar.gz
[root@spark01 flume]# ls
apache-flume-1.8.0-bin apache-flume-1.8.0-bin.tar.gz
1.3 修改conf里面的flume-env.sh
[root@spark01 flume]# cd apache-flume-1.8.0-bin
[root@spark01 apache-flume-1.8.0-bin]# ls
bin conf doap_Flume.rdf lib NOTICE RELEASE-NOTES
CHANGELOG DEVNOTES docs LICENSE README.md tools
[root@spark01 apache-flume-1.8.0-bin]# cd conf
[root@spark01 conf]# ls
flume-conf.properties.template flume-env.sh.template
flume-env.ps1.template log4j.properties
[root@spark01 conf]# cp flume-env.sh.template flume-env.sh
[root@spark01 conf]# ls
flume-conf.properties.template flume-env.sh log4j.properties
flume-env.ps1.template flume-env.sh.template
[root@spark01 conf]# vi flume-env.sh
增加
export JAVA_HOME=/opt/java/jdk1.8.0_191配置
1.4 修改/etc/profile
[root@spark01 conf]# cd /etc
[root@spark01 etc]# vi profile
增加
export FLUME_HOME=/opt/flume/apache-flume-1.8.0-bin
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:${FLUME_HOME}/bin:$PATH
[root@spark01 etc]# source /etc/profile
1.5 测试安装是否成功
[root@spark01 etc]# flume-ng version
Flume 1.8.0
1.6 flume 示例测试
在conf文件夹中新建a1.conf
[root@spark01 conf]# vi a1.conf
[root@spark01 conf]# cat a1.conf
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#define sources
a1.sources.r1.type = netcat
a1.sources.r1.bind = hadoop-senior.shinelon.com
a1.sources.r1.port = 44444
#define channels
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
#define sink
a1.sinks.k1.type = logger
a1.sinks.k1.maxBytesToLog = 2014
#bind sources and sinks to channel
a1.sources.r1.channels = c1
a1.sink.k1.channel = c1
[root@spark01 conf]# vi a1.conf
[root@spark01 conf]# cat a1.conf
a1.sources = r1
a1.channels = c1
a1.sinks = k1
#define sources
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
#define channels
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
#define sink
a1.sinks.k1.type = logger
a1.sinks.k1.maxBytesToLog = 2014
#bind sources and sinks to channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
测试:
打开flume:
[root@spark01 conf]# flume-ng agent --conf conf --name a1 --conf-file a1.conf -Dflume.root.logger=DEBUG,console
另外打开一个控制台:telnet localhost 44444
[root@spark01 ~]# telnet localhost 44444
Trying ::1...
telnet: connect to address ::1: Connection refused
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
ce^H^H^H^H^H^H^H
OK
SADF
OK
SDS222
OK
555555
OK
查看打开flume那个控制台界面:
2、kafka下载 安装 测试
04.flume+kafka环境搭建的更多相关文章
- kafka环境搭建及librdkafka测试
kafka环境搭建及librdkafka测试 (2016-04-05 10:18:25) 一.kafka环境搭建(转自http://kafka.apache.org/documentation.h ...
- windows下golang实现Kfaka消息发送及kafka环境搭建
kafka环境搭建: 一.安装配置java-jdk (1)kafka需要java环境,安装java-jdk,下载地址:https://www.oracle.com/technetwork/java/j ...
- kafka环境搭建
kafka环境搭建 for mac 对应qq群号:616961231 在之前的文章中, 有学习能力和兴趣爱好的同学,自己动手维护测试环境,丰衣足食是最好的办法,今天我们来讲讲kafka在mac上的安装 ...
- 【入门教程】kafka环境搭建以及基础教程
问题导读 1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic.发送消息.消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有 ...
- windows kafka 环境搭建踩坑记
版本介绍(64位): Windows 10 JDK1.8.0_171 zookeeper-3.4.8/ kafka_2.11-0.10.0.1.tgz 点击链接进行下载 1. JDK安装和环境搭建 自 ...
- kafka环境搭建和使用(python API)
引言 上一篇文章了解了kafka的重要组件zookeeper,用来保存broker.consumer等相关信息,做到平滑扩展.这篇文章就实际操作部署下kafka,用几个简单的例子加深对kafka的理解 ...
- Kafka - 环境搭建
一.概述 Kafka(官网地址)专为分布式高吞吐量系统而设计. Kafka往往工作得很好,作为一个更传统的消息代理的替代品. 与其他消息传递系统相比,Kafka具有更好的吞吐量,内置分区,复制和固有的 ...
- Ubuntu18.04下LAMP环境搭建
可以安装安装Xampp,Xampp是一个集成的LAMP开发环境. 但是这只是对于一个刚安装好的系统来说的,但是很有可能我的电脑上面已经安装过Apache,或者安装过MySQL,或者安装过PHP了,或者 ...
- kafka环境搭建2-broker集群+zookeeper集群(转)
原文地址:http://www.jianshu.com/p/dc4770fc34b6 zookeeper集群搭建 kafka是通过zookeeper来管理集群.kafka软件包内虽然包括了一个简版的z ...
随机推荐
- ERP行业销售如何挖掘潜在客户?
要看不同阶段,小企业发展到一定程度,第一个需求是单体财务系统.因为这个时候财务忙不过来了.在大一点就需要业务系统了,就是生产+进销存.有分公司就有集团级软件需求,接着就是oa啊HR啊上下游管理啊等等. ...
- 用Easing函数实现碰撞效果
用Easing函数实现碰撞效果 工程中需要的源码请从这里下载: https://github.com/YouXianMing/EasingAnimation 源码: // // ViewControl ...
- 支持xcode6的缓动函数Easing以及使用示例
支持xcode6的缓动函数Easing以及使用示例 用xcode6新建工程后,直接导致不支持之前的Easing缓动函数的代码,经过修改后就可以正常使用了,虽然比不上POP高大上的动画,但用缓动函数的动 ...
- 如何理解springaop
初看aop,上来就是一大堆术语,而且还有个拉风的名字,面向切面编程,都说是oop的一种有益补充等等,一下子让你不知所措,心想着:怪不得很多人都和我说aop多难多难.当我看进去以后,我才发现:它就是一些 ...
- Compare DML To Both REDO And UNDO Size
SUMMARY you can remember undo rule the same to redo if you want demo rule that you can look up the ...
- [EffectiveC++]item21:Don't try to return a reference when you must return an object
- Java.lang 包 (包装类、String类、Math类、Class类、Object类)
Java 的核心 API(Application Programming Interface)是非常庞大的,这给开发者带来了很大的方便. java.lang 包是 Java 的核心类库,它包含了运行 ...
- 1001.A+B Format (20)解题描述
1. 作业链接 2. 解题的思路过程 首先这是道简单的计算题,要求计算a+b的值. 看初值条件,将a和b的取值限制在一个区间内. 本题难点和重点是如何把输出值形成题目要求的格式. 因为负数可通过在前面 ...
- python将字符串转变成dict格式
字符串的内容是字典,需将字符串转变成字典格式 s1 = '{"lid":2,"date":"20190211","type&quo ...
- IOS 对JSON解析的要求
JOSN格式的原始字符串中, 键名必须为 引号 “” 包含的字符串,值必须是数组("[]" 用中括号包起来的部分),字典("{}" 用中括号包起来的部分),数字 ...