需要软件
jdk1.8(jdk-8u131-linux-x64.rpm)
zookeeper (zookeeper-3.4.10.tar.gz)
kafka 2.11-2.0.0
flume1.8.0
 
把触控板的操作做为输出
sudo fusuma 1>/var/log/script/test111 2>&1 &
 
1、jdk就不说了
2、zookeeper安装,参考其他
bin目录./zkServer.sh start
查看状态./zkServer.sh status
3、安装kafka
http://kafka.apache.org/downloads.html
tar -zxf kafka_2.11-2.0.0.tgz
修改配置文件
gedit config/server.properties
listeners=PLAINTEXT://172.17.173.226:9092
外网访问需要加:advertised.listeners=PLAINTEXT://39.105.189.4:9092
log.dirs=/opt/softWare/Cache/kafka 指定日志存放目录
 
控制台方式,日志记录到当前目录下nohup.out文件中
cd /opt/softWare/kafka_2.11-2.0.0
./bin/kafka-server-start.sh ./config/server.properties &
后台启动
nohup ./bin/kafka-server-start.sh ./config/server.properties &
查看状态 jps
 
测试kafka 在bin目录下
创建一个topic
./bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic robots2 --partitions 1 --replication-factor 1
查看创建的topic
./bin/kafka-topics.sh --zookeeper localhost:2181 --list
test_kafka
 
启动消费者
./kafka-console-consumer.sh --bootstrap-server 172.17.173.226:9092 --topic robots2 --from-beginning
新版的kafka只能使用–bootstrap-server来启动,zookeeper的指令已经被取消了。
 
在新的shell中启动生产者
bin/kafka-console-producer.sh --broker-list 172.17.173.226:9092 --topic robots2
启动之后输入消息,在消费者的shell中就可以接收到生产者中输入的信息。
单机版安装完成
 
================================================================================================================
1、flume安装目录conf下新建了kafka.properties文件,启动时也应当用此配置文件作为参数启动。
================================================================
kafka.properties
agent.sources = s1
agent.channels = c1
agent.sinks = k1
agent.sources.s1.type=exec
agent.sources.s1.command=tail -F /var/log/nginx/access.log
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100
#设置Kafka接收器
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口号
agent.sinks.k1.brokerList=172.17.173.226:9092
#设置Kafka的Topic
agent.sinks.k1.topic=robots2
#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder\
agent.sinks.k1.channel=c1
==================================================================
2、在kafka安装目录下执行如下命令,启动zk,kafka 。
启动zookeeper
cd /opt/Servers/zookeeper-3.4.10/bin
./zkServer.sh start
后台启动kafka
nohup ./kafka-server-start.sh ../config/server.properties &
打开新终端添加一个topic
./kafka-topics.sh --zookeeper localhost:2181 --create --topic mylog --partitions 1 --replication-factor 1
查看创建的topic
./kafka-topics.sh --zookeeper localhost:2181 --list
打开新终端,在kafka安装目录下执行如下命令,生成对topic robots2 的消费
./bin/kafka-console-consumer.sh --bootstrap-server 172.17.173.226:9092 --topic robots2 --from-beginning
后台启动flume
nohup ./bin/flume-ng agent -c ./conf/ -f ./conf/kafka.properties -n agent -Dflume.root.logger=DEBUG,console &

linux mint安装kafka,及flume与kafka整合的更多相关文章

  1. Linux Mint安装jdk8

    想到研究Java,可能学习openjdk是比较好的方式,于是去找openjdk.对于Debian based系统的安装指南是: -jdk 然而我的Linux Mint 17却无法安装.搜索之后发现如下 ...

  2. Linux Mint安装Docker踩坑指南

    我家的服务器选用的Linux Mint系统,最近安装Docker的时候踩了一些小坑,但是总体还算顺利. 我们都知道Linux Mint系统是基于Ubuntu的,说实话用起来感觉还是很不错的,安装Doc ...

  3. Linux mint 安装踩坑记录

    记得之前电脑上的那个Ubuntu是去年寒假的时候安装的,算下来自己用Linux也快一年了.虽然在去年暑假的时候我也曾经想过要把Ubuntu升级到18.04可是当时安装了几次都没有成功,自己也就放弃了. ...

  4. linux mint 安装xshell

    之前在Windows上进行开发的时候,SSH重度依赖SecureCRT或者XShell工具,现在把办公环境迁移到Linux后,每次连接都需要输入密码,尤其是需要跳板机的时候,需要逐级输入,十分麻烦.所 ...

  5. linux mint 安装微信2

    很多小伙伴都用ubuntu或者Linux Mint,但由于已经习惯了让人成瘾的国产软件,比如迅雷,qq,微信等,其实我们应该培养更为健康的上网习惯,这些软件不是非用不可,但如果你不用不行, 那么也是有 ...

  6. linux mint安装mysql-8.0.16

    1.使用通用二进制文件在Unix / Linux上安装MySQL 下载的文件:mysql-8.0.16-linux-glibc2.12-x86_64.tar.xz 注意: 如果您以前使用操作系统本机程 ...

  7. linux mint 安装 opencv2.4

    Download opencv https://github.com/opencv/opencv/tree/2.4 安装必要的依赖 sudo apt-get install build-essenti ...

  8. 使用linux mint 安装无线网卡驱动

    新买了个笔记本Thinkpad E440,用了两天发现无线网非常不稳定,有时候能搜到wifi却连不上,有时候连上了却连不上互联网,于是决定重新安装个网卡驱动. 首先看看自己显卡的型号: lspci : ...

  9. linux mint 安装微信

    安装nodejs 到nodejs官网下载node js压缩包,然后解压到自己设置的目录.我的解压路径是 /home/congwiny/Develop/SoftWare/node-v6.10.3-lin ...

  10. 解决 linux mint 安装显卡驱动失败解决

    前言 安装显卡驱动的基本流程就是,禁用 nouveau驱动,然后安装 nnvidia驱动,然后重启电脑.但是我重新启动, 使用NVIDIA X Server Settings查看一直显示空白,毫无疑问 ...

随机推荐

  1. Java网络爬虫的实现

    记得在刚找工作时,隔壁的一位同学在面试时豪言壮语曾实现过网络爬虫,当时的景仰之情犹如滔滔江水连绵不绝.后来,在做图片搜索时,需要大量的测试图片,因此萌生了从Amazon中爬取图书封面图片的想法,从网上 ...

  2. 【C++】关于 Visual Studio 的使用技巧(保姆级教程)

    目录 fliter 视图 输出文件位置设置 查看预处理结果 将目标文件转换为可读的汇编 自定义程序入口 调试时查看变量在内存中的具体值 查看代码的反汇编 fliter 视图 visual studio ...

  3. HUAWEI SECURITY 2023 山东大学专场 WP

    Crypto by Smera1d0 1.ezrsa 题干如下: from Crypto.Util.number import getPrime from secret import flag p = ...

  4. 编译器-FIRST集合(补充:左递归)

    上一篇中实现的First函数没有考虑左递归,在这对此说明和实现 1.立即左递归 A -> Ab|a 1.两步或两步以上产生的左递归 A -> Bc|a B -> Ab|d 前面的实现 ...

  5. 使用 Visual Studio 调试器附加到正在运行的进程

    使用 Visual Studio 调试器附加到正在运行的进程 使用场景 当项目在测试环境上有bug,需要运行代码调试一下,这时就需要在测试环境上安装一个调试工具,然后在本地运行代码,远程链接到测试环境 ...

  6. 如何使用图片压缩降低COS流量成本?

    导语 本文将介绍如何通过[图片压缩]能力,让您降本增效的使用 COS ,文章将写得浅显易懂,旨在快速带领用户了解图片压缩的用法及带来的收益. **** 图片压缩为什么会让您降本增效?******** ...

  7. iOS Aliyun语音识别&语音合成

    Aliyun 语音识别&语音合成 导入 SDK 将ZIP包中的nuisdk.framework添加到工程中,并在工程Build Phases的Link Binary With Librarie ...

  8. 工作中这样用MQ,很香!

    前言 消息队列(MQ)是分布式系统中不可或缺的技术之一. 对很多小伙伴来说,刚接触MQ时,可能觉得它只是个"传话工具",但用着用着,你会发现它简直是系统的"润滑剂&quo ...

  9. Java 后端搞 MVC 是邪路

    前两天和朋友讨论,我展示了一番 d2js,朋友有点纳闷,你这个是直接操作数据库,不是违背了 MVC 设计思想吗? 经常讨论有助于刺激思维.这次本人忽然进入了状态,终于意识到问题所在! 现在的系统叠床架 ...

  10. Shiro-BasicHttpAuthenticationFilter 鉴权过滤器的使用方式

    它的作用是用来根据路径匹配结果,调用相应过滤器 onPreHandle 这里是正在的执行逻辑,之前的都是判断,它返回了两个方法: isAccessAllowed() onAccessDenied() ...