1.   准备

1.1    Kafka

Kafka版本采用0.10.2.1，下载0.10.2.1文件

http://kafka.apache.org/downloads

1.2    JDK

JDK选用Java1.8，下载地址

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1.3    Zookeeper

Zookeeper选择3.4.9，下载地址：

https://archive.apache.org/dist/zookeeper/

2.   安装JDK

Linux-Center-OS默认已经安装Java8，可以打开命令行：

Java –version，查看当前的Linux安装Java版本。

如果机器没有安装Java，采用一下步骤执行安装：

1、 打开/etc/profile

a)       vi /etc/profile

2、 添加一下配置

export JAVA_HOME=/home/teld/jdk1.8.0_65
export
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

3、 添加文件夹权限

a)      
chmod
-R +x jdk1.8.0_65

4、 执行命令 source

a)      
source /etc/profile

3.  
安装Zookeeper

本次将在本机上安装具有三个Zookeeper实例的Zookeeper集群

实例

对外端口

内部选举端口

1

192.169.1.147：2181

192.169.1.147：2881：3881

2

192.169.1.147：2182

192.169.1.147：2882：3882

3

192.169.1.147：2183

192.169.1.147：2883：3883
  1. 解压Zookeeper到指定目录： tar –zxvf   /home/zookeeper-3.4.9.tar.gz local/kafka
  2. 将Zookeeper3.4.9文件夹重命名为zookeeper-0，并复制文件夹zookeeper-1，zookeeper-2

命令：mv zookeeper-3.4.9
zookeeper-1

Cp –r zookeeper-1 zookeeper-2

Cp –r zookeeper-1 zookeeper-3

3.1   
Zookeeper-1安装配置

  1. 进入到Zookeeper-1/cfg目录：cd /zookeeper/cfg

复制文件：cp zoo_sample.cfg zoo.cfg

  1. 编辑zoo.cfg文件

a)      
Vi  zoo.cfg

b)      
定位到dataDir= /opt/kafka_0.10/zookeeper/data

c)      
文件最后添加

server.1=192.169.1.147:2881:3881

server.2=192.169.1.147:2882:3882

server.3=192.169.1.147:2883:3883

d)      
Esc+:+wq+回车保存

  1. 创建Data文件目录

a)      
Cd ..

b)      
Mkdir data

  1. 创建MyID文件

Vi myid,文件内容输入1，wq退出。

  1. 输入./zkServer.sh start ,启动zkServer服务器
  2. ./zkServer.sh status 命令查看Zookeeper的运行情况

3.2   
Zookeeper-2和Zookeepe-3文件实例配置

与1配置雷同注意

1、 coo.cfg中的端口号：2182、2183

2、 coo.cfg中的dataDir：/usr/local/teldapp/zookeeper-0/data

3、 data目录中的myid文件值不同：1、2、3

4.  
安装Kafka

Kafka也在本机模拟三个节点：

节点

IP地址

端口号

listeners

Kafka-01

192.168.1.147

9093

listeners=PLAINTEXT://192.169.1.147:9093

Kafka-02

192.168.1.147

9094

listeners=PLAINTEXT://192.169.1.147:9094

Kafka-03

192.168.1.147

9095

listeners=PLAINTEXT://192.169.1.147:9095

1、 解压Kafka安装包到指定目录

2、 重命名Kafka_2.11-.10.2.1为kafka-01

a)      
Mv kafka_2.11-0.10.2.1 kafka-01

3、 复制Kafka-01两份(不复制时根据启动实例配置文件启动三个实例)

a)      
Cp –r kafka-01 kafka-02

b)      
Cp –r kafka-01 kafka-03

4.1   
注意检查HostName映射

为避免和AD配置上有重复解析， 确定hostname是否已经配置，已经连通性。

4.2   
Kafka-01安装

1、 复制/confg/server.properties文件为server-9093.properties

2、 打开server-9093.properties vi server9093.propertites，并修改一下配置值

文件

server-9093.properties

broker.id=10

log.dir= /tmp/mq/kafka/log

listeners= PLAINTEXT://192.169.1.147:9093

zookeeper.connect=192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

3、 运行JMX-Port=9999 nohup bin\kafka-server-start.sh
config\server-9093.properties &命令启动Kafka服务器

4.3   
Kafka02，03安装

修改配置:server-9094.properties和server-9094.properties文件

文件

server-9094.properties

broker.id=20

log.dir=/usr/local/teldapp/mq/tmp/kafka-logs-9094

listeners= PLAINTEXT://192.169.1.147:9094

zookeeper.connect=192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

server-9095.properties

broker.id=30

log.dir=/usr/local/teldapp/mq/tmp/kafka-logs-9095

listeners= PLAINTEXT://192.169.1.147:9095

zookeeper.connect=192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

运行

JMX-Port=9999 nohup bin\kafka-server-start.sh
config\server-9094.properties &

JMX-Port=9999 nohup bin\kafka-server-start.sh
config\server-9095.properties &

命令启动Kafka服务器

4.4   
Kafka服务器停止

可以使用命令

kafka-1/bin/kafka-server-stop.sh
kafka-1/config/server-9093.properties

kafka-1/bin/kafka-server-stop.sh
kafka-1/config/server-9094.properties

kafka-1/bin/kafka-server-stop.sh
kafka-1/config/server-9095.properties

来停止Kafka服务器

4.5   
Kafka-Manager安装

1、 拷贝kafkamanager.tar.gz到linux服务器（1.3.3.15）

2、 解压 tar –zxvf kafkamanger.tar.gz /usr/local/teldapp/mq

3、 打开 conf目录，并kafka­-manager-zkhosts=进行配置

4、 运行bin目录下start.sh

5.  
Kafka配置

5.1   
常用命令

  1. 启动kafka

bin/kafka-server-start.sh server.properties

  1. 停止kafka

bin/kafka-server-stop.sh server.properties

  1. 创建topic

调用kafka-topics命令完成Topic的创建，复制因子为3，有3个分区

bin/kafka-topics.sh --create --zookeeper 192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183
--replication-factor 3 --partitions 3 --topic test

  1. 4.  查看Topic状态

可以调用kafka-topics.sh –list来查看这个Topic的状态

bin/kafka-topics.sh --list --zookeeper 192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

  1. 发送消息

bin/kafka-console-producer.sh --broker-list
192.169.1.147:9093, 192.169.1.147:9094, 192.169.1.147:9095 --topic test

this is a message

this is another message

  1. 消费消息

bin/kafka-console-consumer.sh --bootstrap-server
192.169.1.147:9093, 192.169.1.147:9094, 192.169.1.147:9095  --topic test --from-beginning

 

5.2   
Broker配置

broker.id=10

log.dirs=/usr/local/teldapp/mq/tmp/kafka-logs-9093

listeners=PLAINTEXT://192.169.1.147:9093

num.network.threads=3

num.partitions=3

num.replica.fetchers=3

default.replication.factor=3

5.3   
Log日志文件配置

log.cleanup.policy

Delete

log.cleaner.enable

True

log.retention.bytes

1073741824=1TB

日志数据存储的最大字节数。超过这个时间会根据policy处理数据。

log.retention.hours

168小时

5.4   
Java-jmx配置

在启动Kafka之前，调用Jmx命令

JMX_PORT=9997 nohup
kafka-1/bin/kafka-server-start.sh kafka-1/config/server-9093.properties &

JMX_PORT=9998 nohup
kafka-1/bin/kafka-server-start.sh kafka-1/config/server-9094.properties &

JMX_PORT=9999 nohup
kafka-1/bin/kafka-server-start.sh kafka-1/config/server-9095.properties &

nohup kafka-manager/bin/kafka-manager &

6.  
附录

6.1   
__consumer_offsets 文件很大

6.2   
修改linux 最大文件限制数 ulimit

echo "* soft
nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >>
/etc/security/limits.conf
echo "* soft nproc 65535" >>
/etc/security/limits.conf
echo "* hard nproc 65535" >>
/etc/security/limits.conf

ulimit -n 65535

sed -i
's/4096/65535/g' /etc/security/limits.d/20-nproc.conf

6.3   
Linux下开放端口

使用iptables开放如下端口
/sbin/iptables -I INPUT -p tcp --dport 9000 -j
ACCEPT
保存
/etc/rc.d/init.d/iptables save
重启服务
service iptables restart
查看需要打开的端口是否生效？
/etc/init.d/iptables status、

6.4   
所有配置

advertised.host.name = null

advertised.listeners
= null

advertised.port
= null

authorizer.class.name
=

auto.create.topics.enable
= true

auto.leader.rebalance.enable
= true

background.threads
= 10

broker.id
= 10

broker.id.generation.enable
= true

broker.rack
= null

compression.type
= producer

connections.max.idle.ms
= 600000

controlled.shutdown.enable
= true

controlled.shutdown.max.retries
= 3

controlled.shutdown.retry.backoff.ms
= 5000

controller.socket.timeout.ms
= 30000

create.topic.policy.class.name
= null

default.replication.factor
= 1

delete.topic.enable
= false

fetch.purgatory.purge.interval.requests
= 1000

group.max.session.timeout.ms
= 300000

group.min.session.timeout.ms
= 6000

host.name
=

inter.broker.listener.name
= null

inter.broker.protocol.version
= 0.10.2-IV0

leader.imbalance.check.interval.seconds
= 300

leader.imbalance.per.broker.percentage
= 10

listener.security.protocol.map
= SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,TRACE:TRACE,SASL_SSL:SASL_SSL,PLAINTEXT:PLAINTEXT

listeners
= 192.169.1.147:9093

log.cleaner.backoff.ms
= 15000

log.cleaner.dedupe.buffer.size
= 134217728

log.cleaner.delete.retention.ms
= 86400000

log.cleaner.enable
= true

log.cleaner.io.buffer.load.factor
= 0.9

log.cleaner.io.buffer.size
= 524288

log.cleaner.io.max.bytes.per.second
= 1.7976931348623157E308

log.cleaner.min.cleanable.ratio
= 0.5

log.cleaner.min.compaction.lag.ms
= 0

log.cleaner.threads
= 1

log.cleanup.policy
= [delete]

log.dir
= /tmp/kafka-logs

log.dirs
= /usr/local/teldapp/mq/tmp/kafka-logs-9093

log.flush.interval.messages
= 9223372036854775807

log.flush.interval.ms
= null

log.flush.offset.checkpoint.interval.ms
= 60000

log.flush.scheduler.interval.ms
= 9223372036854775807

log.index.interval.bytes
= 4096

log.index.size.max.bytes
= 10485760

log.message.format.version
= 0.10.2-IV0

log.message.timestamp.difference.max.ms
= 9223372036854775807

log.message.timestamp.type
= CreateTime

log.preallocate
= false

log.retention.bytes
= -1

log.retention.check.interval.ms
= 300000

log.retention.hours
= 168

log.retention.minutes
= null

log.retention.ms
= null

log.roll.hours
= 168

log.roll.jitter.hours
= 0

log.roll.jitter.ms
= null

log.roll.ms
= null

log.segment.bytes
= 1073741824

log.segment.delete.delay.ms
= 60000

max.connections.per.ip
= 2147483647

max.connections.per.ip.overrides
=

message.max.bytes
= 1000012

metric.reporters
= []

metrics.num.samples
= 2

metrics.recording.level
= INFO

metrics.sample.window.ms
= 30000

min.insync.replicas
= 1

num.io.threads
= 8

num.network.threads
= 3

num.partitions
= 3

num.recovery.threads.per.data.dir
= 1

num.replica.fetchers
= 1

offset.metadata.max.bytes
= 4096

offsets.commit.required.acks
= -1

offsets.commit.timeout.ms
= 5000

offsets.load.buffer.size
= 5242880

offsets.retention.check.interval.ms
= 600000

offsets.retention.minutes
= 1440

offsets.topic.compression.codec
= 0

offsets.topic.num.partitions
= 50

offsets.topic.replication.factor
= 3

offsets.topic.segment.bytes
= 104857600

port
= 9092

principal.builder.class
= class org.apache.kafka.common.security.auth.DefaultPrincipalBuilder

producer.purgatory.purge.interval.requests
= 1000

queued.max.requests
= 500

quota.consumer.default
= 9223372036854775807

quota.producer.default
= 9223372036854775807

quota.window.num
= 11

quota.window.size.seconds
= 1

replica.fetch.backoff.ms
= 1000

replica.fetch.max.bytes
= 1048576

replica.fetch.min.bytes
= 1

replica.fetch.response.max.bytes
= 10485760

replica.fetch.wait.max.ms
= 500

replica.high.watermark.checkpoint.interval.ms
= 5000

replica.lag.time.max.ms
= 10000

replica.socket.receive.buffer.bytes
= 65536

replica.socket.timeout.ms
= 30000

replication.quota.window.num
= 11

replication.quota.window.size.seconds
= 1

request.timeout.ms
= 30000

reserved.broker.max.id
= 1000

sasl.enabled.mechanisms
= [GSSAPI]

sasl.kerberos.kinit.cmd
= /usr/bin/kinit

sasl.kerberos.min.time.before.relogin
= 60000

sasl.kerberos.principal.to.local.rules
= [DEFAULT]

sasl.kerberos.service.name
= null

sasl.kerberos.ticket.renew.jitter
= 0.05

sasl.kerberos.ticket.renew.window.factor
= 0.8

sasl.mechanism.inter.broker.protocol
= GSSAPI

security.inter.broker.protocol
= PLAINTEXT

socket.receive.buffer.bytes
= 102400

socket.request.max.bytes
= 104857600

socket.send.buffer.bytes
= 102400

ssl.cipher.suites
= null

ssl.client.auth
= none

ssl.enabled.protocols
= [TLSv1.2, TLSv1.1, TLSv1]

ssl.endpoint.identification.algorithm
= null

ssl.key.password
= null

ssl.keymanager.algorithm
= SunX509

ssl.keystore.location
= null

ssl.keystore.password
= null

ssl.keystore.type
= JKS

ssl.protocol
= TLS

ssl.provider
= null

ssl.secure.random.implementation
= null

ssl.trustmanager.algorithm
= PKIX

ssl.truststore.location
= null

ssl.truststore.password
= null

ssl.truststore.type
= JKS

unclean.leader.election.enable
= true

zookeeper.connect
= 192.169.1.147:2181,192.169.1.147:2182,192.169.1.147:2183

zookeeper.connection.timeout.ms
= 6000

zookeeper.session.timeout.ms
= 6000

zookeeper.set.acl
= false

zookeeper.sync.time.ms
= 2000

Kafka安装-Linux版的更多相关文章

  1. kafka安装linux版

    安装实战 kafka安装包下载(注意:这里选择的安装包是2.11系列的1.1.0版本的) wget https://archive.apache.org/dist/kafka/1.1.0/kafka_ ...

  2. 安装linux版zabbix客户端

    安装linux版zabbix客户端 一.下载客户端 查看centos系统内核版本 cat /proc/version 如上图,就选择Linux 2.6系统对应的agent版本程序 打开官网:https ...

  3. sqlserver2017安装Linux版教程

    安装 SQL Server 下载 Microsoft SQL Server 2017 Red Hat 存储库配置文件: sudo curl -o /etc/yum.repos.d/mssql-serv ...

  4. 安装linux版qq，安装二进制包编译器，安装mysql-5.6.11,删除已安装或安装失败的mysql-5.6.11,简单mysql练习题

    上午[root@localhost ~]# ./test3.sh dev1^C[root@localhost ~]# groupadd dev1[root@localhost ~]# vim /etc ...

  5. Linux版OpenVPN安装、配置教程（转）

    本文将以目前最新的openvpn-2.3.4.tar.gz(更新于2014-5-2,下载地址)为例来介绍如何在Linux系统中安装.配置及使用OpenVPN. 在这里,我们选用了一台预装CentOS ...

  6. 巧用linux版powershell，管理linux下的docker

    大家好,我把用powershell的docker马甲命令的好处,放在了页面下方,从第五章开始. powershell 传教士 原创文章 始于 2017-09-07 允许转载,但必须保留名字和出处,否则 ...

  7. XAMPP 的安装配置(Linux 版)

    --姜庭华  msn: jaimejth@live.cn --博客:http://blog.csdn.net/jaimejth 软件下载在以下网站 http://www.apachefriends.o ...

  8. CENTOS6 下MATLAB2014b的安装和破解（Matlab_R2014b linux版 安装笔记）

    参考:http://www.jianshu.com/p/f0cefc737dda ①在下载matlab linux版.iso, ②在windows下用ULTRAISO软件提取 ③用crack中的ins ...

  9. linux版powershell安装教程(.net core版)

    powershell 传教士 原创文章 始于2016-12-20,2017-03-15改.文章版本目前博客园为最新版. 允许转载,但必须保留名字和出处,否则追究法律责任 问:powershell二进制 ...

随机推荐

  1. Java微服务（一）：dubbo-admin控制台的使用

    1.环境准备 使用CentOS7+Docker+Zookeeper3.4.10搭建dubbo微服务 1.1.安装docker容器 (1).uname -r:docker要求CentOS的内核版本高于3 ...

  2. 【Swagger】可能是目前最好的 Spring Boot 集成 swagger 的方案

    [Swagger]可能是目前最好的Spring Boot集成 swagger 的方案 ![](https://img2018.cnblogs.com/blog/746311/201909/746311 ...

  3. Spring.Net是怎么在MVC中实现注入的（原理）

    本文将介绍Spring.Net(不仅仅是Spring.Net,其实所有的IoC容器要向控制器中进行注入,原理都是差不多的)在MVC控制器中依赖注入的实现原理,本文并没有关于在MVC使用Spring怎么 ...

  4. 51NOD---逆序对（树状数组 + 归并排序）

    1019 逆序数  基准时间限制:1 秒 空间限制:131072 KB 分值: 0 难度:基础题  收藏  关注 在一个排列中,如果一对数的前后位置与大小顺序相反,即前面的数大于后面的数,那么它们就称 ...

  5. elementUI树状图竖向滚动条和横向滚动条问题

    添加样式: <div class="device-tree"> <el-scrollbar style="height:100%"> & ...

  6. 获取mysql自主生成的主键

    一.sql语句 CREATE TABLE `testgeneratedkeys` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) ...

  7. 线上LVM磁盘挂载

    ESC云服务器磁盘扩容 日常运行中,容器服务所在目录由于container-log.image的增加需要占用大量的磁盘空间,所以对/var/lib/docker/目录进行扩容挂载LVM数据盘. 首先查 ...

  8. FreeSql （二十二）Dto 映射查询

    适合喜欢使用 dto 的朋友,很多时候 entity 与 dto 属性名相同,属性数据又不完全一致. 有的人先查回所有字段数据,再使用 AutoMapper 映射. 我们的功能是先映射,再只查询映射好 ...

  9. 去掉Myeclipse对JS等文件的验证

    在用Myeclipse导入新工程或在写代码时,最郁闷的就是它对js,jsp,html的验证太严格了,有时会呈现一个红叉或者一个黄色的感慨号,一运行就报Cannot return from outsid ...

  10. HDFS原理及操作

    1 环境说明 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包.因为该目录用于安装had ...