Kafka（二）-- 安装配置

一、单机部署

1.下载kafka，可在apache官网上下载，kafka要和JDK版本对应，我使用的是JDK1.7，kafka为0.10

2.进入到 /usr/java 中，解压到 此文件夹中

　　tar -zxvf kafka_2.12-0.10.2.0.tgz

3. 因为kafka是通过Zookeeper来集群的，所以先开启Zookeeper集群（当然开启一个Zookeeper也可以），此处用了3个Zookeeper实现了伪集群，集群的方法见此处

4.修改kafka的 /usr/java/kafka_2.12-0.10.2.0/config/server.properties 配置文件，配置Zookeeper的地址，将zookeeper.connect 的值改为：

　　zookeeper.connect=192.168.80.128:2181,192.168.80.128:2182,192.168.80.128:2183

5.启动kafka，进入到kafka的 bin 目录，需要指定启动的配置文件。

　　启动（以后台方式启动）： ./kafka-server-start.sh  -daemon  ../config/server.properties

　　在Zookeeper中查看节点：ls / ，发现多个很多节点

　　

　　由此，kafka 已经启动成功了，启动成功之后 kafka 会暴露一个 9092的端口。

6.创建一个topic

　　./kafka-topics.sh --create --zookeeper localhost:2181,localhost:2182,localhost:2183  --replication-factor 1 --partition 2 --topic TestTopic

　　解析：create 为 创建一个topic；

　　　　   zookeeper 为 指定的zookeeper的地址和端口；

　　　　   replication-factor 为 topic要在 不同的 broke中保存几分，因为此处没有做集群，则只有一个broker；

　　          partition 为 分区；

　　　　   topic 为 创建的topic的名字；

7.查看创建的topic

　　命令行方式：./kafka-topics.sh --list --zookeeper localhost:2181,localhost:2182,localhost:2183

　　

　　在Zookeeper中查看：ls  /brokers/topics

　　

　　所有的消息都死通过Zookeeper管理的，不论是发送还是消费。

8.启动消费者，监听6中创建的topic：TestTopic

　　./kafka-console-consumer.sh --zookeeper localhost:2181,localhost:2182,localhost:2183 --topic TestTopic --from-beginning

9.重新打开一个窗口，启动生产者，发送消息

　　./kafka-console-producer.sh --broker-list 192.168.80.128:9092 --topic TestTopic

　　发送：hello kafka，在消费端可以看到 收到信息了。然后多发送几条消息，后面会用到，先发送7条消息。

10.查看kafka的日志：

　　cd /tmp/kafka-logs/  （因为 server.properties中配置的 log.dirs=/tmp/kafka-logs）

　　会看到 里面有 TestTopic-0 和 TestTopic-1：

　　

　　因为创建topic的时候创建了两个分区，所以有两个partition。短横线后面的表示 分区的号。

　　进入到 TestTopic-0中： cd TestTopic-0/，有两个文件：

　　

　　如果直接查看log文件的话，里面会是乱码，所以使用下面命令查看日志：

　　/usr/java/kafka_2.10-0.10.0.0/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-log，

　　发现日志中有刚刚发的消息，但是发的日志中消息的数量并没有7条，这是因为消息会平均分配在两个partition中，即 TestTopic-0 和 TestTopic-1 中，在TestTopic-0中有4条，就会在TestTopic-1中有3条，一个partition就对应本地的一个物理文件，每个文件中存储的就是消息的内容，消息是持久化存储在磁盘中的，即使消费了的消息也会依然存储在磁盘中，消息的多少和处理消息的效率没太大影响。

二、集群部署（此处为伪集群，部署两个Kafka）

1.开启Zookeeper集群。

2.在 /usr/java中新建kafkaCluster文件夹，然后在 kafkaCluster中新建 kafka1 和 kakfa2 文件夹，将 kafka_2.12-0.10.2.0.tgz 解压到 kafka1 和 kafka2中。

3.修改kafka1 中的 server.perproties文件（192.168.99.50为服务器的IP），

　　（1）将zookeeper.connect的值改为：zookeeper.connect=192.168.99.50:2181,192.168.99.50:2182,192.168.99.50:2183，

　　（2）将advertised.listeners的值改为：advertised.listeners=PLAINTEXT://192.168.99.50:9092。

　　（3）修改端口：listeners=PLAINTEXT://:9092

4.修改kafka2 中的server.perproties文件，

　　（1）将zookeeper.connect的值改为：zookeeper.connect=192.168.99.50:2181,192.168.99.50:2182,192.168.99.50:2183，

　　（2）将broker.id 的值 改为 ：broker.id = 1 ，用于区分是哪一个broker，相当于 ActiveMQ中的myid。

　　（3）将advertised.listeners的值改为：advertised.listeners=PLAINTEXT://192.168.99.50:9093。

　　（4）修改端口：listeners=PLAINTEXT://:9093

　　（5）修改日志文件保存的位置：log.dirs=/tmp/kafka-logs2（伪集群的时候需要修改，否则会报 文件锁定的错，kafka.common.KafkaException: Failed to acquire lock on file .lock in /tmp/kafka-logs. A Kafka instance in another process or thread is using this directory.）

5.分别启动 kafkka1 和 kafka2 ，进入  bin中，

　　./kafka-server-start.sh -daemon ../config/server.properties

6.查看 Zookeeper节点，

　　ls /brokers/ids，发现有两个节点，为 [0,1]，然后我们 取出 0 和 1 中的值，从 endpoints的值就可以看出我们修改advertised.listeners值的原因，如果不修改的话，默认的是localhost，集群中根本不知道是哪一个。

　　get  /brokers/ids/0

　　

7.验证集群是否成功，在kafka1 中发消息，在 kafka2 中收消息。

　　1) 首先创建一个topic，如果不创建，发消息的时候会自动帮我们创建topic，但是就不会指定partition了。

　　    ./kafka-topics.sh --create --zookeeper localhost:2181,localhost:2182,localhost:2183  --replication-factor 1 --partition 4 --topic jiqun

　　2) 查看Zookeeper上节点：ls /brokers/topics，存在 刚刚创建的jiqun 的topic

　　    

　　3) 在kafka2中 启动消费者，

　　　 ./kafka-console-consumer.sh --zookeeper localhost:2181,localhost:2182,localhost:2183 --topic jiqun --from-beginning

　　4) 在kafka中 启动生产者，发送消息，

　　    ./kafka-console-producer.sh --broker-list 192.168.99.50:9092,192.168.99.50:9093 --topic jiqun，

　　     发送 ：How are you! ，发现 消费者中 接收到 How are you!

　　说明集群部署成功！

　　5) 查看kafka1 的日志目录，cd /tmp/kafka-logs/，发现有 jiqun-1 和 jiqun-3

　　    

　　6) 查看kafka2 的日志目录，cd /tmp/kafka-logs2/，发现有jiqun-0 和 jiqun-2

　　   

　　这就说明kafka是一个分布式的消息中间件。在不同的 物理机上 存在着真实的文件，又是以顺序存储的。我们可以进入到 partitsion中 找出 刚刚 发送的消息 在哪一个 partision中，发现在jiqun-0上，

　　

　　kafka消息是顺序写入的，kafka之所以性能高，是因为零拷贝 和 顺序写入磁盘，顺序写入磁盘的效率比随机写入磁盘的效率高几百倍甚至上千倍。

　　kafka读取消息 是 consumer 主动pull 消息的，并不是 broker push 到consumer的，这也是和 ActiveMQ的区别，kafka的消费能力是由 consumer来决定的，pull的时候 是根据offset 来拿到消息。

　　kafka的message是以topic为基本单位，不同的topic之间是相互独立的，可以理解为不同的topic就是不同的业务，每一个topic中又可以分成几个不同的partision（创建的时候指定），每个partision存储一部分message。Zookeeper上不会保存 message。

　　查看日志文件中得到的数据分析：

• offset: 0 逻辑上值，递增，主键
• position: 0 物理偏移量
• CreateTime: 1491920255486 创建时间
• isvalid: true 是否有效
• payloadsize: 3 消息大小
• magic: 1 协议版本号
• compresscodec: NONE 是否压缩
• crc: 3544424991 算法
• payload: How are you! 消息内容

8.配置master-slave模式

　　创建topic的时候， ./kafka-topics.sh --create --zookeeper localhost:2181,localhost:2182,localhost:2183  --replication-factor 2 --partition 4 --topic ceshiMasterSlave。

　　这样在消息既在master上保存，又在slave中保存。

9.查看哪一个leader，哪一个是follow

　　./kafka-topics.sh --describe --zookeeper localhost:2181,localhost:2182,localhost:2183 --topic ceshiMasterSlave