kafka入门(采坑)笔记

前言

　　之前在工作和学习过程中也会有记笔记的习惯，但是没有发布出来，也因最近各方面的瓶颈急需突破和提升，所以还是要很积极的融入大环境大生态中，好废话不多说，说下这次遇到的问题

第一步启动zk

　　根据教程安装了zookeeper（非kafka自带）并启动成功  ，查看节点等，没有问题

第二步下载kafka安装包并解压

上传kafka 安装包

下载 1.0.0版本并解压缩。

　　> tar -xzf kafka_2.11-1.0.0.tgz

　　> cd kafka_2.11-1.0.0

第三步启动kafka服务器

　　建议启动前查看server.properties 配置文件是否有误

　　/kafka-server-start.sh config/server.properties

　　输出如下表示启动brokerId 的节点成功

第四步创建topic 

创建一个名为“test”的topic，它有一个分区和一个副本：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

命令来查看这个topic：

bin/kafka-topics.sh --list --zookeeper localhost:2181

test

第五步发送消息到topic

Kafka自带一个命令行客户端，它从文件或标准输入中获取输入，并将其作为message（消息）发送到Kafka集群。默认情况下，每行将作为单独的message发送

运行 producer，然后在控制台输入一些消息以发送到服务器。

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

This is a message

This is another message

第六步  启动客户端

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

This is a message

This is another message

到现在为止单节点的kafka 基本上就这些操作，接下来记录些遇到的问题主要是在单节点多broker 上

首先是copy配置文件

> cp config/server.properties config/server-1.properties

> cp config/server.properties config/server-2.properties

然后修改端口 和其他属性

config/server-1.properties:

broker.id=1

listeners=PLAINTEXT://:9093

log.dir=/tmp/kafka-logs-1



config/server-2.properties:

broker.id=2

listeners=PLAINTEXT://:9094

log.dir=/tmp/kafka-logs-2

启动后发现一个问题，至今没有解决 就是查看topic 等命令不报错，也没有回显

不过问题不大，功能正常，然后尝试使用程序连接

第七步导入依赖

<!--引入kafka依赖-->

<dependency>

  
<groupId>org.springframework.kafka</groupId>

  
<artifactId>spring-kafka</artifactId>

</dependency>



**在这里千万注意引入的客户端依赖的版本第一次引入了1.0的版本结果各种报错类找不到**

<!--引入kafka 客户端和服务端api依赖-->

<dependency>

  
<groupId>org.apache.kafka</groupId>

  
<artifactId>kafka-clients</artifactId>

   <version>2.3.1</version>

</dependency>

第八步配置文件

spring:

  kafka:

    bootstrap-servers: 服务器ip:9092   #服务其端口一定要开放

    producer:

      # 发生错误后，消息重发的次数。

      retries: 0

      #当有多个消息需要被发送到同一个分区时，生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小，按照字节数计算。

      batch-size: 16384

      # 设置生产者内存缓冲区的大小。

      buffer-memory: 33554432



      # 键的序列化方式

      key-serializer:
org.apache.kafka.common.serialization.StringSerializer

      # 值的序列化方式

      value-serializer:
org.apache.kafka.common.serialization.StringSerializer

      # acks=0 ： 生产者在成功写入消息之前不会等待任何来自服务器的响应。

      # acks=1 ： 只要集群的首领节点收到消息，生产者就会收到一个来自服务器成功响应。

      # acks=all ：只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。

      acks: 1

    consumer:

      # 自动提交的时间间隔 在spring boot 2.X 版本中这里采用的是值的类型为Duration 需要符合特定的格式，如1S,1M,2H,5D

      auto-commit-interval: 1S

      # 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理：

      # latest（默认值）在偏移量无效的情况下，消费者将从最新的记录开始读取数据（在消费者启动之后生成的记录）

      # earliest ：在偏移量无效的情况下，消费者将从起始位置读取分区的记录

      auto-offset-reset: earliest

      # 是否自动提交偏移量，默认值是true,为了避免出现重复数据和数据丢失，可以把它设置为false,然后手动提交偏移量

      enable-auto-commit: false

      # 键的反序列化方式

      key-deserializer:
org.apache.kafka.common.serialization.StringDeserializer

      # 值的反序列化方式

      value-deserializer:
org.apache.kafka.common.serialization.StringDeserializer

    listener:

      # 在侦听器容器中运行的线程数。

      concurrency: 5

      #listner负责ack，每调用一次，就立即commit

      ack-mode: manual_immediate

      missing-topics-fatal: false

在这里一定要注意 序列化接口类，这个官网上说的是 org.apache.kafka.common.serialization.Serializer接口，但是随着版本不同，接口可能不一样，网上也是多种多样，

接下来实现序列化接口即可

package com.example.kafka_study;



import org.apache.kafka.common.errors.SerializationException;

import org.apache.kafka.common.serialization.Serializer;



import java.io.UnsupportedEncodingException;

import java.util.Map;



/**

 * @Description: 序列化接口

 * @Author: Jingqi Qu

 * @CreateDate: 2021/3/16 11:46

 * @UpdateUser:

 * @UpdateDate:

 * @Version: [v1.0]

 */



public class Myseria implements Serializer<String> {





    private String encoding =
"UTF8";





    @Override

    public void configure(Map map,
boolean b) {



    }



    @Override

    public byte[] serialize(String s,
String data) {



        try {

            // 如果数据为空，那么直接返回null即可

            if (data == null)

                return null;

            else

                // 否则将String序列化，即转为byte[]即可

                return data.getBytes(encoding);

        } catch
(UnsupportedEncodingException e) {

            throw new
SerializationException("Error when serializing string to byte[] due to
unsupported encoding " + encoding);

        }





    }



    @Override

    public void close() {



    }

}

最后使用    KafkaTemplate 调用固定API即可

总结：

1、服务器防火墙关闭

2、服务器端口9092 开放 同时建议开放zk 2181 端口

3、客户端版本一定要适配

4、配置文件要根据kafka版本来配置

listeners 有的 配置0.0.0.0 有的配置 127.0.0.1 其实对于kafka版本是不一样的，会引发一些错误

另外

advertised.listeners
需要配置服务器ip + kafka端口  （供外部访问）

结束~~~~~~~~~~~~~~