kafka "HelloWorld"实践

　　前面我们分别介绍了kafka的相关基本原理，kafka的集群服务器搭建以及kafka相关的配置，本文综合前面的理论知识，运用kafka Java API实现一个简单的客户端Demo。

开发环境

• 操作系统：MacOS 10.12.3
• 开发平台：Eclipse Neon.2 Release (4.6.2)
• JDK: java version 1.8.0_121
• zookeeper: zookeeper-3.4.9
• kafka: kafka-2.10-0.10.2.0

项目的建立与实现

　　首先为大家展示一下项目最终的结构图，如下：

　　下面开始建立项目：

• 首先建立一个基本的Maven Java Project 项目框架，项目名称为 kafkaDemo，建立项目流程参考：maven 基本框架搭建；
• 然后修改pom.xml文件内容，为项目引入kafka 客户端jar包：

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.10.2.0</version>
    </dependency>

　　添加完成后保存pom.xml，然后maven update project。当update完成后，maven依赖包里的jar包应该如上图所示。

　　下面分别添加producer和consumer客户端代码。

　　在src/main/java目录下新建package，命名为 com.unionpay.producer。由于kafka producer端有同步发送和异步发送之分，本项目将两个示例都进行展示，首先编写同步发送ProducerSync代码。

　　ProducerSync.java:

 package com.unionpay.producer;

 import java.util.Properties;

 import org.apache.kafka.clients.producer.KafkaProducer;
 import org.apache.kafka.clients.producer.Producer;
 import org.apache.kafka.clients.producer.ProducerRecord;

 public class ProducerSync {

     private static final String TOPIC = "my-replicated-topic";
     public static void main(String[] args) {
         // TODO Auto-generated method stub

         Properties properties = new Properties();
         //客户端用于建立与kafka集群连接的host:port组，如果有多个broker,则用“,”隔开
 //        "host1:port1,host2:port2,host3,post3"
         properties.put("bootstrap.servers", "127.0.0.1:9092");

 //        producer在向servers发送信息后，是否需要serveres向客户端（producer）反馈接受消息状态用此参数配置
 //        acks=0:表示producer不需要等待集群服务器发送的确认消息；acks=1:表示producer需要等到topic对应的leader发送的消息确认；
 //        acks=all:表示producer需要等到leader以及所有followers的消息确认，这是最安全的消息保障机制
         properties.put("acks", "all");
         properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         properties.put("buffer.memory", "33554432");

         Producer<String,String> producer = new KafkaProducer<String,String>(properties);

         for(int i=0;i<100;i++){

             String message = "Sync : this is the " + i + "th message for test!";
             ProducerRecord<String, String> producerRecord = new ProducerRecord<String, String>(TOPIC, message);
             producer.send(producerRecord);

             try {
                 Thread.sleep(1000);
             } catch (InterruptedException e) {
                 // TODO Auto-generated catch block
                 e.printStackTrace();
             }
         }

         producer.close();

     }

 }

　　然后编写异步ProducerAsync代码。

　　ProducerAsync.java:

 package com.unionpay.producer;

 import java.util.Properties;

 import org.apache.kafka.clients.producer.KafkaProducer;
 import org.apache.kafka.clients.producer.Producer;
 import org.apache.kafka.clients.producer.ProducerRecord;

 public class ProducerAsync {

     private static final String TOPIC = "my-replicated-topic";
     public static void main(String[] args) {
         // TODO Auto-generated method stub

         Properties  props = new Properties();
         props.put("bootstrap.servers", "127.0.0.1:9092");
         props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         props.put("producer.type", "async");
         props.put("batch.size", "16384");

         Producer<String,String> producer = new KafkaProducer<String,String>(props);

         for(int i=0;i<100;i++){

             String message = "Async : this is the " + i + "th message for test!";

             ProducerRecord producerRecord = new ProducerRecord(TOPIC, message);
             producer.send(producerRecord);

             try {
                 Thread.sleep(1000);
             } catch (InterruptedException e) {
                 // TODO Auto-generated catch block
                 e.printStackTrace();
             }
         }

         producer.close();
     }
 }

　　从两个代码文件比对来看，异步中多了一句配置语句props.put("producer.type", "async");

　　然后编写consumer端代码

　　GroupConsumer.java:

 package com.unionpay.consumer;

 import java.util.Arrays;
 import java.util.Properties;

 import org.apache.kafka.clients.consumer.ConsumerRecord;
 import org.apache.kafka.clients.consumer.ConsumerRecords;
 import org.apache.kafka.clients.consumer.KafkaConsumer;

 public class GroupConsumer {

     private static final String BROKER = "127.0.0.1:9092";
     private static final String TOPIC = "my-replicated-topic";

     public static void main(String[] args) {
         // TODO Auto-generated method stub

         Properties props = new Properties();
         props.put("bootstrap.servers",BROKER);
 //        用来唯一标识consumer进程所在组的字符串，如果设置同样的group id，表示这些processes都是属于同一个consumer group
         props.put("group.id", "group1");
 //        如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程挂掉时，由新的consumer使用
         props.put("enable.auto.commit", "true");
 //        consumer向zookeeper提交offset的频率
         props.put("auto.commit.interval.ms", "1000");
         props.put("session.timeout.ms", "30000");
         props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
         props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

         KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);

 //        订阅topic，可以为多个用,隔开Arrays.asList("topic1","topic2");
         consumer.subscribe(Arrays.asList(TOPIC));

         while(true){
             ConsumerRecords<String,String> consumerRecords = consumer.poll(100);

             for(ConsumerRecord<String,String> consumerRecord : consumerRecords){
                 System.out.println(consumerRecord.value());
             }
         }
     }
 }

　　到目前为止，我们的项目建立完成啦，下面启动zookeeper集群服务器，启动kafka集群服务器：

//启动zookeeper集群服务器
cd ~/DevelopEnvironment/zookeeper-3.4.9-kafka/bin
./zkServer.sh start

//启动kafka集群服务器
cd ~/DevelopEnvironment/kafka_2.10-0.10.2.0/bin
./kafka-server-start.sh ../config/server.properties
./kafka-server-start.sh ../config/server-1.properties
./kafka-server-start.sh ../config/server-2.properties 

　　当zookeeper集群服务器和kafka集群服务器启动成功后，然后分别运行GroupConsumer.java和ProducerAsync.java，客户端获取如下信息：

　　然后运行ProducerSync.java，客户端获取如下信息：

　　到此，游戏结束，我们的kafka API 使用demo介绍到此结束。