ubuntu16.04 Kafka 安装

Kafka核心概念：

下面介绍Kafka相关概念,以便运行下面实例的同时，更好地理解Kafka.
1. Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
2. Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
3. Partition
Partition是物理上的概念，每个Topic包含一个或多个Partition.
4. Producer
负责发布消息到Kafka broker
5. Consumer
消息消费者，向Kafka broker读取消息的客户端。
6. Consumer Group
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

安装：

1.sudo tar -zxf kafka_2.11-0.11.0.1.tgz -C /usr/local2  （我的Scala是2.11）

2.cd /usr/local2

3. sudo mv ./kafka_2.11-0.11.0.1 ./kafka

4.测试：

4.1启动zookeeper

cd /usr/local2/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties
4.2 启动Kafka服务端
bin/kafka-server-start.sh config/server.properties
5.以上都不要关闭，创建topic
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic soyo

这个topic叫soyo，2181是zookeeper默认的端口号，partition是topic里面的分区数，replication-factor是备份的数量，在kafka集群中使用，这里单机版就不用备份了

6. 查看创建的主题
bin/kafka-topics.sh --list --zookeeper localhost:2181  
7.producer生产数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic soyo
shell：输入数据
8.consumer来接收数据
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning  
shell：可以看到刚才的数据