Hadoop生态圈-Kafka的本地模式部署

　　　　　　　　　　　　　　　　　　　　Hadoop生态圈-Kafka的本地模式部署

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

一.Kafka简介

1>.什么是JMS

　　答：在Java中有一个角消息系统的东西，我们叫他Java Message Service，简称JMS。比如各种MQ。

2>.JMS的两种工作模式

　　第一种模式：点到点（point to point,简称P2P），典型的一对一模式（一个人发送数据的同时只有一个人接收数据），也有人称之为端到端（peer to peer）。

　　第二种模式：发布订阅模式（publish subscribe，简称P-S），典型的一对多模式（一个人发送数据的同时可以有多个人接收数据）。

3>.Kafka的工作模式

　　答：Kafka的工作模式可以把JMS的两种模式结合在一起，我们称之为消费者组模式。

4>.什么是Kafka

　　答：Kafka和flume以及Sqoop一样，他们都是中间件（不含有业务的技术组件）。Kafka在官方定义是分布式消息系统。当然Kafka还可以用在做分布式数据库，除此之外，它还可以当做分布式缓存。

5>.ApacheKafka是一个分布式流媒体平台

　　ApacheKafka是一个分布式流媒体平台，这到底是什么意思呢？接下来我们看一下流媒体平台有三个关键功能如下：

　　　　第一：发布和订阅记录流，类似于消息队列或企业消息传递系统。

　　　　第二：以容错持久的方式存储记录流。

　　　　第三：处理记录发生的流。

6>.Kafka通常用于两大类应用

　　第一：构建可在系统或应用程序之间可靠获取数据的实时流数据管道。

　　第二：构建实时流应用程序，用于转换或响应数据流。

7>.kafka版本介绍

　　kafka起先由领英（linkedin创建）公司，开源后被Apache基金会纳入子项目。我们在下载Kafka时，你是如何区分它的版本呢？比如本篇博客下载kafka的版本是“kafka_2.11-1.1.0”，这个“2.11”是scala（java语言脚本化）版本而“1.1.0”是kafka版本。

二.Kafka本地模式部署

1>.下载Kafaka

　　下载地址：http://kafka.apache.org/downloads。

2>.解压并创建软连接

[yinzhengjie@s101 data]$ tar xzf kafka_2.11-1.1.0.tgz -C /soft/
[yinzhengjie@s101 data]$ ln -s /soft/kafka_2.11-1.1.0/ /soft/kafka
[yinzhengjie@s101 data]$ 

4>.配置环境变量并使之生效

[yinzhengjie@s101 data]$ sudo vi /etc/profile
[sudo] password for yinzhengjie:
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ tail -3 /etc/profile
#ADD KafKa PATH
export KAFKA_HOME=/soft/kafka
PATH=$PATH:$KAFKA_HOME/bin
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ source /etc/profile
[yinzhengjie@s101 data]$ 

5>.修改配置文件

[yinzhengjie@s101 data]$ sed -i 's@#listeners=PLAINTEXT://:9092@listeners=PLAINTEXT://s101:9092@g' /soft/kafka/config/server.properties
[yinzhengjie@s101 data]$ sed -i 's@log.dirs=/tmp/kafka-logs@log.dirs=/home/yinzhengjie/kafka/logs@g' /soft/kafka/config/server.properties
[yinzhengjie@s101 data]$ sed -i 's@zookeeper.connect=localhost:2181@zookeeper.connect=s102:2181,s103:2181,s104:2181@g' /soft/kafka/config/server.properties
[yinzhengjie@s101 data]$ 

6>.启动kafka

[yinzhengjie@s101 data]$ kafka-server-start.sh -daemon /soft/kafka/config/server.properties
[yinzhengjie@s101 data]$ echo $?

[yinzhengjie@s101 data]$ jps | grep Kafka
 Kafka
[yinzhengjie@s101 data]$ netstat -untalp | grep
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp6              172.30.100.101:     :::*                    LISTEN      /java
tcp6              172.30.100.101:    172.30.100.101:     ESTABLISHED /java
tcp6              172.30.100.101:     172.30.100.101:    TIME_WAIT   -
tcp6              172.30.100.101:    172.30.100.101:     TIME_WAIT   -
tcp6              172.30.100.101:     172.30.100.101:    ESTABLISHED /java
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ 

7>.停止kafka

[yinzhengjie@s101 data]$ jps | grep Kafka
 Kafka
[yinzhengjie@s101 data]$ netstat -untalp | grep
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp6              172.30.100.101:     :::*                    LISTEN      /java
tcp6              172.30.100.101:    172.30.100.101:     ESTABLISHED /java
tcp6              172.30.100.101:     172.30.100.101:    TIME_WAIT   -
tcp6              172.30.100.101:    172.30.100.101:     TIME_WAIT   -
tcp6              172.30.100.101:     172.30.100.101:    ESTABLISHED /java
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ kafka-server-stop.sh
[yinzhengjie@s101 data]$ jps | grep Kafka
[yinzhengjie@s101 data]$ netstat -untalp | grep
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp6              172.30.100.101:    172.30.100.101:     TIME_WAIT   -
tcp6              172.30.100.101:     172.30.100.101:    TIME_WAIT   -
[yinzhengjie@s101 data]$
[yinzhengjie@s101 data]$ 

三.kafka初体验

1>.启动kafka（提供服务）

[yinzhengjie@s101 data]$ kafka-server-start.sh -daemon /soft/kafka/config/server.properties
[yinzhengjie@s101 data]$ netstat -untalp | grep
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp6              172.30.100.101:     :::*                    LISTEN      /java
tcp6              172.30.100.101:     172.30.100.101:    ESTABLISHED /java
tcp6              172.30.100.101:    172.30.100.101:     ESTABLISHED /java
[yinzhengjie@s101 data]$ jps | grep Kafka
 Kafka
[yinzhengjie@s101 data]$ 

[yinzhengjie@s101 data]$ kafka-server-start.sh -daemon /soft/kafka/config/server.properties

2>.创建主题（消息保管者）

[yinzhengjie@s101 data]$ kafka-topics.sh --zookeeper s102: --create  --partitions  --replication-factor   --topic yinzhengjie
Created topic "yinzhengjie".
[yinzhengjie@s101 data]$ 

[yinzhengjie@s101 data]$ kafka-topics.sh --zookeeper s102:2181 --create --partitions 2 --replication-factor 1 --topic yinzhengjie

3>.启动生产者（消息发送方）

[yinzhengjie@s101 data]$ kafka-console-producer.sh --broker-list s101: --topic yinzhengjie
>My name is yinzhengjie , I love Beijing!
>

[yinzhengjie@s101 data]$ kafka-console-producer.sh --broker-list s101:9092 --topic yinzhengjie

4>.启动消费者（消息接收方）

[yinzhengjie@s101 lib]$ kafka-console-consumer.sh --zookeeper s102: --topic yinzhengjie --from-beginning
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
My name is yinzhengjie , I love Beijing!

[yinzhengjie@s101 lib]$ kafka-console-consumer.sh --zookeeper s102:2181 --topic yinzhengjie --from-beginning