CDH 安装 kafka

　　　　　　

前言　　

　　其实cloudera已经做了这个事了，只是把kafka的包和cdh的parcel包分离了，只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。

具体实现的简要步骤可参照cloudera官网提供的文档：http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html，

下面就是我根据这个文档的集成过程。

kafka相关包准备

csd包：http://archive.cloudera.com/csds/kafka/

parcel包：http://archive.cloudera.com/kafka/parcels/latest/ （ 根据自己的集群的系统版本下载 ）

我用的是centos7 x64的系统，所以我下载的parcel包为KAFKA-3.1.0-1.3.1.0.p0.35-el7.parcel与KAFKA-3.1.0-1.3.1.0.p0.35-el7.parcel.sha1

集成实现

1. 关闭集群，关闭cm服务（ 假如不关闭cm服务，会出现在添加kafka服务时找不到相关的服务描述 ）

2. 将csd包放到cm安装节点下的 /opt/cloudera/csd目录下，如图 :

　　　　

　　3.将parcel包放到cm安装节点下的 /opt/cloudera/parcel-repo目录下，如图：

　　　　

　　　　

　　4.启动cm服务，分配并激活percel包

　　　　

　　　　

　　　　

　　　　　　

　　　　　分配完后记得激活。

　　5. 添加kafka服务：

　　　　

　　6.CDH中需要配置kafka一些信息，不是自动的，具体如下：

　　　　

　　　　

　　　　

　　　　

　　　然后直接继续就好了，kafka MirrorMaker 可以不用分配，分配了也启不来，具体什么原因待纠正。