【原创】大叔经验分享（36）CM部署kafka

1 下载kafka parcel

http://archive.cloudera.com/kafka/parcels/latest/
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1

# mv KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1 KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha
# cp KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel* /opt/cloudera/parcel-repo/

2 重启cloudera manager

进入菜单 ‘主机’ -> ‘Parcel’

点击 ‘分配’

点击 ‘激活’

等待

3 添加服务

启动kafka时有可能报错OOM，查看日志发现

export KAFKA_HEAP_OPTS=-Xmx50M

这个太小了，在control.sh中先设置BROKER_HEAP_SIZE，然后设置KAFKA_HEAP_OPTS

/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/349-kafka-KAFKA_BROKER/scripts/control.sh

直接修改启动脚本

# vi /opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35/lib/kafka/bin/kafka-server-start.sh
...
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS com.cloudera.kafka.wrap.Kafka "$@"

同步到所有服务器上，然后再重试启动kafka

如果要修改Zookeeper Chroot，一定要/开头，比如 /kafka

部署成功

部署的kafka版本是kafka_2.11-1.0.1-kafka-3.1.1.jar，对应官方版本kafka_2.11-1.0.1