zookeeper、kafka、storm install

安装顺序 zookeeper,kafka,storm

install zookeeper

1.上传tar包，解压tar

tar -zxvf   zookeeper-3.4.6.tar.gz

2.复制 zoo_sample.cfg  重命名 zoo.cfg

cp zoo_sample.cfg  zoo.cfg

3.修改zoo.cfg配置文件

dataDir = /usr/local/zk/datadir

dataLogDir = /usr/local/zk/datalogdir

创建目录 /usr/local/zk/datadir , /usr/local/zk/datalogdir

注：/usr/local/ 是我的解压zookeeper存放位置，要根据你的zookeeper目录配置

接着添加zk集群IP地址

4.进入datadir，创建文件myid，并进行编号

5.启动zookeeper，查看日志是否启动成功

bin/zkServer.sh start

tail -f  zookeeper.out

install kafka

1.上传tar包，解压tar包

tar -zxvf  kafka_2.11-0.10.1.0.tgz

2.修改配置文件server.properties

border.id=1   //按顺序进行编号

host.name=192.168.10.2   //当前节点IP

log.dirs=/usr/local/kafka/log   //最好指向解压后的kafka目录内部，方便查看

zookeeper.connect=192.168.10.2:2181,192.168.10.3:2181,192.168.10.4:2181  //zookeeper集群IP:PORT

delete.topic.enable=true

注：把kafka复制到其他节点后，记得修改server.properties中的broker.id和host.name的值。

3.启动各个节点kafka

nohup bin/kafka-server-start.sh config/server.properties  2>&1 &

4.基本操作

创建主题

bin/kafka-topics.sh --create --zookeeper 192.168.10.2:2181,192.168.10.3:2181,192.168.10.4:2181 --replication-factor 1 --partitions 1 --topic test

描述主题

bin/kafka-topics.sh --describe --zookeeper 192.168.10.2:2181,192.168.10.3:2181,192.168.10.4:2181  --topic test

删除主题

bin/kafka-topics.sh --delete --zookeeper 192.168.10.2:2181,192.168.10.3:2181,192.168.10.4:2181  --topic test

生产者

bin/kafka-console-producer.sh --broker-list 192.168.10.2:2181,192.168.10.3:2181,192.168.10.4:2181 --topic test

消费者

bin/kafka-console-consumer.sh --zookeeper 192.168.10.2:2181,192.168.10.3:2181,192.168.10.4:2181 --topic test  --from-beginning

查看消费进度

bin/kafka-run-class.sh   kafka.tools.ConsumerOffsetChecker   --zookeeper  192.168.10.2:2181,192.168.10.3:2181,192.168.10.4:2181  --topic test-group group1

install storm

1.上传tar包，解压tar包

tar -zxvf  storm-1.0.2.tar.gz

2.修改配置文件 conf/storm.yaml

3.启动命令

启动nimbus

nohup bin/storm nimbus >storm.out  2>&1  &    //在主节点上启动

启动supervisor

nohup bin/storm supervisor >storm.out  2>&1  &   //在从节点上启动

启动ui

nohup bin/storm ui >storm.out  2>&1  &　　//集群任一节点启动

至此安装完成