storm环境搭建

备注——使用：

1、单机版本：

启动zkServer、nimbus、supervisor、ui服务：

 zkServer.sh start

 zkServer.sh status   #查看zkserver是否成功启动  （bin/zkCli.sh启动java客户端测试zookeeper服务是否可用）

 storm nimbus&

 storm supervisor&

 storm ui&

通过http://UI_Server:8080可以打开Storm Web UI看看Storm集群的状态。

在命令窗口输入: jps 可以查看各个进程的运行状态：

 Jps  对应的进程是  Java jps

 core  对应的进程是  Storm UI

 nimbus 对应的进程是  Storm nimbus

 supervisor 对应的进程是  Storm supervisor

 QuorumPeerMain 对应的进程是  zkServer.sh

 worker  对应的线程是  Storm main函数里面的设置项

2、集群版本：

 安装所需的工具软件；

 修改zookeeper的配置文件(zookeeper/conf/zoo.cfg)；

 修改storm的配置文件(storm/conf/storm.yaml)；

 注：如果使用的几台机器是有别名的，一定要在每一台机器上都做好所有机器的host，修改vim /etc/hosts 将每一台机器的别名都配置到hosts文件上。

将此台nimbus电脑上的 zookeeper 和 storm 文件夹复制到其他的电脑对应的文件夹下。就可以以下命令来启动从属节点上的storm：

 zkServer.sh start

 zkServer.sh status   #查看zkserver是否成功启动

 storm supervisor&

 storm ui&

需要注意的是：其他电脑/opt/zookeeper/myid 文件里的数字要和zoo.cfg文件里server编号对应。

zoo.cfg文件里：

 server.1=172.16.0.235:4887:5887 #第一个节点地址

 server.2=172.16.0.233:4887:5887 #第二个节点地址

注：改好zoo.cfg文件后，记得在dataDir = /opt/zookeeper目录下创建myid文件，从1开始，每个服务器加1就行。

附注环境搭建参考链接：

storm环境搭建（前言）

官方手册：Setting Up a Development Environment

徐明明博客：Twitter Storm: 配置开发环境、Twitter Storm: Maven配置

storm集群整体部署：http://www.cnblogs.com/tovin/p/3966570.html（简单明了）

twitter storm安装和storm-start的本地运行

Storm集群安装部署步骤【详细版】

Twitter Storm安装配置（单机版）笔记

Twitter Storm安装配置（集群）笔记

storm安装笔记以及提交拓扑任务

具体的搭建步骤如下：

Ubuntu14.04安装配置jdk1.8.0_31

第一步：下载jdk-8u31-linux-x64.tar.gz　

 wget -c http://download.oracle.com/otn-pub/java/jdk/8u31-b13/jdk-8u31-linux-x64.tar.gz

(注：建议迅雷下载好后，直接拷贝到Linux系统上)

第二步：解压、安装

 sudo mkdir /usr/lib/jvm

 sudo tar zxvf jdk-8u31-linux-x64.tar.gz -C /usr/lib/jvm

第三步：修改环境变量

 sudo gedit /etc/profile

添加

 #set java environment

 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31

 export JRE_HOME=${JAVA_HOME}/jre

 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

 export PATH=${JAVA_HOME}/bin:$PATH

保存退出即可。

第四步：配置默认jdk版本（which java 检查）
为了将我们安装的jdk设置为默认jdk版本，还要进行如下工作：
执行代码：

 sudo update-alternatives --install /usr/lib/java java /usr/lib/jvm/jdk1.8.0_31/bin/java 300

 sudo update-alternatives --install /usr/lib/javac javac /usr/lib/jvm/jdk1.8.0_31/bin/javac 300

执行代码：

 sudo update-alternatives --config java

系统会列出各种jdk版本，如下所示：

 There is only one alternatives in link group java (providing /usr/bin/java): /usr/lib/jvm/jdk1.8.0_31/bin/java

 Nothing to configure

(注：如果是第一次安装jdk，可以跳过此过程)

第五步：测试

 java -version

显示以下信息，说明已经配置成功

 java version "1.8.0_31"

 java(TM) SE Runtime Envirment (build 1.8.0_31-b13)

 java HotSpot(TM) 64-Bit Server VM (build 25.31-b07，mixed mode)

Ubuntu14.04下ZooKeeper-3.4.6的安装与配置（单机版）

第一步：下载ZooKeeper的安装包

链接地址为：http://mirror.bit.edu.cn/apache/zookeeper/

第二步：解压ZooKeeper安装包

 sudo tar -zxvf zookeeper-3.4.6.tar.gz

 chown -R mqx:mqx zookeeper-3.4.6

第三步：设置环境变量

 #set zookeeper environment

 export ZOOKEEPER=/home/hadoop/zookeeper-3.4.6

 export PATH=$PATH:$ZOOKKEEPER/bin

第四步：配置
配置文件位置：/home/hadoop/zookeeper-3.4.6/conf，将zoo_sample.cfd文件名称改为zoo.cfg, 缺省的配置内容如下：（单机版不用配置zoo.cfg文件）

 # The number of milliseconds of each tick

 tickTime=2000

 # The number of ticks that the initial

 # synchronization phase can take

 initLimit=10

 # The number of ticks that can pass between

 # sending a request and getting an acknowledgement

 syncLimit=5

 # the directory where the snapshot is stored.

 # do not use /tmp for storage, /tmp here is just

 # example sakes.

 dataDir=/tmp/zookeeper

 # the port at which the clients will connect

 clientPort=2181

 # the maximum number of client connections.

 # increase this if you need to handle more clients

 #maxClientCnxns=60

 #

 # Be sure to read the maintenance section of the

 # administrator guide before turning on autopurge.

 #

 # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

 #

 # The number of snapshots to retain in dataDir

 #autopurge.snapRetainCount=3

 # Purge task interval in hours

 # Set to "0" to disable auto purge feature

 #autopurge.purgeInterval=1

配置说明：

tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。

dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。可以是任意目录。

clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

第五步：启动ZooKeeper

 运行脚本：在/bin目录下

 ./zkServer.sh start # 启动

 ./zkServer.sh status # 查看状态

 ./zkServer.sh stop # 关闭

注：bin/zkCli.sh启动java客户端测试zookeeper服务是否可用

Ubuntu14.04下apache-storm-0.9.2的安装与配置（单机版）

第一步：下载apache-storm-0.9.2-incubating.tar.gz 的安装包

链接地址为：http://www.apache.org/dyn/closer.cgi/storm/apache-storm-0.9.2-incubating/apache-storm-0.9.2-incubating.tar.gz

第二步：解压storm安装包

 sudo tar -zxvf apache-storm-0.9.2-incubating.tar.gz

第三步：设置环境变量
修改/etc/profile，在文件中加入：
```
 #set storm environment

 export STORM=/home/mqx/storm/apache-storm-0.9.2-incubating

 export PATH=$PATH:$STORM/bin 
```
保存退出后，执行source /etc/profile使其立刻生效

第四步：配置

创建一个storm的本地数据目录

 mkdir -p /var/tmp/storm/workdir/

修改storm下/config/storm.yaml文件，如下所示：

 ########### These MUST be filled in for a storm configuration

 storm.zookeeper.servers:

 - "localhost"

 # - "server2"

 #

 storm.zookeeper.port: 2181

 nimbus.host: "mqx"

 supervisor.slots.ports:

 - 6700

 - 6701

 - 6702

 - 6703

 storm.local.dir: "var/tmp/storm/workdir"

注意：在每个配置项前面必须留有空格，冒号后面也要加空格，否则会无法识别。

i.nimbus.host: "mqx"是nimbus的IP或hostname；
  storm.local.dir: "var/tmp/storm/workdir" 表示storm需要用到的本地目录；
  storm.zookeeper.servers表示哪几台机器是zookeeper服务器；
  storm.zookeeper.port表示zookeeper的端口号，这里一定要与zookeeper配置的端口号一致，否则会出现通信错误，切记切记。

ii. supervisor.slots.ports 表示supervisor节点的槽数，就是最多可以跑几个worker进程；是配置slot的ip地址，配了几个地址，就有几个slot，即几个worker。每个worker占用一个单独的端口用于接收消息。如果尝试提交的topology所声明的worker数超过当前可用的slot，该topology提交会失败。

第五步：启动

 在storm的bin目录下执行：

 ./storm nimbus #启动nimbus

 ./storm ui #启动ui

 ./storm supervisor#启动supervisor 

附： 
提交拓扑命令：storm jar stormDemo.jar com.storm.example.SimpleTopology test1   
——(stormDemo.jar是包含Topology实现代码的jar包；com.storm.SimpleTopology的main方法是Topology的入口；test1为参数)

杀死拓扑命令: storm kill test1  
——(test1是Topology的任务名称)