Mdrill 安装部署(单机版)

前期：

--------------------------------------------------------

准备：

1、centos6.5 /7 x86_64（后期会更改主机名称）

2、jdk 1.6

3、hadoop

4、zookeerper-3.4.5

5、zeromq-2.1.7

6、jzmq 2.1.0

7、mdrill 0.20.9

-------------------------------------------------------

开始：（root用户）----------（-注：这里的主机名和hosts名都为master.chinaj.com,可以修改，但尽量不要修改，为了跟后面的文件相对应，否则需要更改的配置文件太多）

1、配置主机名：

nano /etc/sysconfig/network

修改为以下内容：

HOSTNAME=master.chinaj.com

2、配置hosts文件

nano /etc/hosts

增加如下内容：

主机ip地址 master.chinaj.com

(192.168.0.103  master.chinaj.com) ------此处为192.168.0.103

3、关闭SELINUX

nano /etc/selinux/config

修改SELINUX=disabled

--------------------------------------可能需要重启

4、配置好yum(/etc/yum.repos.d) 注：非常重要，很多软件都是基于yum安装

5、配置本机无密码登陆：

ssh-keygen -t rsa

cd /root/.ssh/

cat id_rsa.pub   >>authorized_keys   ------创建authorized_keys 文件

chmod 777 authorized_keys ---- 修改 authorized_keys 权限

ssh master.chinaj.com uptime-------注：测试，建议一定要执行；

6、安装 java jdk（jdk1.6）

yum install java-1.6.0-openjdk java-1.6.0-openjdk-devel

（注： 可以使用压缩包直接添加环境变量使用，这里直接安装，本可以不用配置环境变量，这里建议配置上环境变量，预防后面出错，也可以不添加环境变量，等出错后再 行添加，默认安装路径 /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.36.x86_64/,直接在/root/.bashrc 同下面要配置的环境变量一样，直接添加即可）

如果电脑上配置多个java环境可以通过 alternatives --cofig java 命名直接切换。

7、安装hadoop-0.20.2

解压目录src，进入目录后再次解压install.tgz,进入hadoop-0.20.2。此处不需要解压，若需要解压，请自行解压。（具体应该是hadoop-0.20.2-cdh3u3.tar.gz，此处已经给出）

直接添加环境变量：这里的目录为（/home/centos/mdrill/src/hadoop）

编辑 /root/.bashrc文件     nano  /root/.bashrc

添加：

export HADOOP_HOME=/home/centos/mdrill/src/hadoop

export PATH=$PATH:$HADOOP_HOME/bin--------------------------后面有其他的环境变量，可在此直接添加路径

8、立即启用bashrc文件 :  source    /root/.bashrc

9、完后验证 直接输入  hadoop  ---------------若出现“Usage: hadoop [--config confdir] COMMAND”  证明成功！

10、配置hadoop文件，（core-site.xml  ， mapred-site.xml  ，hdfs-site.xml。）------在install解压后hadoop文件夹conf目录下。给出的配置文件基本已经配置好，无需再配置--------------------注：如果您的主机名不是相对应，需要修改

大致内容如下：（按实际情况，谨慎修改）

 

11、启动hadoop  

start-all.sh
 ---启动完后查看进程  jps（如果有5个进程  JobTracker、SecondaryNameNode、NameNode、
DataNode、Jps  、TaskTracker 则启动成功）

----------------------------注：如果hadoop中的namenode节点没有起来的话，可以尝试 ：hadoop namenode  -format

12、在浏览器中输入    :           http：//主机IP地址:50070或者主机名加端口号，本机的话也可以localhost：50070

13、安装依赖   yum -y install libtool------------libtool工具

yum -y install gcc-c++ ------------------gcc工具https://app.yinxiang.com/Home.action#n=50d169d6-1209-4cb7-9702-c8056eb3b2a8&ses=4&sh=2&sds=5&

yum -y install uuid-devel

yum -y install libuuid-devel--------------- 安装uuid-devel   

14、安装 zeromq和jzmq

直接进入目录相应的目录后  rmp -ivh  zeromq-2.1.7.rmp

                                     rmp -ivh jzmq 2.1.0.rpm

15、 安装zookeeper-3.4.5

直接进入目录  在此为：/home/centos/mdrill/src/zookeeper-3.4.5

按照步骤7、8 中配置环境变量，并启用.

 ZOOPKEEPER_HOME=/home/centos/mdrill/src/zookeeper-3.4.5

 PATH=$PATH:$HADOOP_HOME/bin:$ZOOPKEEPER_HOME/bin

                                                               

16、验证  直接输入zkServer.sh----------------"Usage:   /home/mdrill/zookeeper-3.4.5/bin/zkServer.sh   {start|start-foreground|stop|restart|status|upgrade|print-cmd}"出现这样的提示，证明成功。

17、配置zookeeper服务   进入conf 目录

 cp zoo_sample.cfg  zoo.cfg -----------------注：请仔细观察，在给出的源码中，此处可省略，请酌情处理，因为这是配置好的.

在这里需要更改的为12行左右，dataDir=PATH（修改为自己的特定的路径）

常规的话，可能需要在末尾添加server.1=主机名：2888：3888，此处已经有了，不需要再次添加。

我这里的目录为 dataDir=/home/centos/mdrill/src/zookeeperdata

18、新建zookeeper服务数据文件夹

mkdir /home/centos/mdrill/src/zookeeperdata

nano /home/centos/mdrill/src/zookeeperdata/myid ------------------给文件myid中写入 “1”。

19、启动zookeeper并查看状态

zkServer.sh start

zkServer.sh status

20、启动客户端测试

zkCli.sh -server mdrill:2181 ---------------------------------“WATCHER::WatchedEvent

                                                                                       
state:SyncConnected   type:None path:null”

21、安装mdrill，，，配置storm.yml文件

nano /home/centos/mdrill/src/mdrill-0.20.9/conf/storm.yaml

修改内容主要是对主机地址，shards个数，worker启动参数进行调整。

内容大体如下：

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&

###zookeeper配置####

storm.zookeeper.servers:                                                                                                                                           - "master.chinaj.com"                                                                                            
 storm.zookeeper.port: 2181

storm.zookeeper.root: "/higo2"

####蓝鲸配置####

storm.local.dir: "/home/mdrill/alimama/bluewhale/stormwork"

nimbus.host: "master.chinaj.com"

####hadoop配置####

hadoop.conf.dir:   "/home/mdrill/hadoop-0.20.2-cdh3u3/conf"

hadoop.java.opts: "-Xmx128m"

####mdrill存储目录配置####

higo.workdir.list:   "/home/mdrill/alimama/higoworkerdir"---------------------/home/centos/mdrill/src/mdrillworker

#----mdrill的表格列表在hdfs下的路径-----

higo.table.path:   "/home/mdrill/tablelist"

#----mdrill中启动的solr使用的初始端口号-----

higo.solr.ports.begin: 51110

#----mdrill分区方式，目前支持default,day,month,single，default是将一个月分成3个区,single意味着没有分区-----

higo.partion.type: "month"

#----创建索引生成的每个shard的并行----

higo.index.parallel: 2

#----启动的shard的数，每个shard为一个solr实例，结合cpu个数和内存进行配置，10台48G内存配置60----

higo.shards.count: 2

#----基于冗余的ha,设置为1表示没有冗余，如果设置为2，则冗余号位0,1----

higo.shards.replication: 1

#----启动的merger server的worker数量，建议根据机器数量设定----

higo.mergeServer.count: 1

#----mdrill同时最多加载的分区个数，取决于内存与数据量----

higo.cache.partions: 1

…… ------------------------------绿色显示为要修改的地方，其他地方，请谨慎处理

&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&

22、新建mdrill工作目录  我这里是

mkdir /home/centos/mdrill/src/mdrillworkerdir-----------------------按照个人情况建立相应的目录

23、启动 hadoop

start-all.sh

24、启动zookeeper

zkServer.sh start

25、启动 nimbus

进入mdrill的bin目录    cd /home/centos/mdrill/src/mdrill-0.20.9/bin

修改 bluewhale的权限     chmod 777 ./bluewhale

启动nimbus    nohup ./bluewhale nimbus >nimbus.log   &

26、启动supervisor

依然在mdrill的bin目录中 nohup ./bluewhale supervisor   >supervisor.log &

27、启动ui和jdbc接口

mkdir ./ui -----------------此过程可以省略，因为该目录下已经存在该文件目录

nohup ./bluewhale   mdrillui 1107 ../lib/adhoc-web-0.18-beta.jar ./ui >ui.log &

启动后，可以通过浏览器打开mdrill的1107端口，看是否能正常打开即可，可看到下图：

27、查看进程 jps（应该具有以下进程）

Jps

NameNode

JobTracker

Supervisor

SecondaryNameNode

MdrillUi

NimbusServer

TaskTracker

DataNode

QuorumPeerMain

------------------------------------------------------------------------------------------

后期：

测试：单机测试