Alluxio 1.5集群搭建

一、依赖文件安装

1.1 JDK

参见博文：http://www.cnblogs.com/liugh/p/6623530.html

二、文件准备

2.1 文件名称

alluxio-1.5.0-hadoop-2.7-bin.tar.gz

2.2 下载地址

http://downloads.alluxio.org/downloads/files/1.5.0/alluxio-1.5.0-hadoop-2.7-bin.tar.gz

三、工具准备

3.1 Xshell

一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。

3.2 Xftp

一个基于 MS windows 平台的功能强大的SFTP、FTP 文件传输软件。

使用了 Xftp 以后，MS windows 用户能安全地在UNIX/Linux 和 Windows PC 之间传输文件。

四、部署图

五、Alluxio安装

以下操作，均使用root用户

5.1 通过Xftp将下载下来的Alluxio安装文件上传到Master的/usr目录下

5.2 通过Xshell连接到虚拟机，在Master上，执行如下命令，解压文件：

# tar zxvf alluxio-1.5.0-hadoop-2.7-bin.tar.gz

5.3 在Master上，使用Vi编辑器，设置环境变量

# vi /etc/profile

在文件最后，添加如下内容：

#Alluxia Env
export ALLUXIO_HOME=/usr/alluxio-1.5.0-hadoop-2.7
export PATH=$PATH:$ALLUXIO_HOME/bin

5.4 退出vi编辑器，使环境变量设置立即生效

# source /etc/profile

通过scp命令，将/etc/profile拷贝到两个Slave节点：

#scp /etc/profile root@DEV-SH-MAP-02:/etc

#scp /etc/profile root@DEV-SH-MAP-03:/etc

分别在两个Salve节点上执行# source /etc/profile使其立即生效

六、Alluxio配置

登录Master节点，切换到/usr/alluxio-1.5.0-hadoop-2.7/conf目录下：

6.1 alluxio-env.sh

将alluxio-env.sh.template复制一份，改为alluxio-env.sh

#cp alluxio-env.sh.template alluxio-env.sh

使用vi编辑器，打开alluxio-env.sh，在文件最后，添加如下内容：

export ALLUXIO_MASTER_HOSTNAME=DEV-SH-MAP-01

export ALLUXIO_WORKER_MEMORY_SIZE=2GB

【注】worker节点内存大小，配置文件里所默认是1G，但是如果不配置这个选项，默认好像是全部内存的2/3，所以最好还是指定具体大小

6.2 workers

使用vi编辑器，打开workers，在文件最后，添加如下内容：

DEV-SH-MAP-02
DEV-SH-MAP-03

6.3 拷贝文件目录到两个Worker节点

在Master节点，执行如下命令：

#alluxio copyDir /usr/alluxio-1.5.0-hadoop-2.7/

6.4 建立java的软连接

【注】如果没有建立java的软连接，使用all命令启动时，会启动不起来，即使在alluxio-env.sh中显示export JAVA_HOME也不管用，不知道是不是Alluxio的一个Bug。

在logs/task.log中有日志：

[DEV-SH-MAP-] which: no java in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin)
[DEV-SH-MAP-] Cannot find the 'java' command.
[DEV-SH-MAP-] Connection to dev-sh-map- closed.

建立软连接命令：

ln -s /usr/jdk1.8.0_121/bin/java /usr/bin

七、Alluxio使用

7.1 格式化

#alluxio format

7.2 启动Alluxio

在Master节点，执行如下命令：

#alluxio-start.sh all Mount

使用jps命令查看是否启动成功：

AlluxioMaster
AlluxioProxy

7.3 通过浏览器查看Alluxio信息

浏览器中，输入http://10.10.0.1:19999

7.4 停止Alluxio

#alluxio-stop.sh all