安装Accumulo——突破自己，就是成长

前言

在我刚开始接触分布式集群的时候，是自己在几台虚拟机中手动安装的 Hadoop 和 Spark ，所以当时对 Hadoop 的配置有个简单的印象 ，但是后面发现了 Cloudera 和 Ambari 之后（两个分布式集群自动管理工具），就再没有手动安装过。这就导致我用了很久的 Accumulo 却从未手动安装过，使用 Cloudera 安装导致我根本没有关心 Accumulo 是怎么从无到有冒出来的，只是简单了解了安装的大概过程，并学会了如何使用它。

今天不同，当我再次安装 Cloudera 集群的时候，首先选择了 Ubuntu 16.04 操作系统进行安装（是的，我是个非常愿意尝试新鲜事物的人），无耐装好之后才发现使用 16.04 导致 Accumulo 的安装包（Parcel）根本无法进行集群内的分发，这就意味着我无法安装它，折腾了半天之后未果，当然自己也有想着手动安装一下算了，但是懒惰的本性让我打消了这个念头，我不愿意冒着折腾半天未必能成功的风险去手动安装，因为我有更好的解决方案——只需要将操作系统退回到 14.04 即可，因为我有多次在 14.04 上安装成功的经验，所以胸有成竹。但气愤的是不知什么问题，整个集群安装成功之后在安装 Accumulo 的时候一直报错，报错的原因是环境变量的问题，用惯了集群，我根本不知道这个问题应当如何解决，多次折腾未果。把人逼到绝路的时候，也就是应当改变的时候了，于是只能走上手动安装，这就有了今天这篇文章。

安装过程

打开 Accumulo 官网，很自然的先去找 quickstart，网址为：http://accumulo.apache.org/quickstart-1.x/。文档里写的很清楚，但是刚接触的人（比如我这个貌似老手的新手），也会有点不知所云，学习的最好方式就是去尝试，于是我毫不犹豫的就按照提示步骤执行下去。

首先是下载，无需多言，在 http://accumulo.apache.org/downloads/ 中选择自己想要安装的版本即可。

下载完后，解压缩并进入目录，前几步都没有问题，按照要求执行即可，当走到 Initialization 的时候一直在报错，折腾了许久才慢慢明白怎么回事，解决问题的过程也就对 Accumulo 和 Accumulo 的安装有了更加清晰的认识，知道了 Accumulo 到底是怎么回事。

安装过程中的难点主要在于配置 conf/accumulo-site.xml 和 conf/accumulo-env.sh 这两个文件，要配置好这两个文件就要对 Cloudera 和基础的 Hadoop 有了解。我先来介绍一下这两个文档如何修改，再来对修改的原因和整体做一介绍。

• conf/accumulo-site.xml

将 instance.volumes 改为 hdfs://master:8020/accumulo，master 为 hadoop namenode 节点的

IP 或者 hostname，8020 为 cdh 环境下的 HDFS 端口；将 instance.zookeeper.host 修改为 zk1:2181,zk2:2181,zk3:2181，其中 zk1-3 为 zookeeper 的节点 IP 或 hostname，当然不一定是 3 个，根据自己的情况而定；将 trace.token.property.password 修改为你想要设置的密码；将 general.classpaths 修改如下：

$ACCUMULO_HOME/lib/accumulo-server.jar,
$ACCUMULO_HOME/lib/accumulo-core.jar,
$ACCUMULO_HOME/lib/accumulo-start.jar,
$ACCUMULO_HOME/lib/accumulo-fate.jar,
$ACCUMULO_HOME/lib/accumulo-proxy.jar,
$ACCUMULO_HOME/lib/[^.].*.jar,
$ZOOKEEPER_HOME/zookeeper[^.].*.jar,
$HADOOP_CONF_DIR,
$HADOOP_PREFIX/share/hadoop/common/[^.].*.jar,
$HADOOP_PREFIX/jars/[^.].*.jar,
$HADOOP_PREFIX/share/hadoop/common/lib/(?!slf4j)[^.].*.jar,
$HADOOP_PREFIX/share/hadoop/hdfs/[^.].*.jar,
$HADOOP_PREFIX/share/hadoop/mapreduce/[^.].*.jar,
$HADOOP_PREFIX/share/hadoop/yarn/[^.].*.jar,
$HADOOP_PREFIX/share/hadoop/yarn/lib/jersey.*.jar

主要是添加 $HADOOP_PREFIX/jars/[^.].*.jar 项，这个文件中存放了与 hadoop 有关的所有 jar 包，注意匹配处必须写为 [^.].*.jar，直接写通配符 *.jar 不能正常工作，这涉及到正则表达式，具体可以查阅相关资料。

• conf/accumulo-env.sh

设置 HADOOP_PREFIX 为 /opt/cloudera/parcels/CDH-5.11.2-1.cdh5.11.2.p0.4，最后一级目录根据安装版本不同会发生变化；设置 JAVA_HOME 为 /usr/jdk1.8.0_*，此处是自己安装的 jdk 目录，安装 jdk 查阅相关资料，JDK1.8应该是个不错的选择；设置 ZOOKEEPER_HOME 为 /opt/cloudera/parcels/CDH/lib/zookeeper；设置 HADOOP_CONF_DIR 为 /etc/hadoop/conf。

完成上述两个文件的修改，在接着官方文档执行即可，所以整个步骤其实非常简单。下面我来分析一下整个安装过程并通过安装过程简单分析一下 Accumulo 的大概工作原理。

分析

在下载并解压完压缩包之后会执行 ./bin/bootstrap_config.sh，其实这一步的目的就是为了生成和简单配置上面要修改的两个文件，整个安装过程的核心也在上面的两个文件，先来看一下 conf/accumulo-env.sh 文件要修改的内容，其实就是 Hadoop 安装路径、JDK 路径和 Zookeeper 安装路径，这三个路径刚好说明了 Accumulo 的工作原理：基于 JDK 通过 Zookeeper 进行集群调度，并将自己的数据保存到 HDFS 中，就像普通的数据库数据保存在文件系统中，Accumulo 将数据保存到 HDFS 中，这样就实现了分布式数据库。由于我是采用 CDH 安装的 Hadoop 集群，所以 HADOOP_PREFIX 和 ZOOKEEPER_HOME 是固定的，Cloudera 通过 pacel 管理集群，所以其安装路径都是在 /opt/cloudera/parcels 文件夹下。

知道了上面这些也就明白了 conf/accumulo-site.xml 的修改原因，instance.volumes 指定了 HDFS 节点，使得 Accumulo 能够正常访问 HDFS；instance.zookeeper.host 指定了 zookeeper 集群的路径，使得 zookeeper 能够管理 accumulo；general.classpaths 指定了 Accumulo 工作的 jar 包。

总结

在我尝试手动安装 Accumulo 并成功之后，我才发现 Accumulo 并不复杂。一切事情都是这样，你想象中很复杂或者惧怕的事情其实只要你动手去实践、一点点去突破就会慢慢的解决，当然一切看似简单的事情也都会有各种各样的问题，只有亲自去尝试才是解决问题和发现问题的最好方式。

纸上得来终觉浅，绝知此事要躬行！共勉