安装ClouderaManager以及使用ClouderaManager安装分布式集群的若干细节

目录

1. 前言
2. 整体介绍
3. 分步安装介绍
4. 总结

一、前言

       周末干了近四十个小时中间只休息了五个小时终于成功安装了ClouderaManager以及分布式集群，其中各种辛酸无以言表，唯有泪两行。总体是安装的很慢，但是其中有很多细节问题，需要记录下来使以后再次安装少走弯路，以及给其他有需要的人提供一点参考。

二、整体介绍

       整体上可以借鉴之前我写的一篇博客使用Ambari安装hadoop集群。安装共分三步，第一步安装并配置操作系统（本文采用Ubuntu14.04，其他的可以参考相应安装方法）；第二步安装ClouderaManager；第三步安装分布式集群。

三、分步安装介绍

3.1 安装并配置操作系统

       整体配置包括启用root用户等都可以参考上述文章，这里强调一些细节。安装并配置操作系统应该是整个安装过程的核心，能否顺利完成分布式集群安装主要就在这一步，本次仅操作系统就重新安装了5次，已经变成了一个熟练的Ubuntu装机码农。这里面有太多的问题需要考虑，本次之所以折腾这么久，也主要浪费在这上面。根据此次经验我总结一定要注意以下几点：

       1、首先安装版本的选择，一定要安装ClouderaManager支持的版本，ClouderManager5目前Ubuntu只支持到14.04，其他系统可以查看具体要求。

       2、安装过程中时区选择一定要正确并统一，不然会造成时间同步的问题。为了严格时间同步，需要使用apt-get install ntp安装ntp进行时间同步。

       3、网络（IP、DNS等）在安装过程中可以先不进行配置，以节约时间，待安装完成后统一配置内网外IP及网关等，同时配置双网卡需要第一块网卡不在/etc/network/interfaces文件中配置gateway，使用route add -net 192.168.1.0/24 gw 192.168.1.1 dev eth1命令设置第一块网卡的路由，也可以将上述语句写到/etc/rc.local文件里，防止每次重启系统都要重新配置路由。

       4、用户名密码切记一定不要使用古怪的字符包含下划线中划线等等，密码也不要使用弱密码类型，否则真的可能是会出现各种各样莫名其妙、让人无法查找ERROR的问题。

       5、尽量启用系统root用户，否则在配置sudo免密码的时候就会有各种问题，并且在安装ClouderaManager的时候也会出现各种权限问题。

       6、每台机器的hosts配置要准确，不然肯定是要出问题的。

       7、如果网速不够快，可以将ubuntu的源替换成阿里云。

       8、最重要的一点，如果后续步骤一旦安装失败或报错，并且折腾一会之后找不到解决的办法，不要犹豫，马上重装系统，6台机器重装加配置一遍操作系统如果有6个系统盘加KVM的话也就顶多一个小时，但是你要真的去找问题，用上两个小时也不一定能找到问题，只会越来越纠结。

3.2 安装ClouderaManager

       首先切换到root用户，然后使用以下命令下载并安装即可：

wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin
./cloudera-manager-installer.bin

       这里面倒是没有什么特别需要注意的地方，只需要注意下载相应的版本以及在安装的过程中不要出现关机、断网等情况。

3.3 安装分布式集群

       如果前面两步都完成的很好的话这一步应该是很轻松的，本次安装中在最最后看着那一个个轻松飘来的绿色√，真的是喜极而泣、言不成声。但是回首整个过程真的是在安装集群这一步无比辛酸，前两步操作没有注意到的各种细节都会在这里变成一个个无法查找的ERROR，让人痛苦万分。该步需要注意以下细节：

       1、整个安装过程中使用tail -fn 300 /var/log/cloudera-scm-agent/cloudera-scm-agent.log来监控安装中出现的各种问题，有的时候web ui界面显示成功，可能并不是真的成功了，如果接着往下走肯定是不行。本次安装中就是刚开始没注意，在进行cdh分发以及激活的时候前台界面一直显示的成功，但是后来查看日志发现一直在报无法激活的错误，所以导致后续安装根据就不往下进行，只是简单的提示安装hdfs等出错，根本不给任何错误的信息，就无法发现问题，发现问题是解决问题的第一步，发现不了何谈去解决问题，当然造成无法激活的原因我猜测应该就是3.1中讲述的那些。

       2、关于选择单用户还是多用户模式可以根据自己的需要，二者区别并不大，只是多用户会创建hdfs、zookeeper等用户，但是一旦某一种模式安装失败，第二次安装的时候请换另一种模式，不要太执着，否则真的可能是一遍遍的重装仍无法解决问题。

       3、选择安装内容的时候可以先选少一点，比如选择自定义模式并只选spark、hdfs、zookeeper、YARN这几个。因为选的越少出现错误的可能性越小，而等这几个分布式的基础软件安装完毕之后，再安装其他的就很容易，不需要再从安装操作系统开始。

       4、如果集群安装失败可以重新安装一遍，只需要在管理界面点击添加集群，但是要通过管理界面将ClouderaManager中的Cluster1集群删除（默认叫这个名字，因为虽然安装失败但是集群在ClouderaManager中已经有了），然后将所有节点解除授权并从集群删除，否则无法将这些节点再加入到新创建的集群。

四、总结

       失败是安装过程中必然出现的，但是成功是多次失败安装的必然结果。我们要执着又不能太执着——要执着于一次不行两次、两次不行三次，但是又不能执着于不会灵活、不变通，该重装系统就重装系统，该改配置就改配置，该换方案就换方案。最终一定会收获成功。