大数据自学1-CentOS 下安装CDH及Cloudera Manager

前面花了一段时间将Ubuntu，Hadoop装完，装到Hbase时，发现Hbase 与Hadoop是有兼容性问题的，Hbase 2.1版是不支持Hadoop 3.11版的，怪不得装起来那么多问题了。

Hbase 与Hadoop的兼容性详见Hbase官网

HBase装不起来，就想着装CDH，发现又是兼容性的问题，CDH还没有推出支持最新Ubuntu版本的版本。这下悲催了，Ubuntu又不能Downgrade,况且我也不想降级，想来想去，不如在我的Windows上装个虚拟机，用CentOS来玩CDH.

在Win7下装CentOS虚拟机，这个链接就非常非常详细了，真是感谢这些网友们的辛苦劳动。

CentOS装完后默认是没有图形界面的，因此又在网上找资料如何开启图形界面，可参照链接，这个要注意，因为我是使用的公司电脑，公司电脑上网是有代理服务器的，如果一开始将虚拟机的网络模式设为桥接模式的话， 执行

# yum groupinstall "X Window System" "Desktop Platform" Desktop

会不成功，因为桥接模式下是另一个IP，是不能上网的，因此需要改回NAT模式，让虚拟机和主机共用一个IP，这样只要主机能上网，虚拟要就能上网。

安装时提示error downloading packages  no more mirrors to try，如下图，解决方法是执行以下命令，参照链接：

1. yum clean all
2. yum makecache

公司同事已经下载过一个离线包CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel，所以直接离线安装

安装CDH之前需要先安装MySql, CentOS环境下安装MySql可参照链接

过程中需要将IP地址固定，以防重启时IP乱变，这个可参照链接

MySQL 8.0默认的密码策码是Medium,相对来说是比较严的，比如要求最小8位长，要混合字母数字特殊符号等，如果是用于测试，可以改下这个密码策略，参照链接

MySQL 8.0在Grant设置权限的时候出现You are not allowed to create a user with GRANT错误处理办法

使用命令行方式操作MySQL实在是有点效率低下，因此想在Windows环境装个客户端来连接MySQL远程操作，参照链接1和链接2和链接3

在初始化CM数据库执行以下命令时，一直提示SQL 语法错误，可能跟MySql版本有关，因此参考链接将MySql 8.0删除，重装MySql 5.5版本。

scm_prepare_database.sh mysql cm -h <hostName> -u<username>  -p<password> --scm-host <hostName>  scm scm scm

重装MySql5.5版本可以采用Yum方式也可以采用下载tar包方式，因为采用Yum方式提示下载源错误，所以采用第二种方式，参考链接

换为MySql 5.5后,果然上面的命令就能正常执行,接下来启动Cloudera Manager Server和Agent,就可以访问7180端口进行配置了,激动...

要特明说明一下:启动完虽然提示OK,但并不是马上可以访问7180端口,要等一段时间

接下来继续，Cloudera服务在CentOS操作系统重启后需要手动启动，因此可以考虑设置该服务随操作系统启动而自动启动，基本上按照链接上的操作就能成功，唯一的不同就是该链接上讲道：新增jdk引入：export JAVA_HOME=jdk目录，这个我没有加，因为在其他全局配置项已经设置。

Host Monitor和Service Monitor都无法启动的解决办法，里面讲到了句柄数ulimit，不懂意思，先囫囵吞枣再慢慢消化。