Cloudera安装要点

C方式是完全离线方式

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ig_installing_configuring_dbs.html#cmig_topic_5

 

cloudera JDBC Driver com.mysql.jdbc.Driver not found.

将oracle的mysql的jar包放置到/usr/share/java/mysql-connector-java.jar路径下即可，注意修改jar包名称；

 

切记除了要下载parcel文件之外，还有manifest.json文件，否则在选择安装版本界面，cloudera无法识别parcel的版本。

还有需要对于sha1文件进行改名：*.parcel.sha1 -> *.parcel.sha

 

今天研究解决一下为什么CDH的安装页面显示无法发现CDH；

之前一直怀疑是流程步骤有问题，其实流程本身没有问题，问题发生在流程的实施节点上：cdh文件损坏了；本来1.5G的大小，当时只有50M，我不记得原因了，但是太坑了。

我想到了权限问题；但是忽略了文件损坏问题：sha就是干这个用的，当时应该考虑到使用sha来校验一下文件。

如果cloudera发现能够正常发现parcel，在server启动后将会打出一条日志：

SearchRepositoryManager-0:com.cloudera.server.web.cmf.search.components.SearchRepositoryManager: Finished constructing repo:2017-09-27T16:19:00.763Z

 

安装CDH在拷贝parcel的时候发生异常：Exhausted available authentication methods；后来发现原来是因为ssh的root用户被我设置为禁止远程登录；而CDH页面向导中我还配置的用root用户登录

 

之后发现拷贝异常，总是联网去下载agent包，但是agent都已经在各个节点了；后来发现agent的启动是失败的（在开始的步骤中能够被自动发现的都不需要装agent，需要通过手动输入IP来进行发现的需要装agent，怎么装？联网），报错显示：ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>；在网上搜索了一下，如下处理：

sudo ps -ef | grep supervisord

kill -9 PID

sudo ./cloudera-scm-agent restart

未完，重启后发现：

Error, CM server guid updated, expected d6c22714-0175-4a40-ace6-db92b7417a40, received 613b2c09-88f6-41fe-9424-41601be40310

原来还需要将cm/lib/cloudera-scm-agent/下面的cm_guid进行清除；这一点让我想到了cloudera数据迁移的时候需要做的事情，需要将同目录下的uuid进行删除；

 

在安装的过程中还有一个问题一直困扰我，就是僵尸agent，在agent经历如上的问题后，在自动发现的列表中有一些僵尸agent，会看到同hostname的多台机器，有一个是正常通信，有的则是Unkonwn，无法删掉，因为不勾选，那么正常通信的也不会勾选上。反正后来我改了一下hosts文件，莫名其妙的在勾选列表中消失了，但是遗憾的是正常通信的也没了。安装成功后，在Hosts页面才看到这些僵尸agent，此时再delete可以正常删除。

 

Skipping start command because all roles are started or decommissioned or on decommissioned host.

 让子弹飞一会儿

cloudera的server停止后要稍等一会在启动，因为释放内存需要一段时间；如果停止后立即就启动将会发生一种情况，内存没有释放完，JVM的内存大量释放和JVM的大量使用将会导致JVM频繁的进行回收和释放，导致JVM Pause以及World Stop

JAVA_HOME is not set and Java could not be found

具体原因不太清楚，最小化安装了一个centos7，发现没有jdk，不解。

在clouderea中添加了一个host，然后添加了一个spark nodemanager的角色，然后就悲剧了，总是抱JAVA_HOME is not set and Java could not be found的异常；即使手动拷贝了一个jdk1.8到上面，profile也配置了，仍然不好用。不解。

再看日志的时候，发现安装程序（cloudera的安装程序）将会到几个固定的地方查找，选一个，然后将jdk拷贝到该目录下，问题解决