CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-7主节点CM安装子节点Agent配置
主节点安装cloudera manager
准备工作:下载CM和mysql连接驱动包:
CM各版本下载地址:http://archive.cloudera.com/cm5/cm/5/
从里面选择:http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz 下载即可。
Mysql JDBC下载地址:http://download.softagency.net/MySQL/Downloads/Connector-J/mysql-connector-java-5.1.40.zip
这里驱动的版本要比Mysql的版本相符或稍低,否则安装CM和CDH时创建数据库时会出现访问失败或连接失败等错误。
在主节点cdh1中解压安装cloudera manager。
首先把我们下载好的cloudera-manager-*.tar.gz包和mysql驱动包mysql-connector-java-*-bin.jar放到主节点cm0的/opt中。
我下载的版本分别是:cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz和mysql-connector-java-5.1.40.zip。
cloudera manager的目录默认位置在/opt下
所以我们在opt目录解压安装文件,命令如下:
cd /opt
tar xzvf cloudera-manager-centos7-cm5.14.0_x86_64.tar.gz
使用命令
ls
确保cm-5.14.0和cloudera目录在/opt目录下。

Cloudera Manager建立数据库
我们把mysql-connector-java-5.1.40.zip也解压一下。
unzip mysql-connector-java-5.1.40.zip
ls
cd mysql-connector-java-5.1.40
发现jar包mysql-connector-java-5.1.40-bin.jar已经解压出来了。
使用命令
cp mysql-connector-java-5.1.40-bin.jar /opt/cm-5.14.0/share/cmf/lib/
把mysql-connector-java-5.1.40-bin.jar放到/opt/cm-5.14.0/share/cmf/lib/中。
cd /opt/cm-5.14.0/share/cmf/lib/
ls|more
确认已经放进去了。
在主节点初始化CM5的数据库
使用命令
在命令里scm_prepare_database.sh后面的参数分别是:数据库类型 数据库名称(可以随便起一个名称) 数据库主机名 数据库用户名 密码 --scm-host 主节点机名 scm scm scm
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql cm -h cdh1 -u root -p 123456 --scm-host cdh1 scm scm scm
如果出现如下提示,则证明CM元数据创建成功。
All done, your SCM database is configured correctly!
参考下图:
Agent配置
主节点修改agent配置文件。
/opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
使用命令
vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini

在主节点cdh1用命令同步Agent到其他所有节点
scp -r /opt/cm-5.14.0 root@cdh2:/opt/
scp -r /opt/cm-5.14.0 root@cdh3:/opt/ (如果有的话)
参考下图:
在所有节点创建cloudera-scm用户
在每台机子中
使用命令
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
启动cm和agent
主节点cdh1通过命令
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
启动服务端。

所有节点通过命令
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start
启动Agent服务。 (所有节点都要启动Agent服务,包括服务端)

我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart,查看状态是status。
Cloudera Manager Server和Agent都启动以后,等待1分钟左右,就可以进行尝试访问了。
http://master:7180/cmf/login
我这里master是主节点cdh1,也就是应该访问
http://192.168.43.101:7180/cmf/login

安装CM成功。
安装到此处,可以考虑备份节点,为将来的节点拓展做准备。
参考文章:https://www.cnblogs.com/felixzh/p/9082344.html
CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-7主节点CM安装子节点Agent配置的更多相关文章
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-总目录
CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-总目录: 0.Windows 10本机下载Xshell,以方便往Linux主机上上传大文件 1.CentOS7+CDH5.14.0安 ...
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-8CDH5安装和集群配置
Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了. 准备文件 从 http://archive.cloudera.com/cdh5/par ...
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-5安装JDK及安装mysql数据库
1.安装JDK 可以不用卸载自带的openjdk,配好环境变量即可. 下载文件:jdk-8u151-linux-x64.tar.gz 附:JDK各版本下载地址:https://www.oracle.c ...
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-4配置NTP服务
配置NTP服务.标准的做法是配置NTP服务器,但是这里为了方便就用简化的方式配置了. 这个在安装初期,不是必须的,只要保证各机器的时间同步就行,使用如下命令可以查看时间是否同步: [root@cdh1 ...
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-1虚拟机安装及环境初始化
1.软件准备: VMware-workstation-full-14.1.2-8497320.exe CentOS-7-x86_64-DVD-1804.iso 2.VMare激活码: AU5WA-0E ...
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-6CM安装前环境检查
检查环境 在正式开始安装CDH之前最好先检查一下能不能相互免密ssh,以及防火墙是否关闭,集群中的时间是否统一,java版本是否是oracle的版本,主节点mysql是否安装正确等. ssh测试 例如 ...
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-3禁止交换和禁用大页面
1.禁止交换(每台机器都要做): 执行命令:vim /etc/sysctl.conf 增加一行:vm.swappiness=0 执行命令:sudo sysctl vm.swappiness=0 2.禁 ...
- CentOS7+CDH5.14.0安装全流程记录,图文详解全程实测-2设置SSH免密登录
因为hadoop集群在安装的时候需要集群中所有机器的权限. 所以我们需要打通所有节点的ssh无密码登陆,思路是生成每台机子的密钥,集中在一个文件中,再分发到每台机子上. 为了确保下面的命令能顺利执行, ...
- Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐)
不多说,直接上干货! 说在前面的话 首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu LTS \n \l r ...
随机推荐
- 设置 P2415Q & P2715Q 显示器使其支持 HDMI 2.0 启用 4k@60hz
简介:2016 年 2 月后购买的 Dell P2415Q 和 P2715Q 显示器,支持 HDMI 2.0,但是默认启用的是 HDMI 1.4. HDMI 2.0 默认没有启用 Dell P2415 ...
- 初次使用BAT,请检查Chrome浏览器和ChromeDriver兼容性
ChromeDriver可以理解为Chrome驱动,它是架在BAT程序和Chrome之间的桥梁.但是ChromeDriver的问题是,每个版本的兼容范围很窄,通常只能兼容3个Chrome版本. 因此, ...
- 码云Gitee上新建项目教程
1.在浏览器访问,https://gitee.com/: 2.使用用户名.密码登录: 3.在左下角显示当前用户的项目,点击“+”号,创建项目: 4.填写项目的相关信息,项目名称要和本地要上传的项目名称 ...
- Last Work-随机出题加法游戏
<!doctype html> <html> <head> <meta charset="utf-8"> <title> ...
- python-web自动化:下拉列表操作
非select/option元素: 1.触发下拉列表出现 2.等待下拉列表中的元素出现,然后进行选择元素即可. select/option元素: 下拉框操作-Select类selenium提供Sele ...
- Akka详细介绍
AKKA NOTES - 介绍演员 任何在过去做过多线程的人都不会否认管理多线程应用程序有多么困难和痛苦.我说管理因为它开始很简单,一旦你开始看到性能改进,它变得非常有趣.但是,当您发现没有更简单的方 ...
- Python实现多线程调用GDAL执行正射校正
python实现多线程参考http://www.runoob.com/python/python-multithreading.html #!/usr/bin/env python # coding: ...
- 深入理解Java虚拟机读书笔记1----Java内存区域与HotSpot虚拟机对象
一 Java内存区域与HotSpot虚拟机对象 1 Java技术体系.JDK.JRE? Java技术体系包括: · Java程序设计语言: · 各种硬件平台上的 ...
- C#对象与XMl文件之间的相互转换(转)
本文是对C#中对象与XMl文件之间的相互转换进行了详细的介绍,需要的朋友可以过来参考下,希望对大家有所帮助 C#提供三种序列化方式,分别为:1.是使用BinaryFormatter进行串行化: 2.使 ...
- 手机APP测试之monkey
Monkey测试是一种为了测试软件稳定性.健壮性的快速有效的方法,Monkey程序由Android系统自带,使用Java语言写成.本此由于公司APP产品所需,用monkey进行稳定性测试,下面将本次使 ...