CDH6.2.0部署-亲自操作验证可行
CDH6.2.0部署
PDF文档:https://files.cnblogs.com/files/duxingren/CDH6.2-pdf.zip
郑重声明:并非拿来主义。亲手实践并花费一天时间整理文档。再三感谢此链接。
补充了再参考文献中遇到的问题并重点圈画出来。值得一读。谢谢各位。
参考文献:https://blog.csdn.net/github_39577257/article/details/92471365
参考文献:https://blog.csdn.net/github_39577257/article/details/92471365
参考文献:https://blog.csdn.net/github_39577257/article/details/92471365
常见的 JDK 有 Oracle JDK、和 Open JDK,而常用到的 Open JDK有 Linux yum 版的 Open JDK、Zulu JDK、GraalVM CE JDK等。安装 CDH 环境的 JDK 时还是建议先使用官方提供的下载资源列表里的 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm。如果公司有要求必须使用Open JDK,可以先安装下载包中的Oracle JDK 安装,等CDH安装完毕,需要的组件服务安装配置完成之后,再升级为自己需公司要求的 Open JDK,且强烈建议这样做。
对于包中个组件的版本可查看 CDH 6.2.0 Packaging,或者镜像库中查看 noarch | x86_64 。注意:从cdh6.0开始,Hadoop的版本升级到了3.0
CDH 6.2.0 Packaging:
Noarch:
x86_64:
https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/x86_64/
Cloudera Enterprise 6发行指南
1.环境准备
1.1 环境清除或重装
假设旧环境已经安装过CDH或HDP或者其它,需要清除这些,清除相对麻烦些,删除的时候需谨慎。但整体可以这样快速清除
1 获取root用户
2 卸除通过rmp安装的服务:
rpm -qa
# 或者指定某些服务
rpm -qa 'cloudera-manager-*'
# 移除服务
rpm -e 上面命令查到的名字 --nodeps
# 清除yum 缓存
sudo yum clean all
3 查看进程
ps -aux > ps.txt,通过第一列USER 和 最后一列COMMAND 确定是否为清除的进程,如果是根据第二列PID kill掉:kill -9 pid
4 查看系统的用户信息:cat /etc/passwd
5 删除多余的用户:userdel 用户名
6 搜索这个用户相关的的文件,并删除:
find / -name 用户名*
# 删除查到的文件
rm -rf 文件
7 在删除时有时可能文件被占用,可以先通过 lsof 命令找到被占用的进程,关闭后再删除。
8 虽然查不到进程被占用,可能文件被挂载了,卸除后再删除:
umount cm-5.16.1/run/cloudera-scm-agent/process,
然后再
rm -rf cm-5.16.1/。
当卸除命令执行后还是不能删除时,可以多运行几次,再尝试删除文件。
1.2 Apache HTTP 服务安装
因为有些服务器对访问外网有严格限制时,可以配置一个 HTTP服务,将下载的资源上传上去,方便后面的安装。
Step 1:先查Apache http服务状态
如果状态可查到,只需要修改配置文件(查看Step 3),重启服务就行。如果状态查询失败,需要先安装 Apache HTTP 服务(接着Step 2)。
sudo systemctl start httpd
Step 2:安装 Apache http服
yum -y install httpd
Step 3:修改 Apache http 配置
配置如下内容。最后保存退出。可以查看到配置的文档路径为:/var/www/html。其他的配置项可以默认,也可以根据情况修改。
vim /etc/httpd/conf/httpd.conf
# 大概在 119 行
DocumentRoot "/var/www/html"
# 大概在 131 行,<Directory "/var/www/html"> </Directory>标签内对索引目录样式设置
# 最多显示100个字符,utf-8字符集,开启目录浏览修饰,目录优先排序
IndexOptions NameWidth=100 Charset=UTF-8 FancyIndexing FoldersFirst
配置完后,记得重启服务。
Step 4:创建资源路径
sudo mkdir -p /var/www/html/cloudera-repos
1.3 Host 配置
将集群的Host的ip和域名配置到每台机器的/etc/hosts。
注意 hostname必须是一个FQDN(全限定域名),例如myhost-1.example.com,否则后面转到页面时在启动Agent时有个验证会无法通过。
# cdh1
sudo hostnamectl set-hostname cdh1.example.com
# cdh2
sudo hostnamectl set-hostname cdh2.example.com
# cdh3
sudo hostnamectl set-hostname cdh3.example.com
#配置 /etc/hosts
192.168.104.103 cdh1.example.com cdh1
192.168.104.104 cdh2.example.com cdh2
192.168.104.105 cdh3.example.com cdh3
# 配置 /etc/sysconfig/network
# cdh1
HOSTNAME=cdh1.example.com
# cdh2
HOSTNAME=cdh2.example.com
# cdh3
HOSTNAME=cdh3.example.com
1.4 NTP
NTP服务在集群中是非常重要的服务,它是为了保证集群中的每个节点的时间在同一个频道上的服务。
规划如下,当可以访问时间同步服务,例如可以直接和亚洲NTP服务进行同步。例如不能访问时,可以将cdh1.example.com配置为NTP服务端。集群内节点和这个服务进行时间同步。
ip 用途
asia.pool.ntp.org 亚洲NTP时间服务地址
cdh1.example.com ntpd服务,以本地时间为准
cdh2.example.com ntpd客户端。与ntpd服务同步时间
cdh3.example.com ntpd客户端。与ntpd服务同步时间
我的做法是直接yum安装一下ntp服务。因为都可以访问外网。
step1 ntpd service
# NTP服务,如果没有先安装
systemctl status ntpd.service
step2 与系统时间一起同步
非常重要 硬件时间与系统时间一起同步。
修改配置文件vim /etc/sysconfig/ntpd。末尾新增代码SYNC_HWCLOCK=yes
# Command line options for ntpd
#OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"
OPTIONS="-g"
SYNC_HWCLOCK=yes
step3 添加NTP服务列表
编辑vim /etc/ntp/step-tickers
# List of NTP servers used by the ntpdate service.
#0.centos.pool.ntp.org
cdh1.example.com
step4 NTP服务端ntp.conf
修改ntp配置文件vim /etc/ntp.conf
driftfile /var/lib/ntp/drift
logfile /var/log/ntp.log
pidfile /var/run/ntpd.pid
leapfile /etc/ntp.leapseconds
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
#允许任何IP的客户端进行时间同步,但不允许修改NTP服务端参数,default类似于0.0.0.0
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#restrict 10.135.3.58 nomodify notrap nopeer noquery
#允许通过本地回环接口进行所有访问
restrict 127.0.0.1
restrict -6 ::1
# 允许内网其他机器同步时间。网关和子网掩码。注意有些集群的网关可能比价特殊,可以用下面的命令查看
# 查看网关信息:/etc/sysconfig/network-scripts/ifcfg-网卡名;route -n、ip route show
restrict 192.168.33.2 mask 255.255.255.0 nomodify notrap
# 允许上层时间服务器主动修改本机时间
#server asia.pool.ntp.org minpoll 4 maxpoll 4 prefer
# 外部时间服务器不可用时,以本地时间作为时间服务
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
step5 NTP客户端ntp.conf
vim /etc/ntp.conf
driftfile /var/lib/ntp/drift
logfile /var/log/ntp.log
pidfile /var/run/ntpd.pid
leapfile /etc/ntp.leapseconds
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
server 192.168.33.3 iburst
step6 NTP服务重启和同步
#重启服务
systemctl restart ntpd.service
#开机自启
chkconfig ntpd on
ntpq -p
ntpdate -u cdh1.example.com
step7 NTP服务状态查看
如果显示如下则同步是正常的状态(状态显示 PLL,NANO):
[root@cdh1 ~]# ntpstat
synchronised to NTP server (84.16.73.33) at stratum 2
time correct to within 127 ms
polling server every 1024 s
[root@cdh1 ~]# ntptime
ntp_gettime() returns code 0 (OK)
time e2478ca0.ddc19360 Mon, Apr 20 2020 10:51:12.866, (.866235678),
maximum error 456301 us, estimated error 250 us, TAI offset 0
ntp_adjtime() returns code 0 (OK)
modes 0x0 (),
offset -87.932 us, frequency 14.716 ppm, interval 1 s,
maximum error 456301 us, estimated error 250 us,
status 0x2001 (PLL,NANO),
time constant 10, precision 0.001 us, tolerance 500 ppm,
[root@cdh1 ~]# timedatectl
Local time: Mon 2020-04-20 10:51:21 CST
Universal time: Mon 2020-04-20 02:51:21 UTC
RTC time: Mon 2020-04-20 02:51:21
Time zone: Asia/Shanghai (CST, +0800)
NTP enabled: yes
NTP synchronized: yes
RTC in local TZ: no
DST active: n/a14
1.5 MySQL
Download MySQL
https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.27-el7-x86_64.tar.gz
step1 配置环境变量
# 配置Mysql环境变量
export PATH=$PATH:/usr/local/mysql/bin
step2 创建用户和组
#①建立一个mysql的组
groupadd mysql
#②建立mysql用户,并且把用户放到mysql组
useradd -r -g mysql mysql
#③还可以给mysql用户设置一个密码(mysql)。回车设置mysql用户的密码
passwd mysql
#④修改/usr/local/mysql 所属的组和用户
chown -R mysql:mysql /usr/local/mysql/
step3 设置MySQL配置文件
编辑/etc/my.cnf文件:vim /etc/my.cnf。设置为如下:
[mysqld]
basedir = /usr/local/mysql
datadir = /usr/local/mysql/data
port = 3306
socket=/var/lib/mysql/mysql.sock
character-set-server=utf8
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0
server_id=1
max_connections = 550
log_bin=/var/lib/mysql/mysql_binary_log
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
[client]
default-character-set=utf8
socket=/var/lib/mysql/mysql.sock
[mysql]
default-character-set=utf8
socket=/var/lib/mysql/mysql.sock
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES
step4 配置解压和设置
# 解压到 /usr/local/ 下
tar -zxf mysql-5.7.27-el7-x86_64.tar.gz -C /usr/local/
# 重命名
mv /usr/local/mysql-5.7.27-el7-x86_64/ /usr/local/mysql
# 实现mysqld -install这样开机自动执行效果
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
vim /etc/init.d/mysql
# 添加如下配置
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
#创建存放socket文件的目录
mkdir -p /var/lib/mysql
chown mysql:mysql /var/lib/mysql
#添加服务mysql
chkconfig --add mysql
# 设置mysql服务为自动
chkconfig mysql on
step5 开始安装
#初始化mysql。注意记录下临时密码: ?w=HuL-yV05q(每个都不一样的)
/usr/local/mysql/bin/mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
#给数据库加密
/usr/local/mysql/bin/mysql_ssl_rsa_setup --datadir=/usr/local/mysql/data
# 启动mysql服务。过段时间,当不再刷屏时,按Ctrl + C退出后台进程
/usr/local/mysql/bin/mysqld_safe --user=mysql &
# 重启MySQL服务
/etc/init.d/mysql restart
#查看mysql进程
ps -ef|grep mysql
step6 登陆MySQL,完成后续设置
#第一次登陆mysql数据库,输入刚才的那个临时密码
/usr/local/mysql/bin/mysql -uroot -p
输入前面一步生成的临时密码,进入MySQL的命令行,其中密码密码可以访问☌随机密码生成☌网站生成安全强度较高的随机密码,生产环境一般是有强度要求。
--必须先修改密码
mysql> set password=password('V&0XkVpHZwkCEdY$');
--在mysql中添加一个远程访问的用户
mysql> use mysql;
mysql> select host,user from user;
-- 添加一个远程访问用户scm,并设置其密码为 scm
mysql> grant all privileges on *.* to 'scm'@'%' identified by 'scm' with grant option;
--刷新配置
mysql> flush privileges;
1.6 剩下
Java-jdk环境:sudo yum install oracle-j2sdk1.8(特别重要,否则自制的jdk会让你绝望)
防火墙:
sed -i "s#SELINUX=enforcing#SELINUX=disabled#g" /etc/selinux/config
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
1.7 其他
Cloudera Manager和Cloudera Navigator使用的端口
https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/cm_ig_ports_cm.html
2.下载资源
上传到Apache HTTP 服务器上的目录:/var/www/html/cloudera-repos。
2.1 简版下载
其中将下载资源上传到搭建的 Apache HTTP 服务节点,如果文件夹不存在,需要手动创建。记得文件路径有足够的权限:
# 注意文件的权限
chmod 555 -R /var/www/html/cloudera-repos
2.1.1 下载 parcel 包
https://archive.cloudera.com/cdh6/6.2.0/parcels
CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1
manifest.json
将下载的包上传到 /var/www/html/cloudera-repos/cdh6/6.2.0/parcels
cdh 6.3.0的parcel 包访问:https://archive.cloudera.com/cdh6/6.3.0/parcels/
2.1.2 下载需要的rpm包
https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm
enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
上传到 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/RPMS/x86_64
CDH 6.3.0:https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/
2.1.3 获取 cloudera-manager 其他资源
2.1.3.1 获取cloudera-manager.repo
将下面下载的包上传到 /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum
2.1.3.2 获取allkeys.asc
将下面下载的包上传到 /var/www/html/cloudera-repos/cm6/6.2.0
mv allkeys.asc /var/www/html/cloudera-repos/cm6/6.2.0
2.1.3.3 初始化repodata
进入到Apache HTTP服务器的:
/var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/目录下,然后执行
# 如果没有安装 createrepo,请 yum 安装 createrepo
yum -y install createrepo
cd /var/www/html/cloudera-repos/cm6/6.2.0/redhat7/yum/
yum repolist
createrepo .
2.1.4 下载数据库驱动
mysql-connector-java-5.1.46-bin.jar,记得务必将其名字改为mysql-connector-java.jar
#下载连接:
https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
# 解压
tar zxvf mysql-connector-java-5.1.46.tar.gz
# 重命名mysql-connector-java-5.1.46-bin.jar为mysql-connector-java.jar,并放到/usr/share/java/下(CDH脚本限制,必须这么规范不然无法初始化数据库)
mv mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar
# 同时发送到其它节点
scp /usr/share/java/mysql-connector-java.jar root@cdh2:/usr/share/java/
scp /usr/share/java/mysql-connector-java.jar root@cdh3:/usr/share/java/
2.2 完整版下载(二选一)
不做整理
2.3 设置安装节点的 cloudera-manager yum信息
2.3.1 下载
# 导入存储库签名GPG密钥:
2.3.2 修改
修改 cloudera-manager.repo。执行命令:
vim /etc/yum.repos.d/cloudera-manager.repo
修改为如下(注意,原先的https一定要改为http)
[cloudera-manager]
name=Cloudera Manager 6.2.0
baseurl=http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/
gpgkey=http://192.168.104.103/cloudera-repos/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md
2.3.3 更新yum
#清除 yum 缓存
sudo yum clean all
#更新yum
sudo yum update(此步操作甚至,会导致内核升级,开机无法进入系统)
可以yum makecache
3.安装
3.1 安装 Cloudera Manager
在 Server 端 执行
yum install -y cloudera-manager-daemons
yum install -y fcloudera-manager-agent
yum install -y cloudera-manager-server
在 Agent 端 执行
yum install -y cloudera-manager-agent
yum install -y cloudera-manager-daemons
在安装完后,程序会自动在server节点上创建一个如下文件或文件夹:
ls /etc/cloudera-scm-agent/config.ini
ls /etc/cloudera-scm-server/
ls /opt/cloudera
为了后面安装的更快速,将下载的CDH包裹方到这里(仅Server端执行):
cd /opt/cloudera/parcel-repo/
wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
wget http://192.168.104.103/cloudera-repos/cdh6/6.2.0/parcels/manifest.json
# 在manifest.json中找到对应版本的密钥(大概在755行),复制到*.sha文件中
# 一般CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha1文件的内容和parcel密钥是一致的,只需重命名即可.
#修改属主属组。
chown cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/*
修改agent配置文件,将Cloudera Manager Agent 配置为指向 Cloudera Manager Serve。
这里主要是配置 Agent节点的 config.ini 文件。
vim /etc/cloudera-scm-agent/config.ini
#配置如下项
# Hostname of the CM server. 运行Cloudera Manager Server的主机的名称
server_host=cdh1.example.com
# Port that the CM server is listening on. 运行Cloudera Manager Server的主机上的端口
server_port=7182
#1位启用为代理使用 TLS 加密,如果前面没有设置,一定不要开启TLS
#use_tls=1
3.2 设置 Cloudera Manager 数据库
Cloudera Manager Server包含一个可以数据库prepare的脚本,主要是使用这个脚本完成对数据库的相关配置进行初始化,这里不对元数据库中的表进行创建。
3.2.1 创建 Cloudera 软件对应的数据库:
# 登陆 Mysql后执行如下命令
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
# 顺便把其他的数据库也创建
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
3.2.2 初始化数据库
这一步会在/etc/cloudera-scm-server/db.properties更新配置
请确认/usr/share/java是否有mysql-connector-java.jar
[root@cdh1 ~]# sudo /opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm scm scm
参数说明:
options 指定操作,如果数据库不再本地请用-h或--host 指定mysql的host,不指定默认为localhost
databaseType 指定为mysql,也可以是其它类型的数据,例如:oracle等
databaseName 指定为scm数据库,这里使用 scm库
databaseUser 指定mysql用户名,这里使用 scm
password 指定mysql其用户名的密码,这里使用scm
这一步如果我们用的是自己配置的JDK可能会报如下的错误:
解决办法,打开执行的脚本/opt/cloudera/cm/schema/scm_prepare_database.sh 在108行local JAVA8_HOME_CANDIDATES=()方法中将自己配置的JAVA_HOME填入:
local JAVA8_HOME_CANDIDATES=(
'/usr/java/jdk1.8.0_181-cloudera'
'/usr/java/jdk1.8'
'/usr/java/jre1.8'
'/usr/lib/jvm/j2sdk1.8-oracle'
'/usr/lib/jvm/j2sdk1.8-oracle/jre'
'/usr/lib/jvm/java-8-oracle'
)
3.3 安装CDH和其他软件
只需要在 Cloudera Manager Server 端启动 server即可,Agent 在进入Web页面后徐步骤中会自动帮我们启动。
3.3.1 启动Cloudera Manager Server
sudo systemctl start cloudera-scm-server
sudo systemctl status cloudera-scm-server
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
# 当您看到此日志条目时,Cloudera Manager管理控制台已准备就绪:
# INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
问题解决:
修改文件权限问题,修改时区。如果问题不能解决,请更换为Oracle JDK。
时区问题可以在/opt/cloudera/cm/bin/cm-server文件中,大概第40行添加CMF_OPTS="$CMF_OPTS -Duser.timezone=Asia/Shanghai"
如果提示如下错误,请删除/var/lib/cloudera-scm-agent/cm_guid的guid。
[15/Jun/2019 13:54:55 +0000] 24821 MainThread agent ERROR Error, CM server guid updated, expected 198b7045-53ce-458a-9c0a-052d0aba8a22, received ea04f769-95c8-471f-8860-3943bfc8ea7b
3.3.2 转到 Web 浏览器
在Web浏览器数据 http://192.168.104.103:7180
登录Cloudera Manager Admin Console,默认凭证为
Username: admin
Password: admin
登陆用户名后,显示如下页面,根据提示进行安装即可:欢迎 -> Accept License -> Select Edition。
这一步选择安装的版本,不同版本支持的主要功能已列出,第一列为Cloudera免费的快速体验版;第二列为Cloudera为企业级试用版(免费试用60天);第三列是功能和服务最全的Cloudera企业版,是需要认证且收费的。Cloudera Express 和 Cloudera Enterprise 中的可用功能的完整列表。
选择第一列,快速体验版服务,完全免费,功能和服务对于需求不是很特殊和复杂的试用基本没什么问题,如果后期功能不够,或满足不了需求,想使用Cloudera的企业版也不用担心,在Cloudera Manager页面,点击页面头部的管理菜单,在下拉列表中单机许可证,可在页面上选择:试用Cloudera Enterprise 60天 、升级至Cloudera Enterprise ,更详细的升级说明可查看 从Cloudera Express升级到Cloudera Enterprise ➹。
选择第二列,可以直接免费体验Cloudera Enterprise全部功能60天,且这个每次只能试用一次,关于许可证到期或试用许可证的说明可访问 Managing Licenses ➹。
选择第三列,使用Cloudera企业版,需要获取许可证,要获得Cloudera Enterprise许可证,请填写此表单 或致电866-843-7207。关于许可证的详细说明可以访问Managing Licenses。其功能和价格可参考 功能和价格 页面。
4.集群安装
Cluster Basics:给集群设置一个名字。
* Specify Hosts:输入集群的主机名,多个换行添加,例如:
cdh1.example.com
cdh2.example.com
cdh3.example.com
以单节点方式安装,Web页面到达集群设置选择安装组件服务时,另起一个页面,进入Cloudera Manager,选择 主机 -> 所有主机 -> Add Hosts ,根据提示依次将其它节点添加到这个集群名字下,中间输入每个机器的root的密码完成验证即可。
使用向导设置群集
审核更改默认即可直接下一步
至此完成。后续使用文档有时间更新。
参考文献:https://blog.csdn.net/github_39577257/article/details/92471365
CDH6.2.0部署-亲自操作验证可行的更多相关文章
- 环境篇:Atlas2.0.0兼容CDH6.2.0部署
环境篇:Atlas2.0.0兼容CDH6.2.0部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系 ...
- 环境篇:Atlas2.1.0兼容CDH6.3.2部署
环境篇:Atlas2.1.0兼容CDH6.3.2部署 Atlas 是什么? Atlas是一组可扩展和可扩展的核心基础治理服务,使企业能够有效地满足Hadoop中的合规性要求,并允许与整个企业数据生态系 ...
- CDH6.1.0离线安装——笔记
一. 概述 该文档主要记录大数据平台的搭建CDH版的部署过程,以供后续部署环境提供技术参考. 1.1 主流大数据部署方法 目前主流的hadoop平台部署方法主要有以下三种: Apache hadoop ...
- CDH6.2.0离线安装(详细)
目录 01 准备工作 02 环境配置 03 CDH安装 报错 01 准备工作 官网地址下载页面:https://www.cloudera.com/downloads/cdh.html,现在下载好像需要 ...
- CDH6.2.0 搭建大数据集群
1. 资料准备 现在官网https://www.cloudera.com 需要注册账号,未来可能会收费等问题,十分麻烦,这里有一份我自己百度云的备份 链接: https://pan.baidu.com ...
- ①CM+CDH6.2.0安装(全网最全)
CM+CDH6.2.0环境准备 一 虚拟机及CentOs7配置 CentOS下载地址 master(16g+80g+2cpu+2核)+2台slave(8g+60g+2cpu+2核) 1.1 打开&qu ...
- ASP.NET Core 1.0 部署 HTTPS (.NET Framework 4.5.1)
var appInsights=window.appInsights||function(config){ function r(config){t[config]=function(){var i= ...
- Hadoop 2.2.0部署安装(笔记,单机安装)
SSH无密安装与配置 具体配置步骤: ◎ 在root根目录下创建.ssh目录 (必须root用户登录) cd /root & mkdir .ssh chmod 700 .ssh & c ...
- hadoop2.2.0部署
hadoop2.2.0部署 下载安装包 hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz 解压 tar zxvf hadoop-2.2.0-cdh5.0.0-beta-1.tar ...
- ASP.NET Core 1.0 部署 HTTPS
ASP.NET Core 1.0 部署 HTTPS ASP.NET Core 1.0 部署 HTTPS (.NET Framework 4.5.1) 提示 更新时间:2016年01月23日. 在目前介 ...
随机推荐
- 卸载CentOS7自带的jdk
卸载CentOS7自带的jdk 问题描述 在安装完centOS 7虚拟机后,执行 java -version,发现系统自带jdk8.因为我想使用jdk11,安装并配置环境变量后,环境变量仍显示为jdk ...
- Q:如何在Linux系统中查看实时网卡流量
Linux查看实时网卡流量的几种方式 来源 https://www.jianshu.com/p/b9e942f3682c 在工作中,我们经常需要查看服务器的实时网卡流量.通常,我们会通过这几种方式查 ...
- 流程控制之break、continue和goto
#### 实例1: ```javapackage com.yeyue.struct; public class BreakDemo { public static void main(String[] ...
- Arduino 语法--数组
数组是一种可访问的变量的集合.Arduino的数组是基于C语言的,实现起来虽然有些复杂,但使用却很简单. 一.创建或声明一个数组 数组的声明和创建与变量一致,下面是一些创建数组的例子. arrayIn ...
- 淘宝H5 sign加密算法
淘宝H5 sign加密算法 淘宝H5 sign加密算法 淘宝对于h5的访问采用了和客户端不同的方式,由于在h5的js代码中保存appsercret具有较高的风险,mtop采用了随机分配令牌的方式, ...
- Ruoyi-vue 左侧菜单栏默认保持收缩
在项目的 src\store\modules\app.js 路径下 sidebar: { opened: Cookies.get('sidebarStatus') ? !!+Cookies.get(' ...
- Sqoop1的导入导出
Sqoop1 和 Sqoop2 的区别 # 版本上 Sqoop1: 1.4.x Sqoop2: 1.99.x # 架构上 Sqoop1 使用 Sqoop客户端直接提交的方式(命令.将命令封装在脚本中) ...
- 基于Potplayer类播放器或Action!类录屏软件调取摄像头方式的定时抓拍保存图像方法小结
前面已经总结了基于Maxmspjitter的相关方法,还有基于Unity的,还有基于Openframeworks的,今天来一篇基于普通软件的: 1.专业播放器类的软件,如Potplayer.vlc.o ...
- vue练习用免费开源api大全
1. 网易云api 网易云api是网上一位大神工具网易云获取的,数据都是真实的网易云数据 2. api大全 这是csdn一个兄弟收集的,种类挺多,就是有一些需要money,不过大部分还是免费的 3. ...
- linux下配置ip为动态获取
点击查看代码 在Linux系统中配置网络接口以动态获取IP地址,通常需要使用DHCP(Dynamic Host Configuration Protocol).大多数现代Linux发行版都默认支持这个 ...