升级主要分为两部分1.CM的升级、2.CDH的升级

CM的升级###

两种升级方法

  • 1.使用package
  • 2.使用Tarballs升级方法,参照官方升级指引,Tarball中包含了Cloudera Manager ServerCloudera Manager Agent

    通常情况下升级CM和升级CDH是两个独立的过程,可以在不关闭CDH服务的情况下升级CM,然后再升级CDH,升级CM主要分为以下几个步骤

1.收集升级信息####

在升级之前收集与CM相关的信息,包括账户、密码、数据库URLs等。

  • 1.有root用户权限或者起码有sudo权限

  • 2.查看CM、JDK的版本



  • 3.CDH的版本

    进入CM主页面

  • 4.所安装的服务

  • 5.查看系统版本

    hosts->All Hosts 随便点击一个主机

2.完成升级前的准备####

  • 1.本次要升级到的版本为5.13.X,支持的OS版本

  • 2.查看用户自定义的服务

    Administration->setting->Custom Service Descriptors

3.升级JDK####

升级JDK到1.8.

在页面设置java的目录:主机(Hosts)->所有主机(All Hosts)->配置(Configuration)->类别(CATEGORY)->高级(Advanced)。这样做仅仅修改了CM和CDH依赖的JDK,并不会影响要其他的进程

4.升级CM####

  • 1.停止CM server、DB和agent

    • a.关闭CM服务 Cluster->Cloudera Managent service->Action->Stop
    • b.在server上面运行sudo service cloudera-scm-server stop
    • c.在agent上面运行sudo service cloudera-scm-agent stop
  • 2.下载CM文件网址,5.13x的tarballs链接。rpm安装包路径
方法一 4.1 package升级CM#####
  • 1.确保所有主机上进程服务都关闭
sudo service cloudera-scm-agent status #查看状态
sudo service cloudera-scm-server-db stop #关闭内嵌数据库,如果没有这个服务可跳过
sudo service cloudera-scm-server stop #关闭server
sudo service cloudera-scm-agent stop # 关闭agent
  • 2.备份CM数据库

    在CM的server机器上/etc/cloudera-scm-server文件
[hadoop@175-45-5-195 cloudera-scm-server]$ sudo cat db.properties
# Auto-generated by initialize_embedded_db.sh
com.cloudera.cmf.db.type=postgresql
com.cloudera.cmf.db.host=localhost:7432
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=3Emd1VtlcK

根据上面的内容备份postgresql数据库

pg_dump -hlocalhost -p 7432 -U scm > /tmp/scm_server_db_backup.$(date +%Y%m%d)

如果使用rpm安装,需要配置/etc/yum.repos.d/cloudera-manager.repo的源

sudo yum clean all
sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-server-db-2 cloudera-manager-agent

上面是自动下载组件,CM的安装包比较的大不到1G,如果网速不够好可以下载到本地

sudo  yum localinstall cloudera-manager-*

在Agent上面安装成功之后,在/etc/cloudera-scm-agent下面生成了、config.ini.rpmnew文件,这个是一些比较新的配置,你需要将原来config.ini文件中的一些用户配置添加到config.ini.rpmnew中,并将其修改为config.ini,删掉老的config.ini文件。

需要在server和agent上面开启相关服务

sudo service cloudera-scm-server-db start
sudo service cloudera-scm-server start
sudo service cloudera-scm-agent start
方法二 4.2 tarball升级CM#####
  • 1.解压Tarball包

    解压文件到/opt/目录
sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
  • 2.默认情况下tarball安装方式会有一个var子目录用来存储状态文件,非tarball安装方式的状态存储在/var目录下,CM建议使用/var或者tarball外部的目录,这样在升级的过程中新的tarball就可以访问这些状态文件,那么该如何设置这个目录呢?修改\cm-5.13.0\etc\default\下面cloudera-scm-agent文件,设置CMF_VAR的值。

CDH的升级###

使用parcels方法升级参照官网

备份数据库,parcels目录

接下来就是根据提示进行选择

ref###

CDH升级的更多相关文章

  1. CDH升级 5.7.5 --> 5.13.3(tar包方式)

    博客园首发,转载请注明出处:https://www.cnblogs.com/tzxxh/p/9123231.html 一.准备 1.关闭cdh中的服务 hdfs.yarn等所有服务:关闭 cm-ser ...

  2. CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本(CentOS 7.x)

    CDH 的 6.0.1 是一个尴尬的版本,那时候 cloudera 还没有将 spark 更新到 2.4 还使用的是 spark 2.2版本. 但后来我们发现 2.3 | 2.4 更新了非常多的 fe ...

  3. CentOS7安装CDH 第十一章:离线升级CDH版本

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  4. 入门大数据---安装ClouderaManager,CDH和Impala,Hue,oozie等服务

    1.要求和支持的版本 (PS:我使用的环境,都用加粗标识了.) 1.1 支持的操作系统版本 操作系统 版本 RHEL/CentOS/OL with RHCK kernel 7.6, 7.5, 7.4, ...

  5. 数据仓库005 - 复习Linux shell命令 - crontab调度 sh脚本 后台执行 软连接

    一.crontab调度 对于linux 自带crontab而言,      xxx.sh的一般编写格式以#!/bin/bash 解释器开头,可在脚本中加入: date 但是,shell脚本执行 需要 ...

  6. shell命令、调度工具、后台执行线程和软连接

    一.shell命令 1.后缀.sh 第一行需要加#!/bin/bash 没有的话,需呀sh 命令执行 示例test.sh: #!/bin/bash date ./test.sh 提示没有权限,此时,需 ...

  7. CDH中如何升级Spark

    公司平时使用的CDH版本的hadoop生态,spark任务是基于yarn来管理的,而不是基于原生的spark master slave集群管理. 因此任务的大致启动模式是: 如果是Cluster模式: ...

  8. CDH 版本 6.0.1 升级到 6.2.0 当前最新版本(CentOS 7.x)

    前文「CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本(CentOS 7.x)」 承接上文,当我们完成 CM 6.2.0 的升级之后,我们已经相当于完成了80% minor 的升级 ...

  9. cdh集群hive升级,数据不丢失

    1.下载hive-1.2.1安装包 http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz 2.将安装包 ...

随机推荐

  1. LeetCode 628. Maximum Product of Three Numbers (最大三数乘积)

    Given an integer array, find three numbers whose product is maximum and output the maximum product. ...

  2. LeetCode 543. Diameter of Binary Tree (二叉树的直径)

    Given a binary tree, you need to compute the length of the diameter of the tree. The diameter of a b ...

  3. 忘记root密码,进入单用户模式修改密码

    进入单用户模式 rhel61.在系统数秒时,按下键,进入到系统引导菜单 中2.选择系统后 按“e”键 选择kernel后 按“e”键 后空格 1+回车 b:启动系统 进入到单用户模式 rhel71.在 ...

  4. .NET Core 使用RSA算法 加密/解密/签名/验证签名

    前言 前不久移植了支付宝官方的SDK,以适用ASP.NET Core使用支付宝支付,但是最近有好几位用户反应在Linux下使用会出错,调试发现是RSA加密的错误,下面具体讲一讲. RSA在.NET C ...

  5. 微信小程序用setData修改数组或对象中的一个属性值

    在page中有如下数组 data: { info:[ { name:"yuki", tou:"../img/head.jpg", zGong:130, gMon ...

  6. Linux学习(十二)mkpasswd、su、sudo、限制root远程登录

    一.mkpasswd mkpasswd用来生成随机密码字符串.可以指定长度和特殊字符的长度: [root@ruanwenwu01 ~]# mkpasswd O7.alw5Wq [root@ruanwe ...

  7. Again Stone Game

    Alice and Bob are playing a stone game. Initially there are n piles of stones and each pile contains ...

  8. js中编码问题escape、encodeURI

    未分类 1.js对文字进行编码涉及3个函数:   escape,encodeURI,encodeURIComponent, 相应3个解码函数:unescape,decodeURI,decodeURIC ...

  9. 简单类型对象 String

    简单值不是对象,因此也没有属性方法,因此运行下面代码时   var s1 = “some text”; var s2 = s1.substring(2);   实际上是运行在read模式,字符串的值会 ...

  10. OpenCV畸变校正源代码分析

    图像算法中会经常用到摄像机的畸变校正,有必要总结分析OpenCV中畸变校正方法,其中包过普通针孔相机模型和鱼眼相机模型fisheye两种畸变校正方法. 普通相机模型畸变校正函数针对OpenCV中的cv ...