升级主要分为两部分1.CM的升级、2.CDH的升级

CM的升级###

两种升级方法

  • 1.使用package
  • 2.使用Tarballs升级方法,参照官方升级指引,Tarball中包含了Cloudera Manager ServerCloudera Manager Agent

    通常情况下升级CM和升级CDH是两个独立的过程,可以在不关闭CDH服务的情况下升级CM,然后再升级CDH,升级CM主要分为以下几个步骤

1.收集升级信息####

在升级之前收集与CM相关的信息,包括账户、密码、数据库URLs等。

  • 1.有root用户权限或者起码有sudo权限

  • 2.查看CM、JDK的版本



  • 3.CDH的版本

    进入CM主页面

  • 4.所安装的服务

  • 5.查看系统版本

    hosts->All Hosts 随便点击一个主机

2.完成升级前的准备####

  • 1.本次要升级到的版本为5.13.X,支持的OS版本

  • 2.查看用户自定义的服务

    Administration->setting->Custom Service Descriptors

3.升级JDK####

升级JDK到1.8.

在页面设置java的目录:主机(Hosts)->所有主机(All Hosts)->配置(Configuration)->类别(CATEGORY)->高级(Advanced)。这样做仅仅修改了CM和CDH依赖的JDK,并不会影响要其他的进程

4.升级CM####

  • 1.停止CM server、DB和agent

    • a.关闭CM服务 Cluster->Cloudera Managent service->Action->Stop
    • b.在server上面运行sudo service cloudera-scm-server stop
    • c.在agent上面运行sudo service cloudera-scm-agent stop
  • 2.下载CM文件网址,5.13x的tarballs链接。rpm安装包路径
方法一 4.1 package升级CM#####
  • 1.确保所有主机上进程服务都关闭
sudo service cloudera-scm-agent status #查看状态
sudo service cloudera-scm-server-db stop #关闭内嵌数据库,如果没有这个服务可跳过
sudo service cloudera-scm-server stop #关闭server
sudo service cloudera-scm-agent stop # 关闭agent
  • 2.备份CM数据库

    在CM的server机器上/etc/cloudera-scm-server文件
[hadoop@175-45-5-195 cloudera-scm-server]$ sudo cat db.properties
# Auto-generated by initialize_embedded_db.sh
com.cloudera.cmf.db.type=postgresql
com.cloudera.cmf.db.host=localhost:7432
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=3Emd1VtlcK

根据上面的内容备份postgresql数据库

pg_dump -hlocalhost -p 7432 -U scm > /tmp/scm_server_db_backup.$(date +%Y%m%d)

如果使用rpm安装,需要配置/etc/yum.repos.d/cloudera-manager.repo的源

sudo yum clean all
sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-server-db-2 cloudera-manager-agent

上面是自动下载组件,CM的安装包比较的大不到1G,如果网速不够好可以下载到本地

sudo  yum localinstall cloudera-manager-*

在Agent上面安装成功之后,在/etc/cloudera-scm-agent下面生成了、config.ini.rpmnew文件,这个是一些比较新的配置,你需要将原来config.ini文件中的一些用户配置添加到config.ini.rpmnew中,并将其修改为config.ini,删掉老的config.ini文件。

需要在server和agent上面开启相关服务

sudo service cloudera-scm-server-db start
sudo service cloudera-scm-server start
sudo service cloudera-scm-agent start
方法二 4.2 tarball升级CM#####
  • 1.解压Tarball包

    解压文件到/opt/目录
sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
  • 2.默认情况下tarball安装方式会有一个var子目录用来存储状态文件,非tarball安装方式的状态存储在/var目录下,CM建议使用/var或者tarball外部的目录,这样在升级的过程中新的tarball就可以访问这些状态文件,那么该如何设置这个目录呢?修改\cm-5.13.0\etc\default\下面cloudera-scm-agent文件,设置CMF_VAR的值。

CDH的升级###

使用parcels方法升级参照官网

备份数据库,parcels目录

接下来就是根据提示进行选择

ref###

CDH升级的更多相关文章

  1. CDH升级 5.7.5 --> 5.13.3(tar包方式)

    博客园首发,转载请注明出处:https://www.cnblogs.com/tzxxh/p/9123231.html 一.准备 1.关闭cdh中的服务 hdfs.yarn等所有服务:关闭 cm-ser ...

  2. CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本(CentOS 7.x)

    CDH 的 6.0.1 是一个尴尬的版本,那时候 cloudera 还没有将 spark 更新到 2.4 还使用的是 spark 2.2版本. 但后来我们发现 2.3 | 2.4 更新了非常多的 fe ...

  3. CentOS7安装CDH 第十一章:离线升级CDH版本

    相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 ...

  4. 入门大数据---安装ClouderaManager,CDH和Impala,Hue,oozie等服务

    1.要求和支持的版本 (PS:我使用的环境,都用加粗标识了.) 1.1 支持的操作系统版本 操作系统 版本 RHEL/CentOS/OL with RHCK kernel 7.6, 7.5, 7.4, ...

  5. 数据仓库005 - 复习Linux shell命令 - crontab调度 sh脚本 后台执行 软连接

    一.crontab调度 对于linux 自带crontab而言,      xxx.sh的一般编写格式以#!/bin/bash 解释器开头,可在脚本中加入: date 但是,shell脚本执行 需要 ...

  6. shell命令、调度工具、后台执行线程和软连接

    一.shell命令 1.后缀.sh 第一行需要加#!/bin/bash 没有的话,需呀sh 命令执行 示例test.sh: #!/bin/bash date ./test.sh 提示没有权限,此时,需 ...

  7. CDH中如何升级Spark

    公司平时使用的CDH版本的hadoop生态,spark任务是基于yarn来管理的,而不是基于原生的spark master slave集群管理. 因此任务的大致启动模式是: 如果是Cluster模式: ...

  8. CDH 版本 6.0.1 升级到 6.2.0 当前最新版本(CentOS 7.x)

    前文「CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本(CentOS 7.x)」 承接上文,当我们完成 CM 6.2.0 的升级之后,我们已经相当于完成了80% minor 的升级 ...

  9. cdh集群hive升级,数据不丢失

    1.下载hive-1.2.1安装包 http://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz 2.将安装包 ...

随机推荐

  1. Fastify 系列教程三 (验证、序列化和生命周期)

    Fastify 系列教程: Fastify 系列教程一 (路由和日志) Fastify 系列教程二 (中间件.钩子函数和装饰器) Fastify 系列教程三 (验证.序列化和生命周期) 验证 Fast ...

  2. 解决执行sql脚本报错:没有足够的内存继续执行程序。

    出现执行sql脚本报错:没有足够的内存继续执行程序.是因为sql脚本过大,大家可能分为多个文件多次执行,这种笨方法可行,不过比较麻烦,大家可以用下面的方式,利用sqlcmd一次就行了:   执行cmd ...

  3. 实现ajax的步骤

    实现ajax的步骤 1.创建xmlHttprequest对象 function createXmlHttpRequest(){ var xmlHttp; try{ //Firefox, Opera 8 ...

  4. 读书笔记-你不知道的JS上-词法作用域

    JS引擎 编译与执行 Javascript引擎会在词法分析和代码生成阶段对运行性能进行优化,包含对冗余元素进行优化(例如对语句在不影响结果的情况下进行重新组合). 对于Javascript来说,大部分 ...

  5. bug:未考虑实际使用场景

    最近bug比较多,汗颜. 1.需求背景 (1)app活动页面,用户参与并完成能够以1分钱价格购买指定商品(2)这个页面可分享至app以外的渠道,如微信.QQ等 2.这个bug的表现形式:用户在第三方渠 ...

  6. Ionic3 下拉刷新

    参考: http://ionicframework.com/docs/api/components/refresher/Refresher/

  7. 关于C#开发中那些编码问题

    最近一直在搞各种编码问题,略有心得,与大家分享一番. System.Text提供了Encoding的抽象类,这个类提供字符串编码的方法.常用的编码方式主要有ASCII,Unicode,UTF8(Uni ...

  8. linux学习(八)chmod、chown、umask、lsattr、chattr

    一.权限位 权限位分为两个部分,第一个部分是谁的权限,第二部分是权限是多少.其中第一个部分一般分为:用户,用户组,其他用户.第二部分分为r:读权限,w:写权限,x:执行权限.可读,可写,可执行的权限, ...

  9. 剑指offer--面试题3

    一 题目: 在一个二维数组中,每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序.完成一个函数,输入这样的数组和一整数,判断这个数组是否包含这个整数. 二 分析 如果这个二维数组是 ...

  10. Jimmychoo商城系统总结

    一.需求 1.游戏模块 ①在进入H5之前,首先有一个动态的探照灯的动效,然后由"淡出"效果到H5首页. ②在点击"开始游戏"之后会有一段动画演示游戏内容,然后滑 ...