hadoop2.3.0cdh5.0.2 升级到cdh5.7.0
后儿就放假了,上班这心真心收不住,为了能充实的度过这难熬的两天,我决定搞个大工程。。。。。ps:我为啥这么期待放假呢,在沙发上像死人一样躺一天真的有意义嘛。。。。。。。
当然版本:hadoop2.3.0cdh5.0.2
机器:
| nn | dn | jn | rm | nm | jh | hmaster | hregionserver | |
| mast1 | 是 | 是 | 是 | 是 | 是 | 是 | 是 | |
| mast2 | 是 | 是 | 是 | 是 | 是 | 是 | 是 | |
| mast3 | 是 | 是 | 是 | 是 | 是 |
目标版本:hadoop2.6.0cdh5.7.0
升级方式:Upgrading Unmanaged CDH Using the Command Line
升级注意事项:①从低于cdh5.4.0升级到cdh5.4.0或更高版本,需要进行hdfs元数据升级;
②从低于cdh5.2.0版本升级需要做如下升级:升级hdfs元数据
升级Sentry database
升级hive数据库
升级sqoop2数据库
③另外还要确保如下升级:升级Oozie数据库和共享数据库
如果向hdfs上传了spark集合jar文件,要上传文件的最新版本
升级步骤:
1.为升级做准备:
①使namenode进入安全模式,备份fsimage
[hadoop@mast1 conf]$ hdfs haadmin -getServiceState mast1
active
[hadoop@mast1 conf]$ hdfs dfsadmin -safemode enter
Safe mode is ON
[hadoop@mast1 conf]$ hdfs dfsadmin -saveNamespace
②确认无hadoop服务在运行
[root@mast1 ~]# ps -aef|grep java
root 9540 8838 0 15:34 pts/0 00:00:00 grep java
③在namenode(ha中active的namenode)中备份元数据(注意过程中如果发现lock文件,则从头开始再执行一遍)
[root@mast1 ~]# cd /app/hdp/dfs/name
[root@mast1 name]# tar -cvf /root/nn_backup_data.tar .
./
./edits/
./edits/current/
./edits/current/edits_inprogress_0000000000000000624
./edits/current/edits_0000000000000000413-0000000000000000533
./edits/current/edits_0000000000000000620-0000000000000000621
./edits/current/edits_0000000000000000618-0000000000000000619
./edits/current/edits_0000000000000000062-0000000000000000180
./edits/current/edits_0000000000000000622-0000000000000000623
./edits/current/edits_0000000000000000038-0000000000000000050
./edits/current/edits_0000000000000000534-0000000000000000615
./edits/current/edits_0000000000000000181-0000000000000000182
./edits/current/edits_0000000000000000284-0000000000000000412
./edits/current/edits_0000000000000000051-0000000000000000061
./edits/current/seen_txid
./edits/current/edits_0000000000000000183-0000000000000000283
./edits/current/VERSION
./edits/current/edits_0000000000000000616-0000000000000000617
./current/
./current/fsimage_0000000000000000000
./current/seen_txid
./current/VERSION
./current/fsimage_0000000000000000000.md5
./namesecondary/
2.下载CDH 5 "1-click" repository
https://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm
3.更新
hadoop2.3.0cdh5.0.2 升级到cdh5.7.0的更多相关文章
- Oracle数据库版本10.2.0.1升级到10.2.0.3(转)
Oracle数据库版本10.2.0.1升级到10.2.0.3 1.停止OEM/isqlplus/监听/DB实例 $ emctl stop dbconsole $ isqlplusctl stop $ ...
- rac 10g 10.2.0.1升级到10.2.0.5具体解释
RAC 10.2.0.1 升级到 10.2.0.5 一. 准备: Patch 包:p8202632_10205_LINUX.zip 节点数:3个节点 RAC1 RAC2 ...
- Oracle11.2.0.1升级到11.2.0.3
Oracle数据库升级也并非简单的事,这篇博客,博主对Oracle那点事做了较详细的介绍: http://blog.itpub.net/9599/viewspace-473003/ 我还属于Oracl ...
- Linux下Oracle 10.2.0.1升级到10.2.0.4总结
最近部署测试环境时,将测试环境ORACLE数据库从10.2.0.1升级到了10.2.0.4,顺便整理记录一下升级过程. 实验环境: 操作系统:Oracle Linux Server release 5 ...
- oracle--10.2.0.3升级到11.2.0.4
一,环境 01,待升级的系统 升级仅支持10.2.0.2版本之后的系统,如果不是,请把10G升级至高版本! 本次实验环境10.2.0.3 02,挂载11G系统 03,升级须知 1) 做好备份 二,DB ...
- CDH 版本 6.0.1 升级到 6.2.0 当前最新版本(CentOS 7.x)
前文「CDH CM版本 6.0.1 升级到 CM 6.2.0 当前最新版本(CentOS 7.x)」 承接上文,当我们完成 CM 6.2.0 的升级之后,我们已经相当于完成了80% minor 的升级 ...
- 【Oracle】10.2.0.1升级到10.2.0.5
升级数据库到10.2.0.5 因是测试环境,不需要备份:如是生产系统,建议进行全备份后再进行升级操作,预防数据丢失造成不必要的影响. 步骤: 上传并解压补丁,安装前准备,安装补丁,预升级检查, ...
- LINUX中ORACLE 11.2.0.1 升级到11.2.0.4
11.2.0.4补丁号13390677,共7个文件,分别是 其中1&2是db,3是grid,4是client,5是gateways,6是example,7是deinstall 上传安装介质并解 ...
- DPA从DPA 10.0.352升级到DPA 11.0.373
1: 解压安装文件SolarWinds-DPA-11.0.373-64bit.tar.gz [root@lnxmonitor tmp]# tar -xzvf SolarWinds-DPA-11.0.3 ...
随机推荐
- Unable to update auto-refresh reference 'microsoft.codedom.providers.dotnetcompilerplatform.dll'.
Unable to update auto-refresh reference 'microsoft.codedom.providers.dotnetcompilerplatform.dll'. Ca ...
- Android之利用EventBus进行消息传递
什么是EventBus EventBus是一个 发布/订阅 模式的消息总线库,它简化了应用程序内各组件间.组件与后台线程间的通信,解耦了事件的发送者和接收者,避免了复杂的.易于出错的依赖及生命周期问题 ...
- win10系统下,开启数据库远程连接方式
右键左下角的windows标志,选择控制面板 2.查看方式修改为大图标 3.选择高级设置 4.新建入站规则 5.选择端口然后下一步 6.选择tcp协议,端口输入80,3306 7.选择允许连接 8.规 ...
- webpack的初步使用(01)
webpack:1.安装:在项目文件下先npm init初始化,一路回车2.进入到建立的项目下:cd projectname3.安装webpack:npm install webpack --save ...
- 我们的微信小程序开发
基于微信小程序的系统开发准备工作 腾讯推出微信小程序也有一段时间了,在各种行业里面也都掀起一阵阵的热潮,很多APP应用被简化为小程序的功能迅速推出,同时也根据小程序的特性推出各种独具匠心的应用,相对传 ...
- Java中多个线程交替循环执行
有些时候面试官经常会问,两个线程怎么交替执行呀,如果是三个线程,又怎么交替执行呀,这种问题一般人还真不一定能回答上来.多线程这块如果理解的不好,学起来是很吃力的,更别说面试了.下面我们就来剖析一下怎么 ...
- xfs文件备份恢复篇一vm中linux新增磁盘
XFS提供了 xfsdump 和 xfsrestore 工具协助备份XFS文件系统中的数据.xfsdump 按inode顺序备份一个XFS文件系统.centos7选择xfs格式作为默认文件系统,而且不 ...
- 题解报告:hdu 1232 畅通工程(并查集)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1232 Problem Description 某省调查城镇交通状况,得到现有城镇道路统计表,表中列出了 ...
- 为什么选择Sqoop?(三)
为什么选择 Sqoop? 通常基于三个方面的考虑: 1.它可以高效.可控地利用资源,可以通过调整任务数来控制任务的并发度.另外它还可以配置数据库的访问时间等等. 2.它可以自动的完成数据类型映射与转换 ...
- [转]Android监听ListView里Button事件
本文转自:http://blog.csdn.net/lovediji/article/details/6753349 public View getView(int position, View co ...