[hadoop@lab02 ~]$ uname -a
Linux lab02 2.6.18-194.el5 #1 SMP Tue Mar 16 21:52:39 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

[hadoop@lab02 ~]$ hadoop dfsadmin -upgradeProgress status
There are no upgrades in progress.

备份相关信息

hadoop fs -lsr / > namenode_lsr.log

hadoop fsck / > namenode_fsck.log

nohup rsync -av filesystem/ ../hadoop_upgrade/filesystem/ &

分发软件

[hadoop@lab02 opdir]$ cat sync_hadoop_main.sh
#!/bin/bash

HOSTS="lab03 lab04 lab05 lab06 lab07 lab08 lab09 lab10 lab11 lab12 lab13"

cd /home/hadoop/hadoop-installed && rm hadoop && ln -s hadoop-0.20.2-cdh3u4 hadoop && chown hadoop.hadoop hadoop

for host in $HOSTS
do
echo rsync -av /home/hadoop/hadoop-installed/hadoop-1.2.1/ $host:/home/hadoop/hadoop-installed/hadoop-1.2.1/
rsync -av /home/hadoop/hadoop-installed/hadoop-1.2.1/ $host:/home/hadoop/hadoop-installed/hadoop-1.2.1/
done

cd /home/hadoop/hadoop-installed && rm -f hadoop && ln -s hadoop-1.2.1 hadoop

cd /home/hadoop/hadoop-installed/hadoop-1.2.1/contrib/streaming && ln -s hadoop-streaming-1.2.1.jar hadoop-streaming.jar

stop-all.sh

start-dfs.sh -upgrade

ssck -f allhost.lab -u root "cd /home/hadoop/hadoop-installed && rm hadoop && ln -s hadoop-0.20.2-cdh3u4 hadoop && chown hadoop.hadoop hadoop"

ssck -f allhost.lab -u root "cd /home/hadoop/hadoop-installed && rm hadoop && ln -s hadoop-1.2.1 hadoop && chown hadoop.hadoop hadoop"

ssck -f allhost.lab -u root "chmod 755 /home/hadoop/hadoop-installed/filesystem/dfs/data"

参考链接

http://dongxicheng.org/mapreduce-nextgen/hadoop-upgrade-in-version-1/

http://blog.pureisle.net/archives/1845.html

hadoop hadoop-0.20.2-cdh3u4升级的更多相关文章

  1. Hadoop 1.0 和 2.0 中的数据处理框架 - MapReduce

    1. MapReduce - 映射.化简编程模型 1.1 MapReduce 的概念 1.1.1 map 和 reduce 1.1.2 shufftle 和 排序 MapReduce 保证每个 red ...

  2. hadoop 0.20.2伪分布式安装详解

    adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...

  3. hadoop历史版本,包括大名鼎鼎的hadoop 0.20.2

    http://archive.apache.org/dist/hadoop/core/ 大名鼎鼎的hadoop 0.20.2在此: http://archive.apache.org/dist/had ...

  4. Hadoop 0.20.2+Ubuntu13.04配置和WordCount測试

    事实上这篇博客写的有些晚了.之前做过一些总结后来学校的事给忘了,这几天想又一次拿来玩玩发现有的东西记不住了.翻博客发现居然没有.好吧,所以赶紧写一份留着自己用吧.这东西网上有非常多,只是也不是全然适用 ...

  5. hadoop 2.0 详细配置教程(转载)

    转载: http://www.cnblogs.com/scotoma/archive/2012/09/18/2689902.html 作者:杨鑫奇 PS:文章有部分参考资料来自网上,并经过实践后写出, ...

  6. Hadoop 2.0 中的资源管理框架 - YARN(Yet Another Resource Negotiator)

    1. Hadoop 2.0 中的资源管理 http://dongxicheng.org/mapreduce-nextgen/hadoop-1-and-2-resource-manage/ Hadoop ...

  7. [转] Hadoop 2.0 详细安装过程

    1. 准备 创建用户 useradd hadoop passwd hadoop 创建相关的目录 定义代码及工具存放的路径 mkdir -p /home/hadoop/source mkdir -p / ...

  8. Hadoop 2.0 NameNode HA和Federation实践【转】

    Hadoop 2.0 NameNode HA和Federation实践 Posted on 2012/12/10 一.背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基 ...

  9. Hadoop 2.0中单点故障解决方案总结

    Hadoop 1.0内核主要由两个分支组成:MapReduce和HDFS,众所周知,这两个系统的设计缺陷是单点故障,即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题, ...

  10. Sqoop安装与使用(sqoop-1.4.5 on hadoop 1.0.4)

    1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传输,发展至今 ...

随机推荐

  1. CentOS 有gcc没有g++

    [root@localhost ~]# which gcc/usr/bin/gcc[root@localhost ~]# which g++/usr/bin/which: no g++ in (/us ...

  2. 全面认识JVM技术

    本文向大家描述一下JVM的概念,JVM(Java虚拟机)是可运行Java代码的假想计算机.只要根据JVM规格描述将解释器移植到特定的计算机上,就能保证经过编译的任何Java代码能够在该系统上运行. J ...

  3. 关于gzip压缩

    关于gzip压缩 http://httpd.apache.org/docs/2.0/mod/mod_deflate.html http://www.phpchina.com/resource/manu ...

  4. 您可能不知道的ASP.Net小技巧

    <!-- 页码和简介 --> 1.  在提交页面之后,保持滚动条的位置 可以在page指令上加上MaintainScrollPositionOnPostback指令 <%@ Page ...

  5. Android Environment FAQ (Frequently Asked Question)

    1.how to find out the Eclipse Version From Eclipse Menu Help ----> About Eclipse It displayed as ...

  6. Lucene教程--转载

    Lucene教程 1 lucene简介1.1 什么是lucene    Lucene是一个全文搜索框架,而不是应用产品.因此它并不像www.baidu.com 或者google Desktop那么拿来 ...

  7. Codeigniter 利用加密Key(密钥)的对象注入漏洞

    http://drops.wooyun.org/papers/1449 原文链接:http://www.mehmetince.net/codeigniter-object-injection-vuln ...

  8. CDOJ 1259 昊昊爱运动 II 线段树+bitset

    昊昊爱运动 II 昊昊喜欢运动 他N天内会参加M种运动(每种运动用一个[1,m]的整数表示) 现在有Q个操作,操作描述如下 昊昊把第l天到第r天的运动全部换成了x(x∈[1,m]) 问昊昊第l天到第r ...

  9. 【hdu3247-Resource Archiver】位压DP+AC自动机+SPFA

    题意:给定n个文本串,m个病毒串,文本串重叠部分可以合并,但合并后不能含有病毒串,问所有文本串合并后最短多长. (2 <= n <= 10, 1 <= m <= 1000) 题 ...

  10. 欧拉工程第53题:Combinatoric selections

    package projecteuler51to60; class p53{ void solve1(){ int count=0; int Max=1000000; int[][] table=ne ...