前言 前阵子,公司的hadoop从hadoop1.02升级到hadoop2.4.1,记录下升级的步骤和遇到的问题,和大家分享,希望别人可以少走一些弯路 技术选型 当前使用版本:     apache hadoop 1.0.2      hive 0.10  升级目标版本     Apache hadoop 2.4.1     Hive 0.13 升级风险点 Hdfs的升级Hadoop升级最主要是hdfs的升级,hdfs的升级是否成功,才是升级的关键,如果升级出现数据丢失,则其他升级就变的毫无意义…

前言 本文主要通过对hadoop2.2.0集群配置的过程加以梳理,所有的步骤都是通过自己实际测试.文档的结构也是根据自己的实际情况而定,同时也会加入自己在实际过程遇到的问题.搭建环境过程不重要,重要点在于搭建过程中遇到的问题,解决问题的过程. 可能自己遇到的问题在一些由经验的老者手上都不是问题,但是这些问题着实让自己耽误了很长时间,最后问题解决也是费了太大心血.也通过这篇文档,表现出来,算是总结,为后者提供意见. Hadoop2.2.0体系结构 要想理解本节内容,首先需要了解hadoop1的体系…

前言 在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据.一转眼一两个月过去了,有些东西对已经忘了.现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了.开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下. 在很多博客中有关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里.有的时候需要结合几篇文档去搭建平台.在这篇博客汇总会把我们遇到的问题,以及搭…

首先先不看理论,搭建起环境之后再看: 搭建伪分布式是为了模拟环境,调试方便. 电脑是win10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8: 1.准备工作 准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录) 系统环境:IP:192.168.80.99, linux用户: root/123456,hadoop/123456 主机名:node 把防火墙关闭,roo…

测试启动 按照下面的每一步执行,执行完一定要看输出的信息,注意warn或error或fatal的情况.因为这都是可能是问题出现的地方.出现一个问题,不解决,可能就会影响接下来的测试.这才是真正的工作量. 1.启动zookeeper 在hadoop1.hadoop2.hadoop3.hadoop4.hadoop5上zookeeper目录下分别执行命令:bin/zkServer.sh start 在每一台机器执行完上面的命令后,执行jps,会显示:这是初步认定启动没有问题 <span style=&qu…

http://blog.csdn.net/w13770269691/article/details/16883663 废话不讲,直切正题. 搭建环境:Centos x 6.4 64bit 1.安装JDK 我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html,选择对应的JDK版本,解压JDK,然后配置环境变量,…

http://blog.csdn.net/i_team/article/details/9935693 小版本升级,先关闭数据库,然后mv直接全部替换掉mysql目录下的bin/ ,lib/ ,share/.或者替换掉把bin/目录下的ll |grep mysqd 搜索出来 的文件全部替换和share/目录下的ll share/english/errmsg.sys 替换即可. Mysql升级主要涉及升级包下载.数据权限备份.配置文件备份.数据导入及配置文件恢复等步骤,本人mysql实际安装路径是…

前言: 不知不觉,MySQL8.0已经发布好多个GA小版本了.目前互联网上也有很多关于MySQL8.0的内容了,MySQL8.0版本基本已到稳定期,相信很多小伙伴已经在接触8.0了.本篇文章主要介绍从5.7升级到8.0版本的过程及注意事项,有想做版本升级的小伙伴可以参考下. 1.升级前准备及注意事项 首先,我们要大概了解下MySQL5.7和8.0有哪些不同,参考官方文档和其他网友文章,概括总结出MySQL8.0以下几点新特性: 默认字符集由latin1变为utf8mb4. MyISAM系统表全部…

说明:一般linux会自带pyhton2.7 1.首先下载源tar包 可利用linux自带下载工具wget下载,如下所示: wget http://www.python.org/ftp/python/3.6.0/Python-3.6.0.tgz 或者直接在本机上下载以后,rx上传.再或者下载一个WinSCP,可在界面上直接上传文件,比较方便   2.下载完成后到下载目录下,解压 tar -xzvf Python-3.6.0.tgz   3.进入解压缩后的文件夹 cd Python-3.6.0 4…

做运维也快四年多了,就像游戏打怪升级,升级后知识体系和运维体系也相对变化挺大,学习了很多新的知识点. 运维工程师是从一个呆逼进化为苦逼再成长为牛逼的过程,前提在于你要能忍能干能拼,还要具有敏锐的嗅觉感知前方潮流变化.如:今年大数据,人工智能比较火……(相对表示就是 Python 比较火) 之前写过运维基础篇,发现对很多人收益挺大,接下来也写下关于这 4 年多的运维实践经验,从事了 2 年多游戏运维,1 年多安全运维,1 年大数据运维,相关行业信息不能算非常精通,但是熟悉和熟练还是相对可以的. 初…