CentOS系统下Hadoop、Hbase、Zookeeper安装配置
近期给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3。主要是配置JDK。安装Tomcat,Hadoop、HBase和Zookeeper软件。博主在Hadoop这方面也是新手。配置这个环境遇到过很多问题。查了很多资料。这里做一个总结。以便日后回想。
首先是账户权限的改动,安装软件环境须要上传文件和一些系统文件的改动权限,所以最好设置成root权限
权限改动方法:http://www.linuxidc.com/Linux/2012-03/55629.htm
软件的安装。网上有很多这方面的文章:
安装JDK:http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891608.html
安装Tomcat:http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891633.html
安装Hadoop:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html,http://bjbxy.blog.51cto.com/854497/352692
安装HBase:http://blog.csdn.net/21aspnet/article/details/18776833
安装zookeeper:http://www.cnblogs.com/ilovexiao/p/3946547.html
配置Hadoop和Hbase:http://lovesoo.org/hadoop-hbase-deployment-guide.html
在安装Hadoop和Hbase之前须要选择下载相相应的正确的版本号(博主选择的是hadoop1.0.0+hbase0.94.22),能够查阅官方文档选择http://abloz.com/hbase/book.html,同一时候很多Hbase的配置也能够在文档中看到。
在配置Hadoop和Hbase的时候非常重要的一个就是主机名。也就是hostname。这个非常重要。我在原本配置好的server上改动了hostname。出现了一系列的问题,怎么改都有问题(心碎啊),最后发如今改动过hostname以后须要先清空tmp以下的数据,然后format Hadoop的namenode的数据,详细如:http://www.07net01.com/storage_networking/hadoopanzhuangbushuyudaowenti_guzhangpaicha_90974_1363776317.html
在配置软件环境的过程中会遇到很多问题,能够通过查看hadoop、hbase和zookeeper的日志文件来了解问题所在,然后做出改动调整,一般都能解决。
在配置好环境后,測试程序,发现数据存入server之后,再读取出来却是乱码,在windows下測试没问题。这就是server的编码有问题,能够将server的编码改成GB2312或者GBK,详细的改动方式如:http://blog.sina.com.cn/s/blog_697b96890101jdxj.html
假设重新启动server之前没有关闭Hadoop和hbase,则server重新启动后,hadoop会进入safe模式。须要关闭才干又一次使用hbase及其命令。
/12715.html" target="_blank">http://blog.chinaunix.net/uid-451-id-3189503.html? /12715.html
CentOS系统下Hadoop、Hbase、Zookeeper安装配置的更多相关文章
- CentOS系统下Hadoop 2.4.1集群安装配置(简易版)
安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...
- 基于CentOS系统下的Oracle的安装
背景 最近的数据库的实验课,要求利用虚拟机安装CentOS系统,并在此系统上安装Oracle_11g软件实现监听,在windows系统上安装SQL Developer软件作为客户端 ,从而可以在SQL ...
- CentOS 系统下Gitlab搭建与基本配置 以及代码备份迁移过程
GitLab 是一个开源的版本管理系统,提供了类似于 GitHub 的源代码浏览,管理缺陷和注释等功能,你可以将代码免费托管到 GitLab.com,而且不限项目数量和成员数.最吸引人的一点是,可以在 ...
- Linux系统下Nginx+PHP 环境安装配置
一.编译安装Nginx 官网:http://wiki.nginx.org/Install 下载:http://nginx.org/en/download.html # tar -zvxf nginx- ...
- Win10系统下MySQL压缩版安装配置教程
MySQL分为安装版和压缩.为了以后MySQL出问题想重装时的各种不必要的麻烦,我个人推荐压缩版MySQL.下面进入教程: 进入官网下载MySQL压缩包,并解压如下 配置环境变量---将bin文件的目 ...
- CentOS系统下Redis安装和自启动配置的步骤
相信大家都知道Redis是一个C实现的基于内存.可持久化的键值对数据库,在分布式服务中常作为缓存服务.所以这篇文章将详细介绍在CentOS系统下如何从零开始安装到配置启动服务.有需要的可以参考借鉴. ...
- CentOS系统下安装python3+Django
转载:CentOS系统下安装python3+Django 1.首先用yum安装下vim,因为CentOS 7可能根本没自带完整vim,经常出现输入乱码:yum -y install vim 2.安装开 ...
- centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
- [推荐]Hadoop+HBase+Zookeeper集群的配置
[推荐]Hadoop+HBase+Zookeeper集群的配置 Hadoop+HBase+Zookeeper集群的配置 http://wenku.baidu.com/view/991258e881c ...
随机推荐
- CAD参数绘制直径标注(网页版)
主要用到函数说明: _DMxDrawX::DrawDimDiametric 绘制一个直径标注.详细说明如下: 参数 说明 DOUBLE dChordPointX 在被标注的曲线上的第一个点X值 DOU ...
- java线程池,信号量使用demo
直接上代码 package org.jimmy.threadtest20181121; import java.util.concurrent.LinkedBlockingQueue; import ...
- 2. 区分散列的 undef 值, 和手动赋值 0 不一样。1. 使用exists函数,散列中有这个键(必须是keys %hash 有这结果),则返回真值,
2. 123 my %vertical_alignment; 124 $vertical_alignment{"subscripting"} = 0; 125 unle ...
- Android实战简易教程-第四十九枪(两种方式实现网络图片异步加载)
加载图片属于比较耗时的工作,我们需要异步进行加载,异步加载有两种方式:1.通过AsyncTask类进行:2.通过Handler来实现,下面我们就来看一下如何通过这两种方式实现网络图片的异步加载. 一. ...
- c++ 回调的实现
什么是回调?通常发生在需要两个角色即调用者与实现者的情形上,即我们希望当产生某个事件时,调用实现者定义的某个函数.当然这个概念很大,不是说操作系统的信号量,条件变量什么的,是在语言级别实现,如一个Fr ...
- 导航栏 active 跟随鼠标效果
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...
- 20181225模拟赛 T1 color (转化思想,分拆思想)
题目: 有⼀块有 n 段的栅栏,要求第 i 段栅栏最终被刷成颜色 ci .每⼀次可以选择 l, r 把第l . . . r 都刷成某种颜色,后刷的颜⾊会覆盖之前的.⼀共有 m 种颜色,雇主知道只需要用 ...
- [模板] Treap
插入x 删除x 查询排名为x的数 查询x的排名 求x的前驱.后继 //Stay foolish,stay hungry,stay young,stay simple #include<iostr ...
- 【spring】jar包详解与模块依赖关系
以spring3.X为例 jar包详解 1. spring-core.jar:包含Spring框架基本的核心工具类,Spring其它组件要都要使用到这个包里的类,是其它组件的基本核心: 2. spri ...
- linux arp-显示和修改IP到MAC转换表
博主推荐:更多网络测试相关命令关注 网络测试 收藏linux命令大全 arp命令用于操作主机的arp缓冲区,它可以显示arp缓冲区中的所有条目.删除指定的条目或者添加静态的ip地址与MAC地址对应关 ...