近期给一个项目搭建linux下的大数据处理环境,系统是CentOS 6.3。主要是配置JDK。安装Tomcat,Hadoop、HBase和Zookeeper软件。博主在Hadoop这方面也是新手。配置这个环境遇到过很多问题。查了很多资料。这里做一个总结。以便日后回想。

首先是账户权限的改动,安装软件环境须要上传文件和一些系统文件的改动权限,所以最好设置成root权限

权限改动方法:http://www.linuxidc.com/Linux/2012-03/55629.htm

软件的安装。网上有很多这方面的文章:

安装JDK:http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891608.html

安装Tomcat:http://www.cnblogs.com/zhoulf/archive/2013/02/04/2891633.html

安装Hadoop:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.htmlhttp://bjbxy.blog.51cto.com/854497/352692

安装HBase:http://blog.csdn.net/21aspnet/article/details/18776833

安装zookeeper:http://www.cnblogs.com/ilovexiao/p/3946547.html

配置Hadoop和Hbase:http://lovesoo.org/hadoop-hbase-deployment-guide.html

在安装Hadoop和Hbase之前须要选择下载相相应的正确的版本号(博主选择的是hadoop1.0.0+hbase0.94.22),能够查阅官方文档选择http://abloz.com/hbase/book.html,同一时候很多Hbase的配置也能够在文档中看到。

在配置Hadoop和Hbase的时候非常重要的一个就是主机名。也就是hostname。这个非常重要。我在原本配置好的server上改动了hostname。出现了一系列的问题,怎么改都有问题(心碎啊),最后发如今改动过hostname以后须要先清空tmp以下的数据,然后format Hadoop的namenode的数据,详细如:http://www.07net01.com/storage_networking/hadoopanzhuangbushuyudaowenti_guzhangpaicha_90974_1363776317.html

在配置软件环境的过程中会遇到很多问题,能够通过查看hadoop、hbase和zookeeper的日志文件来了解问题所在,然后做出改动调整,一般都能解决。

在配置好环境后,測试程序,发现数据存入server之后,再读取出来却是乱码,在windows下測试没问题。这就是server的编码有问题,能够将server的编码改成GB2312或者GBK,详细的改动方式如:http://blog.sina.com.cn/s/blog_697b96890101jdxj.html

假设重新启动server之前没有关闭Hadoop和hbase,则server重新启动后,hadoop会进入safe模式。须要关闭才干又一次使用hbase及其命令。

/12715.html" target="_blank">http://blog.chinaunix.net/uid-451-id-3189503.html?

/12715.html

CentOS系统下Hadoop、Hbase、Zookeeper安装配置的更多相关文章

  1. CentOS系统下Hadoop 2.4.1集群安装配置(简易版)

    安装配置 1.软件下载 JDK下载:jdk-7u65-linux-i586.tar.gz http://www.oracle.com/technetwork/java/javase/downloads ...

  2. 基于CentOS系统下的Oracle的安装

    背景 最近的数据库的实验课,要求利用虚拟机安装CentOS系统,并在此系统上安装Oracle_11g软件实现监听,在windows系统上安装SQL Developer软件作为客户端 ,从而可以在SQL ...

  3. CentOS 系统下Gitlab搭建与基本配置 以及代码备份迁移过程

    GitLab 是一个开源的版本管理系统,提供了类似于 GitHub 的源代码浏览,管理缺陷和注释等功能,你可以将代码免费托管到 GitLab.com,而且不限项目数量和成员数.最吸引人的一点是,可以在 ...

  4. Linux系统下Nginx+PHP 环境安装配置

    一.编译安装Nginx 官网:http://wiki.nginx.org/Install 下载:http://nginx.org/en/download.html # tar -zvxf nginx- ...

  5. Win10系统下MySQL压缩版安装配置教程

    MySQL分为安装版和压缩.为了以后MySQL出问题想重装时的各种不必要的麻烦,我个人推荐压缩版MySQL.下面进入教程: 进入官网下载MySQL压缩包,并解压如下 配置环境变量---将bin文件的目 ...

  6. CentOS系统下Redis安装和自启动配置的步骤

    相信大家都知道Redis是一个C实现的基于内存.可持久化的键值对数据库,在分布式服务中常作为缓存服务.所以这篇文章将详细介绍在CentOS系统下如何从零开始安装到配置启动服务.有需要的可以参考借鉴. ...

  7. CentOS系统下安装python3+Django

    转载:CentOS系统下安装python3+Django 1.首先用yum安装下vim,因为CentOS 7可能根本没自带完整vim,经常出现输入乱码:yum -y install vim 2.安装开 ...

  8. centos 7下Hadoop 2.7.2 伪分布式安装

    centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...

  9. [推荐]Hadoop+HBase+Zookeeper集群的配置

    [推荐]Hadoop+HBase+Zookeeper集群的配置 Hadoop+HBase+Zookeeper集群的配置  http://wenku.baidu.com/view/991258e881c ...

随机推荐

  1. "码代码"微信号今日上线,为互联网同仁提供最前沿咨询

    "码代码"微信号今日上线 关注即有好礼相送 三月,春意浓浓的日子,三月,属于女人的日子,而今天...... “2014年天空成人放送大赏”于5日晚举办颁奖典礼,“年度最佳AV女优” ...

  2. How do I get started with Node.js

    From: http://stackoverflow.com/questions/2353818/how-do-i-get-started-with-node-js Tutorials NodeSch ...

  3. ERROR 1 (HY000): Can't create/write to file '/tmp/#sql_830_0.MYI' (Errcode: 13)

    mysql操作时,出现报错. 执行describe 命令时, 临时文件目录没有创建或者无写入权限:于是: cd /var/lib/mysql/ #进入mysql数据目录 mkdir tmp #创建需要 ...

  4. vuec常用插件

    1.  实现下拉刷新和下拉加载效果 iscroll-probe.js 2.手势密码插件 patternLock.js 3.实现复制 clipboard.min.js

  5. Java 取本月第一天和最后一天

    /** * 获取本月第一天 * @return */ public Date getmindate(){ Calendar calendar = Calendar.getInstance(); cal ...

  6. C++ 标准模板库介绍(STL)

    1. STL 基本介绍 C++ STL(标准模板库)是惠普实验室开发的一系列软件的统称,是一套功能强大的 C++ 模板类.STL的目的是为了标准化组件,这样就不用重新开发,让后来者可以使用现成的组件, ...

  7. 笔试算法题(38):并查集(Union-Find Sets)

    议题:并查集(Union-Find Sets) 分析: 一种树型数据结构,用于处理不相交集合(Disjoint Sets)的合并以及查询:一开始让所有元素独立成树,也就是只有根节点的树:然后根据需要将 ...

  8. 笔试算法题(37):二叉树的层序遍历 & 最长递增的数字串

    出题:要求层序遍历二叉树,从上到下的层次,每一层访问顺序为从左到右,并将节点一次编号,输出如下:如果只要求打印指定的level的节点,应该如何实现. a b  c d  e  f  g h  i  分 ...

  9. 微信小程序 传值取值的方法总结

    微信小程序 传值取值的几种方法总结 列表index下标取值 页面传值 form表单取值 1. 列表index下标取值 实现方式是:data-index="{{index}}"挖坑及 ...

  10. GROUP函数

    GROUP_ID 首先我们看看官方的解释: 大意是GROUP_ID用于区分相同分组标准的分组统计结果. 解释起来比较抽象,下面我们来看看具体的案例. 例1:单一分组 SQL> select gr ...