项目描述:

今天花了680元买了阿里云的一台内存1G, 带宽1M 的云主机. 想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境. 可以用来进行基本的hbase 入库, hadoop  mrjob 的运行.

步骤:

1.配置JDK

我的安装路径如下:/usr/local/java/jdk1.7.0_79
设置环境变量:

JAVA_HOME=/usr/local/java/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

刷新配置
source /etc/profile

2.安装zookeeper

解压:
在conf目录下创建一个配置文件zoo.cfg,
并修改内容:
tickTime=2000
dataDir=/zzy/zookeeper-standlone/data
dataLogDir=/zzy/zookeeper-standlone/datalog
clientPort=2181

启动:
./zkServer.sh start

验证:
jps
QuorumPeerMain

3.安装hadoop(伪分布)

解压:tar -zxvf hadoop.2.6.0.tar.gz -C /zzy

需要修改5个配置文件

第一个:hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.7.0_79

第二个

core-site.xml

<!--指定fs的默认名称--> 

<property> 

<name>fs.default.name</name> 

<value>hdfs://hadoop:9000</value> 

</property> 

<!-- 指定HDFS的老大(NameNode)的地址 --> 

<property> 

<name>fs.defaultFS</name> 

<value>hdfs://hadoop:9000</value> 

</property> 

<!-- 指定hadoop运行时产生文件的存储目录 --> 

<property> 

<name>hadoop.tmp.dir</name> 

<value>/zzy/hadoop-2.6.0/tmp</value> 

</property> 
 

第三个:hdfs-site.xml

<!-- 指定HDFS副本的数量 --> 

<property> 

<name>dfs.replication</name> 

<value>1</value> 

</property>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<!-- 指定mr运行在yarn上 --> 

<property> 

<name>mapreduce.framework.name</name> 

<value>yarn</value> 

</property>

第五个:yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 --> 

<property> 

<name>yarn.resourcemanager.hostname</name> 

<value>hadoop</value> 

</property> 

<!-- reducer获取数据的方式 --> 

<property> 

<name>yarn.nodemanager.aux-services</name> 

<value>mapreduce_shuffle</value> 

</property>
 

然后将hadoop添加到环境变量
vim /etc/profile

内容如下:

JAVA_HOME=/usr/java/jdk1.7.0_79

HADOOP_HOME=/zzy/hadoop-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置生效: source /etc/profile

格式化namenode(是对namenode进行初始化)
hdfs namenode -format

启动:
start-dfs.sh
start-yarn.sh
验证: 
jps

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

http://hadoop:50070 (HDFS管理界面)

http://hadoop:8088 (MR管理界面)

关闭:

stop-all.sh

 
3. 安装hbase 

解压 
tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz

修改${HBASE_HOME}/conf/三个配置文件
第一个:
# vim hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79 //去掉注释改成本机的jdk
第二个: hbase-site.xml

<configuration>
<property> <name>hbase.rootdir</name> <value>hdfs://hadoop:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property>
<property> <name>hbase.zookeeper.quorum</name> <value>hadoop:2181</value> </property> </configuration>

第三个:regionservers

添加主机的hostname

启动hbase:
cd  bin
./start-hbase.sh

验证:
jps

18568 Jps
10027 SecondaryNameNode
15965 QuorumPeerMain
18225 HRegionServer (hbase)
14739 Main
9760 NameNode
9880 DataNode
18062 HMaster (hbase )

用到的软件:http://pan.baidu.com/s/1hqJK7xq

hadoop +zookeeper + hbase 单节点安装的更多相关文章

  1. hbase单机版安装+phoneix SQL on hbase 单节点安装

    hbase 单机安装部署及phoneix 单机安装 Hbase 下载 (需先配置jdk) https://www.apache.org/dyn/closer.lua/hbase/2.0.1/hbase ...

  2. hadoop+zookeeper+hbase伪分布式安装

    基本安装步骤 安装包下载 从大数据组件下载地址下载以下组件安装包 hadoop-2.6.0-cdh5.6.0.tar.gz hbase-1.0.0-cdh5.6.0.tar.gz zookeeper- ...

  3. hadoop+zookeeper+hbase分布式安装

    前期服务器配置 修改/etc/hosts文件,添加以下信息(如果正常IP) 119.23.163.113 master 120.79.116.198 slave1 120.79.116.23 slav ...

  4. Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装

     Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapR ...

  5. hbase伪分布式安装(单节点安装)

    hbase伪分布式安装(单节点安装) http://hbase.apache.org/book.html#quickstart   1.    前提配置好java,环境java变量     上传jdk ...

  6. 【大数据系列】hadoop单节点安装官方文档翻译

    Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms R ...

  7. 一、hadoop单节点安装测试

    一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在h ...

  8. Hadoop 3.1.1 - 概述 - 单节点安装

    Hadoop: 单节点安装 目标 本文描述了如何安装和配置单机的 Hadoop,这样你可以使用 Hadoop MapReduce 和 Hadoop 分布式文件系统(HDFS)快速地尝试简单的操作. 前 ...

  9. Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)

    声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...

随机推荐

  1. Maven异常:Could not find artifact

    用Maven build("clean tomcat7:run" )  Maven聚合工程时,出现了一下问题: [INFO] Scanning for projects... [E ...

  2. RabbitMQctl命令

    RabbitMQControl RabbitMQ提供了可视化的网页供我们进行一些配置与操作,但是ctl的命令比UI来的专业的多,一些UI无法完成的操作就需要使用ctl命令来进行处理了 这里是官方的文档 ...

  3. MVC设计模式与三层架构

    三层架构分别是:表示层(Web层).业务逻辑层(BLL层)和数据访问层(DAL层). (1)表示层负责: a.从用户端收集信息 b.将用户信息发送到业务服务层做处理 c.从业务服务层接收处理结果 d. ...

  4. Beta版本冲刺第一天 12.5

    一.站立式会议照片: 二.项目燃尽图: 三.项目进展: 成 员 前段时间完成任务 今天完成任务 明天要做任务 问题困难 心得体会 胡泽善 对Alpha版本的分析总结,学习新技术,对Beta版本的讨论规 ...

  5. Linux下安装setup tools小工具

    1, 最小化的linux系统(centos\redhat)默认都是没有安装setup图形小工具的,你输入setup命令会提示 command not found . 如果要使用这个命令安装方法 1.安 ...

  6. Linux下显示IP地理位置信息的小工具-nali

    一.简介 nali,名字取自中文“哪里”的拼音.nali包含一组命令行程序,其主要功能就是把一些网络工具的输出的IP字符串,附加上地理位置信息(使用纯真数据库QQWry.Dat).例如74.125.1 ...

  7. Oralce配置正确,报监听错误或无法识别描述中的服务

    出差客户现场,修改过网络配置,回来后本地虚拟机的Oracle数据库就不能登陆了 报监听错误,在服务器中使用Net Configration Assistant删除以前的,重新配置新的,还是不行,重启系 ...

  8. SortedSet接口

    TreeSet中实现了SortedSet接口,此接口主要用于排序操作,即实现此接口的子类都属于排序的子类. import java.util.Set; import java.util.SortedS ...

  9. Tengine 常用模块使用介绍

    Tengine 和 Nginx Tengine简介 从2011年12月开始:Tengine是由淘宝网发起的Web服务器项目.它在Nginx的基础上,针对大访问量网站的需求,添加了很多高级功能 和特性. ...

  10. LVS相关学习

    vi /etc/sysctl.conf net.ipv4.conf.eth0.arp_ignore = 1 net.ipv4.conf.eth0.arp_announce = 2 net.ipv4.c ...